UIS-Digger: Towards Comprehensive Research Agent Systems for Real-world Unindexed Information Seeking

O artigo apresenta o UIS-Digger, um novo framework de agentes multiagentes, e o benchmark UIS-QA para abordar o desafio crítico da busca por informações não indexadas, demonstrando que interações proativas com fontes não capturadas por motores de busca superam sistemas baseados em LLMs avançados nesse domínio.

O essencial

Imagine que a internet é uma biblioteca gigante, mas com uma peculiaridade: a maioria dos livros está organizada em uma seção principal, fácil de encontrar, enquanto outros livros preciosos estão escondidos em porões empoeirados, dentro de caixas trancadas ou em salas que só existem se você abrir a porta certa.

Até agora, os "robôs pesquisadores" (agentes de IA) eram como bibliotecários incrivelmente rápidos, mas que só sabiam procurar na seção principal. Se você pedisse a eles um livro que estava no porão, eles diziam: "Não existe" ou inventavam uma história (alucinação).

Este artigo, apresentado na conferência ICLR 2026, conta a história de como a Huawei e parceiros criaram um novo tipo de pesquisador chamado UIS-Digger (o "Escavador de Informação Não Indexada") e um novo teste chamado UIS-QA para medir essa habilidade.

Aqui está a explicação simplificada:

1. O Problema: A "Cegueira" dos Robôs

Atualmente, quando usamos o Google ou Bing, eles mostram apenas o que chamam de "Informação Indexada" (IIS). É como se eles tivessem um mapa de todas as prateleiras principais.

• O que falta: Muitas informações vitais estão "Não Indexadas" (UIS). Isso inclui:
  • Arquivos PDF ou Excel que o robô não consegue ler só com o link.
  • Páginas que exigem que você clique em "Próximo", selecione uma data em um calendário ou preencha um formulário.
  • Conteúdo que está "escondido" atrás de botões ou em sites que os robôs de busca não visitaram.

A Analogia: Imagine que você quer saber o preço de um ingresso para um show específico de uma data futura. O Google te dá o link do site do show, mas não o preço. Para saber, você precisa entrar no site, clicar em "Datas", escolher o dia e ver o preço. Os robôs antigos travavam nessa porta. Eles diziam: "Não encontrei".

2. O Novo Teste: UIS-QA (O Exame de Raciocínio)

Os autores criaram um novo teste com 110 perguntas difíceis.

• A Regra: Para responder, o robô precisa entrar em sites, clicar em botões, baixar arquivos e ler o conteúdo lá dentro. Não basta apenas ler o que o Google mostra.
• O Resultado Chocante: Os melhores robôs do mundo (como os da OpenAI e Google) foram reprovados. Eles tinham notas de 70% em testes antigos, mas caíram para cerca de 25% neste novo teste. Isso mostrou que eles são ótimos em ler o que já está escrito, mas péssimos em "explorar" a internet como um humano faria.

3. A Solução: UIS-Digger (O Escavador)

Para consertar isso, eles criaram o UIS-Digger. Pense nele não como um único robô, mas como uma equipe de especialistas trabalhando juntos:

1. O Planejador: É o chefe. Ele recebe a pergunta e divide o trabalho. "Você vai procurar no Google, você vai entrar no site, você vai baixar o PDF."
2. O Buscador: Vai ao Google e pega os links.
3. O Surfista (Web Surfer): É o mais importante. Ele é um navegador que pode "ver" a página.
   • O Truque Mágico: Ele tem dois modos. O modo Texto (rápido, lê o código da página) e o modo Visual (tira "fotos" da tela como um humano). Ele troca entre eles conforme necessário. Se o texto não faz sentido, ele tira uma foto para entender o gráfico ou o botão.
4. O Leitor de Arquivos: Se o Surfista baixar um PDF ou Excel, este especialista abre o arquivo e extrai os dados.

4. O Treinamento: De "Leigo" a "Mestre"

Eles não apenas deram o software pronto. Eles treinaram o cérebro do robô (a IA) em duas etapas:

• Etapa 1 (SFT - Aprendizado Supervisionado): Eles mostraram ao robô exemplos de como resolver esses problemas, como um professor mostrando o passo a passo de uma tarefa difícil.
• Etapa 2 (RFT - Aprendizado por Rejeição): O robô tentou resolver problemas sozinho. Quando ele acertou, eles disseram "Bom trabalho!". Quando ele errou, eles disseram "Tente de novo, dessa forma". Isso forçou o robô a aprender a explorar melhor, em vez de desistir fácil.

5. O Resultado Final

Com esse treinamento e a equipe de especialistas, o UIS-Digger conseguiu acertar 27,27% das perguntas difíceis.

• Por que é impressionante? Eles usaram um modelo de IA relativamente pequeno (comparado aos gigantes da indústria), mas com a ferramenta certa e o treino certo, superaram sistemas que usavam modelos gigantes e caros (como o O3 e GPT-4.1) que não sabiam "escavar" a internet.

Resumo em uma Metáfora

• Os Robôs Antigos: Eram como um turista que só lê o guia turístico impresso. Se o guia não diz onde está o restaurante, ele fica com fome.
• O UIS-Digger: É como um turista local que sabe perguntar, entrar nas lojas, olhar os cardápios nas paredes, conversar com os donos e até abrir a geladeira para ver o que tem dentro.

Conclusão: Este trabalho mostra que para a IA realmente entender o mundo real, ela precisa parar de apenas "ler o que o Google diz" e começar a "navegar e interagir" com a internet como nós fazemos. O UIS-QA é o novo padrão para medir quem realmente sabe fazer isso, e o UIS-Digger é o primeiro a provar que é possível ensinar uma IA a ser um explorador digital de verdade.

Resumo técnico

1. Definição do Problema: Busca de Informação Não Indexada (UIS)

O artigo identifica e formaliza uma lacuna crítica nos agentes de busca de informação baseados em Grandes Modelos de Linguagem (LLMs): a Busca de Informação Não Indexada (Unindexed Information Seeking - UIS).

• O Cenário Atual: A maioria dos agentes atuais depende fortemente de informações indexadas por motores de busca (IIS - Indexed Information Seeking). Eles funcionam bem em benchmarks como GAIA e BrowseComp, onde a resposta pode ser encontrada através de snippets de busca ou páginas de topo.
• A Limitação (UIS): Em cenários do mundo real, informações vitais muitas vezes residem em "cantos obscuros" da internet:
  • Conteúdo não capturado por rastreadores (crawlers) devido a bloqueios ou limitações de indexação.
  • Páginas dinâmicas que exigem interação (ex: seleção de datas, leitura de gráficos visuais).
  • Arquivos embutidos (PDFs, XLSX) que só são acessíveis após download e processamento.
  • Conteúdo que exige navegação profunda e interativa além do resultado imediato da busca.
• O Desafio: Agentes atuais frequentemente falham em tarefas UIS, seja recusando-se a responder ou gerando alucinações, pois não possuem as ferramentas ou o raciocínio necessário para interagir profundamente com fontes não indexadas.

2. Metodologia e Propostas

Para abordar essa lacuna, os autores propõem duas contribuições principais: um novo benchmark e um novo framework de agente.

A. UIS-QA: O Primeiro Benchmark para UIS

Os autores introduzem o UIS-QA, um conjunto de dados dedicado à avaliação de capacidades de busca não indexada.

• Composição: 110 pares de perguntas e respostas (QA) anotados por especialistas.
• Critérios de Qualidade:
  • Objetividade: Respostas factuais, determinísticas e únicas (ex: números, datas).
  • Autoridade: As respostas são derivadas de fontes oficiais e não indexáveis diretamente via busca simples.
  • Estabilidade: O conteúdo é estático para garantir validade temporal.
  • Verificabilidade: Respostas verificáveis por regras ou LLMs.
  • Acessibilidade: Evita CAPTCHAs ou login obrigatório.
• Diferenciação: Diferente de benchmarks anteriores (como WebArena ou Mind2Web), o UIS-QA exige que o agente inicie a busca sem um ponto de partida pré-definido e dependa exclusivamente de informações não indexadas para chegar à resposta.

B. UIS-DIGGER: Um Framework Multi-Agente

Para resolver tarefas do UIS-QA, foi desenvolvido o UIS-DIGGER, um sistema multi-agente projetado para interação profunda com a web.

• Arquitetura Multi-Agente: O sistema coordena quatro agentes especializados:
  1. Planner: Decompõe a tarefa do usuário em subtarefas e coordena os outros agentes.
  2. Web Searcher: Utiliza motores de busca e ferramentas de crawling para obter informações indexadas e delegar tarefas de busca não indexada.
  3. Web Surfer: Opera o navegador para acessar informações não indexadas. Possui um navegador de dupla modalidade (Dual-mode), alternando dinamicamente entre:
     • Modo Textual: Para eficiência na leitura de conteúdo.
     • Modo Visual: Para interpretar gráficos, capturas de tela e interações complexas.
     • Mantém uma memória compartilhada e estado consistente entre os modos.
  4. File Reader: Processa arquivos baixados (PDF, XLSX, DOCX), lendo-os em blocos se necessário.
• Estratégia de Treinamento: O LLM subjacente (backbone) é otimizado em duas etapas para adquirir habilidades específicas de UIS:
  1. SFT (Supervised Fine-Tuning): Treinamento supervisionado inicial com pares de QA sintetizados (gerados a partir de sites reais e ambientes virtuais simulados) para "iniciar" a capacidade de busca.
  2. RFT (Rejection Sampling Fine-Tuning): Geração de trajetórias de solução com amostragem de rejeição. Trajetórias incorretas ou triviais são descartadas, e as corretas e desafiadoras são usadas para bootstrapping da capacidade de raciocínio e exploração.

3. Resultados Experimentais

Os experimentos foram conduzidos no benchmark UIS-QA, comparando o UIS-DIGGER com diversos sistemas de ponta (APIs diretas, sistemas comerciais e frameworks multi-agente).

• Desempenho do Estado da Arte (SOTA):
  • O UIS-DIGGER alcançou 27,27% de precisão no UIS-QA.
  • Este resultado supera sistemas que utilizam LLMs sofisticados como O3 (OpenAI) e GPT-4.1, que obtiveram pontuações significativamente menores (ex: Memento com O3+GPT-4.1 atingiu apenas 25,5%).
  • Sistemas comerciais avançados (como GLM-4.5 e Doubao) e frameworks ReAct (WebSailor, Tongyi-DR) sofreram quedas drásticas de desempenho no UIS-QA em comparação com seus resultados em GAIA e BrowseComp-zh.
    • Exemplo: O Tongyi-DR caiu de >70% no GAIA para 23,6% no UIS-QA.
• Análise de Erros:
  • A maioria das falhas ocorre na recuperação da fonte raiz (o agente não encontra o site correto) ou na identificação da fonte de conhecimento (encontra o site, mas escolhe a página errada).
  • Mesmo quando a página correta é acessada, a complexidade das interações (navegação multi-etapa, filtros) ainda gera erros.
• Impacto do Treinamento:
  • O treinamento SFT trouxe um ganho de ~13,6% na precisão.
  • O RFT trouxe um ganho adicional de ~4,6%, demonstrando que a otimização por reforço é crucial para lidar com a complexidade do espaço de ações.

4. Contribuições Principais

1. Identificação e Formalização do UIS: O trabalho define formalmente o problema da busca de informação não indexada, distinguindo-o da busca indexada tradicional e demonstrando que os agentes atuais têm uma "ponto cego" crítico nessa área.
2. UIS-QA (Benchmark): Introdução do primeiro conjunto de dados rigorosamente validado para avaliar especificamente a capacidade de agentes lidarem com informações não indexadas, cobrindo domínios como relatórios anuais, repositórios de código e anúncios governamentais.
3. UIS-DIGGER (Framework): Proposta de um sistema multi-agente robusto com navegação de dupla modalidade e processamento de arquivos, estabelecendo uma nova linha de base (baseline) forte.
4. Insights de Pesquisa: Análise detalhada mostrando que, embora um espaço de ações amplo seja necessário, a capacidade fundamental do modelo base (LLM) e a estratégia de treinamento (SFT + RFT) são os fatores determinantes para o sucesso em tarefas complexas de busca.

5. Significado e Impacto

Este trabalho é fundamental para o avanço dos agentes de IA rumo a uma busca de informação verdadeiramente robusta e abrangente.

• Mudança de Paradigma: Demonstra que a dependência exclusiva de motores de busca indexados é insuficiente para tarefas de pesquisa profunda no mundo real.
• Direção Futura: O UIS-QA e o UIS-DIGGER fornecem as ferramentas e a direção necessários para desenvolver agentes capazes de "escavar" a internet profunda, interagindo com arquivos e interfaces dinâmicas.
• Limitação Atual: Apesar do sucesso relativo, a precisão de 27,27% ainda é baixa, indicando que o problema de UIS é extremamente difícil e requer avanços futuros em raciocínio de longo prazo, planejamento e geração de dados de treinamento mais realistas.

Em resumo, o artigo estabelece que a próxima fronteira para agentes de IA não é apenas buscar melhor no que já está indexado, mas sim desenvolver a capacidade de descobrir e processar informações que os motores de busca tradicionais ignoram.