🤖 AI

Why Your Deep Research Agent Fails? On Hallucination Evaluation in Full Research Trajectory

Este artigo aborda as limitações da avaliação baseada em resultados em Agentes de Pesquisa Profunda ao introduzir a Taxonomia PING e o benchmark DeepHalluBench para permitir auditorias conscientes do processo e de alta granularidade de alucinações ao longo de toda a trajetória de pesquisa, revelando lacunas sistêmicas de confiabilidade e oferecendo insights acionáveis para melhorias arquitetônicas.

Autores originais: Yuhao Zhan, Tianyu Fan, Linxuan Huang, Zirui Guo, Chao Huang

Publicado 2026-05-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yuhao Zhan, Tianyu Fan, Linxuan Huang, Zirui Guo, Chao Huang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você contrata um assistente de pesquisa superinteligente para encontrar a resposta a uma pergunta muito complicada. Você pergunta a ele: "Quem é a única pessoa a ganhar um Oscar por atuação em um filme que também dirigiu?" Ele sai, pesquisa na internet, lê artigos e retorna com um relatório final.

A Maneira Antiga de Verificar o Trabalho Dela:
Anteriormente, se você quisesse saber se seu assistente era bom, você apenas olhava o relatório final. Se o nome estivesse correto, ele ganhava uma estrela dourada. Se o nome estivesse errado, ele recebia um X vermelho.

O Problema:
Este artigo argumenta que olhar apenas para a resposta final é como julgar um chef apenas pelo sabor da sopa, sem observar como ele a cozinhou. Talvez a sopa tivesse gosto ruim porque ele esqueceu o sal (um pequeno erro), ou talvez ele tenha usado um tomate podre que encontrou no fundo da geladeira (uma grande mentira), ou talvez ele tenha começado a cozinhar o prato errado inteiramente porque mal-entendeu seu pedido.

Os autores dizem que os atuais "Agentes de Pesquisa Profunda" (pesquisadores de IA) estão cometendo erros durante o processo, mas como verificamos apenas a resposta final, não vemos onde ou por que eles falharam. Os erros se escondem no meio.

A Nova Abordagem: O "Detetive do Processo"

Os autores criaram um novo sistema chamado DeepHalluBench. Pense nisso como uma cozinha transparente onde podemos observar o assistente cozinhar passo a passo. Eles não verificam apenas a sopa; verificam cada ingrediente, cada corte e cada mexida.

Eles criaram um novo regulamento chamado Taxonomia PING para categorizar as diferentes maneiras pelas quais a IA fica confusa. Aqui está o que PING significa, usando analogias simples:

P - Propagação (O "Efeito Dominó"):
Imagine que o assistente comete um pequeno erro no primeiro passo, como pensar que "Maçãs são azuis". No segundo passo, ele usa essa ideia errada para pesquisar por "Maçãs Azuis". No terceiro passo, ele escreve um relatório sobre "Maçãs Azuis". Toda a cadeia de eventos é construída sobre aquela primeira mentira. Isso é Propagação. O artigo descobriu que, uma vez que uma IA começa a mentir, ela frequentemente continua construindo sobre essa mentira, tornando o relatório final completamente errado, mesmo que os passos posteriores tenham sido feitos "corretamente" com base nas informações erradas.
I - Intenção (O "Pedido Mal Compreendido"):
Você pediu uma receita "vegana", mas o assistente ignorou essa palavra e lhe deu uma receita de bife. Ou você pediu um relatório de "2023", e ele lhe deu um de "2010". O assistente fez a pesquisa, mas não ouviu as regras específicas de você. Isso é alucinação de Intenção.
N - Induzida por Ruído (O "Bibliotecário Distraído"):
Imagine que o assistente vai à biblioteca e encontra 100 livros. 99 deles são sobre gatos, mas 1 é sobre o cachorro específico sobre o qual você perguntou. O assistente lê todos os 99 livros sobre gatos e ignora o único livro sobre o cachorro porque está enterrado na pilha. Ele não mentiu, mas perdeu a pista mais importante. Isso é alucinação Induzida por Ruído.
G - Ancoragem (O "Fato Falso"):
O assistente olha para um artigo real, mas depois diz: "Este artigo diz que a lua é feita de queijo". O artigo na verdade não diz nada sobre queijo. O assistente está inventando coisas ou culpando a fonte errada. Isso é alucinação de Ancoragem.

O Que Eles Encontraram (Os Resultados)

Os autores testaram seis assistentes de pesquisa de IA famosos (como os da OpenAI, Google e outros) usando seu novo sistema "Detetive do Processo" em 100 perguntas muito difíceis.

Todos estão lutando: Mesmo os melhores assistentes de IA cometeram erros no meio de suas pesquisas. Nenhum deles foi perfeito.
O "Dominó" é o maior problema: O problema mais perigoso não foi apenas fazer uma mentira; foi que a IA faria um pequeno erro no início e, em seguida, o restante da pesquisa seria construído sobre esse erro, levando a uma falha total.
Eles ficam presos na primeira coisa que veem: A IA tende a focar pesadamente nos primeiros resultados de pesquisa que encontra (como uma pessoa que lê apenas a primeira página de um livro e assume que conhece toda a história). Se a resposta estiver na página 50, a IA frequentemente a perde.
Eles preferem respostas "chatas": Se a IA encontrar cinco artigos que todos dizem a mesma coisa, ela os ama. Se encontrar um artigo único que diz algo diferente, ela frequentemente o ignora.

A Conclusão

O artigo conclui que simplesmente tornar a IA "mais inteligente" ou dar a ela mais acesso à internet não é suficiente. O problema é como a IA pensa enquanto pesquisa.

Para corrigir isso, precisamos construir uma IA que possa:

Pegar seus próprios erros cedo (antes que se transformem em um efeito dominó).
Ouvir melhor as regras específicas que você lhe dá.
Não se distrair com a primeira coisa que vê, mas continuar procurando pela resposta melhor.

Em resumo: Não podemos mais apenas avaliar o relatório final. Precisamos assistir a todo o filme para entender por que a IA falhou.

Resumo Técnico: Diagnóstico de Padrões de Falha em Agentes de Pesquisa Profunda via Auditoria de Alucinação Consciente de Processo

Declaração do Problema

O diagnóstico de padrões de falha em Agentes de Pesquisa Profunda (DRAs) permanece um desafio crítico. As atuais benchmarks de avaliação dependem predominantemente de avaliações de ponta a ponta, baseadas em resultados, que tratam o processo de pesquisa como uma "caixa preta". Essa abordagem obscurece alucinações intermediárias que se acumulam ao longo da trajetória iterativa de planejar-procurar-resumir. Consequentemente, os métodos existentes sofrem com duas limitações principais:

Detecção Incompleta de Alucinações: Falhas intermediárias críticas, como planos enganosos ou resumos infieis, não são capturadas sistematicamente porque as avaliações focam exclusivamente no relatório final.
Diagnóstico Opaco de Desempenho: Sem uma auditoria abrangente ao nível da trajetória, é difícil atribuir falhas finais a etapas específicas (por exemplo, planejamento versus resumo) ou a tipos específicos de erro, dificultando a otimização granular.

Além disso, a realização de uma avaliação consciente de processo enfrenta três obstáculos específicos: a falta de taxonomias adaptadas aos DRAs, barreiras na aquisição de dados estruturados a partir de agentes proprietários (que frequentemente carecem de logs JSON) e a complexidade de construir um framework de avaliação escalável para trajetórias multi-etapa.

Metodologia

1. A Taxonomia PING

Para abordar a lacuna taxonômica, os autores modelam a trajetória de pesquisa do DRA como loops iterativos de Planejar (ações), Procurar (mediado por um motor externo) e Resumir (afirmações). Eles introduzem a Taxonomia PING, categorizando alucinações em quatro tipos complementares com base em seu locus de falha:

Fundamentação (Nível de Fonte): Ocorre durante o resumo quando as afirmações são infieis às fontes recuperadas. Isso inclui Falsificação (afirmações não suportadas por evidências) e Má Atribuição (citar documentos que não suportam a afirmação).
Induzida por Ruído (Nível de Contexto): Uma falha de utilização de contexto onde evidências relevantes são recuperadas, mas subutilizadas, levando a conclusões incompletas. Isso distingue falhas de contexto de limitações na qualidade da recuperação.
Intenção (Nível de Consulta): Falhas na etapa de planejamento onde o agente interpreta incorretamente ou satisfaz incompletamente a consulta do usuário. Isso inclui Negligência de Restrições (ignorar silenciosamente restrições do usuário) e Ações Desviadas (consultas de pesquisa que divergem da intenção).
Propagação (Nível de Trajetória): Uma falha em cascata onde ações posteriores são construídas sobre conteúdo alucinado anterior, amplificando erros ao longo do processo de múltiplas rodadas.

2. Framework de Avaliação

Os autores desenvolvem um framework consciente de processo para auditar essas alucinações, decompondo rastros de interface de usuário (UI) da Web não estruturados em unidades atômicas padronizadas:

Decomposição: Usando parsers e LLMs, a trajetória é decomposta em sub-consultas atômicas, ações atômicas e afirmações atômicas (preservando mapeamentos de citação).
Verificação de Afirmações (Fundamentação): Um pipeline de duas rodadas verifica afirmações contra evidências. A Rodada 1 usa uma estratégia de "recuperar-então-verificar" (modelo NLI seguido por LLM) contra documentos citados. A Rodada 2 realiza re-verificação adaptativa para distinguir entre falsificação e má atribuição, expandindo o escopo da evidência.
Detecção de Ruído: Uma heurística baseada em clusters quantifica a subutilização de contexto. Ela classifica os blocos recuperados por relevância e penaliza o agente por ignorar clusters de alto valor enquanto utiliza os de menor classificação, calculando uma Pontuação de Ruído ( $H_N$ ).
Verificação de Ações (Intenção e Propagação): As ações são verificadas contra a intenção do usuário e descobertas anteriores para detectar Desvio de Ação e Propagação de Ação. A verificação de restrições identifica restrições do usuário negligenciadas analisando a relevância das ações para as sub-consultas atômicas.

3. Construção do DeepHalluBench

Aproveitando este framework, os autores curam o DeepHalluBench, a primeira benchmark dedicada ao teste de estresse ao nível da trajetória. Ela compreende 100 consultas selecionadas através de um pipeline de três etapas:

Agregação: Consultas são extraídas de benchmarks existentes (Mind2Web2, ReportEval, BrowseComp).
Avaliação de Dificuldade: Um DRA robusto (Gemini) gera trajetórias para candidatos; aqueles com as maiores pontuações compostas de alucinação ( $H$ ) são selecionados.
Síntese Adversarial: 25 consultas de "sem resposta" são sintetizadas aplicando perturbações atômicas (por exemplo, alterando detalhes temporais ou atributos de entidades) para tornar restrições originais insatisfatíveis, testando a capacidade do agente de rejeitar tarefas impossíveis.

A benchmark equilibra tarefas abertas e fechadas em 11 domínios diversos.

Resultados Principais

Os autores avaliaram seis DRAs representativos (cinco proprietários: Gemini, OpenAI, Perplexity, Qwen, Grok; um open-source: Salesforce Deep Research) no DeepHalluBench.

Lacunas de Confiabilidade Geral: Nenhum sistema alcançou taxas de alucinação uniformemente baixas. A OpenAI alcançou a menor pontuação composta geral ( $H=0.1546$ ), seguida de perto pela Qwen ($0.1560$). A Perplexity exibiu a maior pontuação de alucinação ($0.2084$).
Falhas Específicas por Dimensão:
- Fundamentação: Existe um trade-off entre falsificação e fidelidade de citação. OpenAI e Grok mostraram taxas mais altas de falsificação, enquanto a Salesforce falsificou menos, mas atribuiu erroneamente citações significativamente mais frequentemente.
- Induzida por Ruído: Esta foi a dimensão mais polarizada. A Salesforce teve a pontuação mais baixa (potencialmente devido a um escopo de recuperação mais estreito), enquanto Grok e Perplexity lutaram para priorizar evidências em contextos longos.
- Intenção: As falhas foram impulsionadas mais pela cobertura incompleta de restrições do usuário do que por desvios graves de ação. A Salesforce teve o pior desempenho aqui, sugerindo que seu comportamento conservador enfraqueceu a satisfação de múltiplas restrições.
- Propagação: Embora relativamente rara, a propagação indicou instabilidade de longo horizonte onde erros iniciais foram herdados por etapas posteriores.
Fechadas vs. Abertas: Tarefas fechadas revelaram um trade-off crítico entre excesso de confiança (Gemini, Grok falhando em rejeitar consultas adversariais de "sem resposta") e excesso de conservadorismo (Salesforce, Qwen recusando prematuramente consultas respondíveis).
Mecanismos de Falha: A análise diagnóstica rastreou falhas a duas causas sistêmicas primárias:
1. Propagação de Alucinação: Um "efeito dominó" onde erros de estágio inicial (especialmente em agentes proprietários como Gemini e OpenAI) cascata através da trajetória.
2. Vieses Cognitivos:
  - Efeito "Âncora" Temporal: Agentes favorecem desproporcionalmente blocos de recuperação iniciais, com a utilização caindo precipitadamente em estágios posteriores, mesmo quando a qualidade da recuperação melhora.
  - Viés de "Homogeneidade" Semântica: Agentes preferem conteúdo redundante e homogêneo em vez de insights únicos e singulares, lutando para priorizar informações diversas.

Significado e Contribuições

O artigo reivindica três contribuições principais:

A Taxonomia PING: Um framework sistemático para caracterizar alucinações de DRA em toda a trajetória de pesquisa, indo além da simples verificação de fatos para incluir intenção, ruído e propagação.
DeepHalluBench e Framework de Avaliação: A primeira benchmark e framework consciente de processo projetados para tornar alucinações intermediárias visíveis e mensuráveis, permitindo verificação granular da fidelidade da fonte, utilização de contexto e propagação de erro.
Insights Diagnósticos: Uma análise de seis DRAs identificando que os sistemas atuais sofrem de déficits sistêmicos, especificamente propagação de alucinação e vieses cognitivos (efeitos Âncora e Homogeneidade).

Significado: Os autores argumentam que melhorar a confiabilidade do DRA requer mais do que apenas escalar a recuperação ou usar modelos base mais fortes. Em vez disso, o progresso futuro exige intervenções arquitetônicas que suportem correção de erro precoce, melhor gerenciamento de memória e desviés de atenção para mitigar os modos de falha específicos identificados na trajetória. O trabalho fornece insights acionáveis para otimizar arquiteturas de agentes para lidar com as complexidades de tarefas de pesquisa de longo horizonte.