Detecting and Correcting Reference Hallucinations in Commercial LLMs and Deep Research Agents

Título: Detecção e Correção de Alucinações de Referências em LLMs Comerciais e Agentes de Pesquisa Profunda

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) e os novos "Agentes de Pesquisa Profunda" (Deep Research Agents) frequentemente fornecem URLs de citação para apoiar suas afirmações. No entanto, a confiabilidade dessas citações não foi sistematicamente medida.

• Alucinação de Citação: Ocorre quando um modelo gera uma URL que nunca existiu (não há registro histórico em arquivos da web).
• Links Mortos (Link Rot): URLs que existiram, mas que agora retornam erros (4xx/5xx) ou não carregam.
• Impacto: Alucinações de citação já causaram danos reais, incluindo sanções legais, retratações acadêmicas e desinformação médica. Não existiam ferramentas reutilizáveis para detectar e mitigar essas falhas em escala.

2. Metodologia

Os autores conduziram um estudo abrangente utilizando dois conjuntos de dados e 13 modelos (incluindo agentes de pesquisa profunda e LLMs aumentados por busca) de três provedores principais (Google, OpenAI, Anthropic).

• Conjuntos de Dados:
  • DRBench: 100 consultas de pesquisa multilíngues (53.090 URLs extraídas) de 10 modelos.
  • ExpertQA: 2.177 perguntas curadas por especialistas em 32 campos acadêmicos (168.021 URLs extraídas) de 3 modelos.
• Definições Técnicas:
  • URL Não Resolvida: Retorna erro HTTP ou falha de conexão.
  • URL Alucinada: Uma URL não resolvida que não possui nenhum snapshot arquivado no Wayback Machine (Internet Archive) em nenhum momento. Isso indica que a URL provavelmente nunca existiu.
  • URL Obsoleta (Stale): Uma URL não resolvida que possui um snapshot no Wayback Machine, indicando que era real, mas sofreu "link rot".
• Pipeline de Verificação:
  1. Extração de URLs via regex ou estrutura de API.
  2. Verificação de vivacidade via requisição HTTP HEAD (com fallback para GET).
  3. Consulta à API do Wayback Machine para URLs que falharam na verificação inicial.
  4. Classificação final em: Viva, Obsoleta, Provavelmente Alucinada ou Desconhecida (erros de bloqueio de bot/paywall).

3. Principais Contribuições

1. Caracterização em Escala: A primeira medição sistemática da validade de URLs de citação em LLMs comerciais e agentes de pesquisa profunda.
2. Taxonomia de Falhas: Distinção clara entre fabricação (URLs que nunca existiram) e obsolescência (links rot), o que exige estratégias de mitigação diferentes.
3. Ferramenta Open-Source (urlhealth): Lançamento de uma biblioteca Python de 83 linhas para verificação de URLs e classificação de alucinação vs. obsolescência, integrável a agentes de IA.
4. Mecanismo de Auto-correção: Demonstração de que modelos equipados com a ferramenta urlhealth podem reduzir drasticamente as taxas de erro através de loops de auto-correção.

4. Resultados Chave

• Prevalência de Falhas (RQ1):

  • 3% a 13% das URLs de citação são alucinadas (nunca existiram).
  • 5% a 18% são não resolvidas no total (incluindo links obsoletos).
  • O modelo gemini-2.5-pro-deepresearch teve a maior taxa de alucinação (13,3%), apesar de ter alta qualidade geral de relatório.

• Agentes vs. LLMs Aumentados (RQ2):

  • Agentes de pesquisa profunda geram muito mais citações por consulta, mas apresentam taxas de alucinação significativamente maiores (média de 10,7% vs. 4,8% em modelos aumentados por busca).
  • A arquitetura de recuperação (multi-passos) parece amplificar a fabricação de URLs, possivelmente ao combinar padrões de páginas recuperadas para criar endereços plausíveis, mas inexistentes.

• Variação por Domínio (RQ3):

  • A confiabilidade varia drasticamente entre campos acadêmicos.
  • Teologia (11,4%) e Saúde/Medicina apresentaram as maiores taxas de links não resolvidos.
  • Negócios (5,4%) e Arquitetura tiveram as taxas mais baixas.
  • A variação entre modelos dentro do mesmo domínio pode chegar a 4,3x.

• Composição da Falha (RQ4):

  • Alguns modelos (ex: GPT-4.1, GPT-4o) fabricam 100% das URLs não resolvidas (nenhuma era obsoleta, todas eram alucinadas).
  • Outros modelos (ex: OpenAI Deep Research, Claude) mostram uma fração significativa de URLs obsoletas, indicando que realizaram recuperação real, mas os links expiraram.

• Quantidade vs. Qualidade (RQ5):

  • Gerar mais citações não melhora a confiabilidade por citação. Modelos que geram mais URLs tendem a ter taxas de erro por URL mais altas.

• Mitigação via Auto-correção (RQ6):

  • Ao usar a ferramenta urlhealth em um loop de auto-correção, os modelos reduziram as URLs não resolvidas em 6 a 79 vezes, atingindo taxas finais de <1%.
  • Dependência de Competência: A eficácia depende da capacidade do modelo de usar a ferramenta corretamente. Modelos menores (ex: gpt-5-nano) chamaram a ferramenta, mas falharam em agir sobre os resultados, mantendo URLs inválidas.

5. Significado e Conclusão

O estudo demonstra que a validade de URLs de citação é mensurável em escala e corrigível na prática.

• Implicação Prática: A simples existência de um mecanismo de busca ou RAG (Retrieval-Augmented Generation) não garante que as URLs geradas existam. A validação pós-geração é essencial.
• Solução: A ferramenta urlhealth oferece uma abordagem viável para agentes de IA verificarem suas próprias saídas antes de apresentá-las ao usuário.
• Futuro: Os autores sugerem que futuras gerações de modelos devem restringir a emissão de URLs apenas a páginas que foram efetivamente visitadas durante a recuperação, e que a verificação deve expandir-se para metadados bibliográficos e trechos citados.

O código-fonte da ferramenta urlhealth e todos os dados experimentais foram disponibilizados publicamente para promover pesquisas futuras sobre verificação de bibliografia em IA.