Resumo Técnico: Análise e Avaliação da Atribuição de Fontes em Agentes de Pesquisa Profunda de LLM

Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) impulsionam "agentes de pesquisa profunda" que sintetizam informações de centenas de fontes web em relatórios citados. No entanto, as citações produzidas por esses sistemas não podem ser verificadas de forma confiável. As abordagens atuais sofrem de duas limitações primárias:

1. Auto-citação Não Verificada: Confiar que os modelos se auto-citem com precisão arrisca referências alucinadas ou mal atribuídas.
2. Validação Insuficiente de RAG: Sistemas de Geração Aumentada por Recuperação (RAG) frequentemente falham em validar se as fontes citadas são acessíveis, topicamente relevantes ou factualmente consistentes com as alegações que sustentam.

Benchmarks existentes (por exemplo, AttributionBench, CiteME) focam em classificação binária de atribuição ou correspondência de citação, mas carecem de um framework ponta a ponta que combine extração de citação com avaliação de qualidade multidimensional (acessibilidade, relevância e precisão factual) em contextos web ao vivo. Essa lacuna levanta uma questão crítica sobre a confiabilidade das citações encontradas diariamente por milhões de usuários.

Metodologia

Os autores introduzem um framework de avaliação de atribuição de fontes reprodutível, em três estágios, projetado para avaliar citações em linha de relatórios Markdown gerados por LLMs em escala.

1. Extração Determinística de Citações

Diferentemente de métodos que dependem de inferência de LLM para extração, o framework emprega um parser de Árvore de Sintaxe Abstrata (AST) de Markdown.

• Processo: O parser canoniza o Markdown, remove blocos de código, constrói uma AST e a percorre para extrair pares citação-alegação.
• Lógica: Lida com vários formatos de citação (referências numeradas, notas de rodapé, links em linha) e implementa "atribuição retroativa", onde uma citação no final de uma passagem aplica-se a todas as sentenças anteriores não citadas.
• Saída: Um Documento de Atribuição estruturado contendo URLs deduplicadas e trechos de texto associados a identificadores de citação específicos.

2. Recuperação de Fontes

Para cada citação única, o framework recupera o conteúdo web real. Um extrator de conteúdo web capaz de lidar com páginas renderizadas por JavaScript busca o material da fonte, truncando-o para 5.000 caracteres para avaliação.

3. Avaliação Multidimensional

O framework avalia cada par citação-alegação em três dimensões complementares usando avaliadores LLM-como-juíz (calibrados através de revisão humana):

• Link Funciona: Uma verificação binária (1/0) verificando a acessibilidade da URL. Identifica links quebrados, paywalls e erros HTTP (404, 403) sem inferência de LLM.
• Conteúdo Relevante: Um juiz LLM determina se a fonte recuperada aborda o mesmo tópico que a alegação, produzindo uma pontuação binária com uma explicação em linguagem natural.
• Verificação de Fatos: A dimensão mais rigorosa. Um juiz LLM verifica se alegações factuais específicas (números, datas, afirmações) no texto são suportadas pelo conteúdo da fonte recuperada. As pontuações são binárias (1 para suportado/consistente, 0 para contradito/ausente/incerto).

Configuração Experimental

• Modelos: 14 LLMs (OpenAI, Anthropic, Google e Open-Source) foram testados em 130 consultas de pesquisa do DeepResearch Bench e BrowseComp.
• Estudo de Ablação: Dois modelos de fronteira (GPT-5.4 e Claude Opus 4.6) foram testados em sete intervalos de profundidade de busca (de 2 a 150 chamadas de ferramenta) para isolar o efeito da profundidade de busca na qualidade da citação.

Resultados Principais

1. Desconexão entre Qualidade de Superfície e Precisão Factual

Até mesmo os modelos de fronteira mais fortes exibem uma lacuna crítica entre métricas de nível superficial e confiabilidade factual:

• Validade do Link: >94% em todos os modelos.
• Relevância Topical: >80% para modelos de fronteira.
• Precisão Factual: Significativamente menor, variando de 39% a 77%.
• Implicação: Os usuários provavelmente encontrarão links funcionais e relevantes, mas os fatos específicos atribuídos a essas fontes não são suportados quase metade das vezes.

2. Diferenças entre Provedores e Modelos

• Modelos Open-Source: Lutam significativamente com a própria tarefa de geração. As taxas de sucesso para gerar relatórios citados válidos variaram de 17% a 40%, comparado a 83–100% para modelos de fronteira. Eles também fizeram menos chamadas de ferramenta (7–60 vs. 73–211).
• Trade-off Quantidade vs. Qualidade: Modelos da OpenAI geraram o maior número de citações (por exemplo, GPT-5 Mini com 1.272 atribuições), mas tiveram pontuações de Verificação de Fatos mais baixas (39–59%). Modelos da Anthropic (por exemplo, Claude Opus 4.5) alcançaram a maior precisão de Verificação de Fatos (76,8%) apesar de taxas de sucesso de tarefa mais baixas, sugerindo que a citação seletiva pode ser mais eficaz do que a citação exaustiva.

3. O Efeito de Sobrecarga de Informação

O estudo de ablação revelou uma relação contra-intuitiva entre profundidade de busca e precisão:

• Degradação Factual: À medida que a profundidade de busca aumentou de 2 para 150 chamadas de ferramenta, a precisão da Verificação de Fatos caiu aproximadamente 42% em média.
  • O GPT-5.4 viu um declínio acentuado de 79% para 17%.
  • O Claude Opus 4.6 declinou de 80% para 58%.
• Métricas de Superfície Estáveis: As pontuações de Link Funciona e Conteúdo Relevante permaneceram estáveis (>92%) independentemente da profundidade de busca.
• Conclusão: O aumento do volume de recuperação não melhora a síntese factual; pelo contrário, prejudica-a, provavelmente devido à diluição da atenção e à dificuldade de sintetizar fatos através de um número crescente de fontes.

Contribuições e Significado

O artigo afirma as seguintes contribuições:

1. Primeiro Framework End-to-End: Introduz o primeiro sistema que combina extração determinística de citação com avaliação de qualidade multidimensional (acessibilidade, relevância, precisão factual) para citações web ao vivo.
2. Benchmarking Abrangente: Fornece a primeira comparação sistemática de 14 LLMs entre principais provedores e alternativas open-source, identificando a precisão factual como o principal diferenciador e ponto de falha.
3. Evidência de Sobrecarga de Informação: Através de estudos de ablação, os autores fornecem evidência empírica de que o aumento da profundidade de busca degrada a precisão factual enquanto as métricas de superfície permanecem estáveis, desafiando a suposição de que "mais recuperação equivale a melhores respostas".

Significado:
Os autores argumentam que a alta validade dos links e a relevância dos tópicos criam uma "falsa sensação de confiança" em pesquisas geradas por LLMs. Seu framework serve como uma infraestrutura necessária para avaliar e expor a desconexão entre a qualidade da citação de nível superficial e a confiabilidade factual. Eles sugerem que, para designers de sistemas, as estratégias de recuperação devem priorizar a profundidade de compreensão da fonte sobre a amplitude de cobertura, e para os usuários, essas descobertas destacam os riscos de confiar em citações não verificadas em domínios de alto risco como saúde, direito e finanças.