BibTeX Citation Hallucinations in Scientific Publishing Agents: Evaluation and Mitigation

Título: Alucinações de Citações BibTeX em Agentes de Publicação Científica: Avaliação e Mitigação

1. Problema

Os Grandes Modelos de Linguagem (LLMs) com capacidade de busca na web estão sendo cada vez mais integrados em agentes para automatizar fluxos de trabalho científicos, desde revisões bibliográficas até a preparação de manuscritos. No entanto, esses modelos continuam a produzir entradas BibTeX com erros generalizados em nível de campo (como autores, títulos, DOIs, volumes e páginas).

• Limitação das Avaliações Anteriores: Estudos anteriores focaram em modelos base sem busca ou em verificações manuais post-hoc, não refletindo a prática atual onde modelos de ponta (frontier models) usam ferramentas de busca nativas.
• Consequência: Erros de citação propagam-se para manuscritos publicados e análises de citação subsequentes. Diferente de alucinações de texto livre, onde a verdade é ambígua, metadados bibliográficos possuem valores corretos determinísticos em bancos de dados de editores.
• Foco do Estudo: Investigar se a busca na web compensa as lacunas de memória paramétrica dos modelos e desenvolver mecanismos para mitigar esses erros.

2. Metodologia

2.1. Benchmark Construído

Os autores criaram um conjunto de dados de avaliação robusto contendo 931 artigos distribuídos em:

• Quatro Domínios Científicos: Inteligência Artificial (IA), Medicina, Ciência dos Materiais e Computação Quântica.
• Três Níveis de Citação (Tiers):
  1. Populares: Artigos altamente citados (2010–2022), testando memória paramétrica.
  2. Baixa Citação: Artigos no percentil 25 inferior (2015–2025), testando a necessidade de busca para metadados menos memorizados.
  3. Recentes (Pós-Corte): Artigos publicados após a data de corte de conhecimento dos modelos (2025–2026), testando estritamente a dependência de busca.
• Verdade Terrena (Ground Truth) Consciente de Versão: O sistema reconhece que um mesmo trabalho pode ter múltiplas versões citáveis (pré-impressão no arXiv, anais de conferência, versão de periódico) e constrói a verdade terrena a partir de fontes autoritativas (OpenAlex, DBLP, PubMed, Zotero Translation Server).

2.2. Modelos Avaliados

Três modelos de ponta com ferramentas de busca nativas ativadas foram testados:

• GPT-5 (OpenAI)
• Claude Sonnet 4.6 (Anthropic)
• Gemini 3 Flash (Google)

Foram geradas 2.793 entradas BibTeX (uma por modelo por artigo), resultando em ~23.000 observações de nível de campo.

2.3. Taxonomia de Erros

Cada um dos 9 campos avaliáveis (tipo de entrada, chave, autor, título, ano, local, volume, número, páginas, DOI) foi classificado em uma das seis categorias:

• C (Correto): Valor corresponde à verdade terrena.
• M (Ausente): Campo faltante na saída.
• F (Fabricado): Valor inventado sem fonte verificável.
• P (Parcialmente Correto): Sobreposição significativa, mas não exata (ex: formatação, lista truncada).
• S (Substituído): Valor pertence a um artigo diferente ou versão incorreta.
• X (Não Aplicável): Campo irrelevante para o tipo de entrada.

2.4. Ferramenta de Mitigação: clibib

Os autores desenvolveram e avaliaram o clibib, uma ferramenta de código aberto em Python que recupera entradas BibTeX autoritativas de forma determinística através do Zotero Translation Server (que agrega CrossRef, DBLP, PubMed). A ferramenta resolve identificadores (DOI, arXiv ID, URL) sem envolvimento do LLM na geração dos metadados.

3. Principais Contribuições

1. Benchmark de 931 Artigos: O primeiro conjunto de dados que desacopla memória paramétrica de dependência de busca, com verdade terrena consciente de versões múltiplas.
2. Avaliação Sistemática: Análise de ~23.000 campos com uma taxonomia de erros de seis vias, revelando que, embora a precisão de campo seja moderada (83,6%), apenas 50,9% das entradas estão totalmente corretas.
3. Identificação de Modos de Falha: Descoberta de dois modos distintos de erro:
   • Substituição Integral (Wholesale Substitution): Campos de identidade (autor, título, local) falham juntos, indicando que o modelo recuperou um artigo completamente diferente.
   • Erro de Campo Isolado: Erros individuais em campos numéricos ou de formatação, mesmo com o artigo correto identificado.
4. Arquitetura de Mitigação (clibib): Demonstração de que a integração de ferramentas de recuperação determinística em um pipeline de duas etapas (busca inicial + revisão baseada em banco de dados) supera a integração de estágio único.

4. Resultados Chave

4.1. Desempenho dos Modelos

• Precisão Geral: 83,6% dos campos estão corretos, mas apenas 50,9% das entradas estão 100% corretas.
• Impacto da Recência: Há uma queda drástica de 27,7 pontos percentuais na precisão ao comparar artigos populares (92,7%) com artigos recentes pós-corte (65,0%). Isso prova que, mesmo com busca, os modelos dependem pesadamente da memória paramétrica para artigos conhecidos e falham em reconstruir metadados complexos de artigos novos.
• Desempenho por Modelo: O Gemini 3 Flash liderou em precisão geral (88,9%), seguido por GPT-5 (81,4%) e Claude (80,4%).
• Campos Mais Críticos: Campos numéricos (volume, número, páginas) e DOI são os mais propensos a erros. O campo "Título" é o mais preciso.

4.2. Eficácia da Mitigação (clibib)

A integração da ferramenta clibib resultou em melhorias significativas:

• Integração de Duas Etapas (Recomendada):
  • Aumentou a precisão geral de 83,6% para 91,5% (+8,0 pp).
  • Aumentou a taxa de entradas totalmente corretas de 50,9% para 78,3%.
  • Taxa de regressão (erros introduzidos em dados que já estavam corretos) foi de apenas 0,8%.
• Integração de Estágio Único (Loop de Ferramentas):
  • Melhorou a precisão, mas com maior taxa de regressão (4,8%) e ganhos menores.
  • Isso demonstra que como a ferramenta é integrada (separar a busca da revisão) é tão importante quanto a capacidade do modelo.

4.3. Análise de Co-ocorrência de Erros

A análise mostrou que erros em campos de identidade (autor, ano, local) tendem a ocorrer juntos, indicando substituição do artigo inteiro. Isso sugere que verificar apenas esses três campos é suficiente para detectar a maioria das alucinações graves.

5. Significado e Conclusões

• A Busca Não é uma Solução Mágica: Embora a busca na web melhore a precisão em comparação com modelos sem busca, ela não elimina as alucinações. Os modelos frequentemente localizam o artigo correto, mas falham ao transcrever os metadados da página de busca para o formato BibTeX, recorrendo à memória paramétrica para preencher lacunas.
• Necessidade de Validação Determinística: O estudo conclui que entradas BibTeX geradas por LLMs não devem ser confiáveis para uso direto em manuscritos. Elas devem ser verificadas contra bancos de dados autoritativos.
• Arquitetura Importa: A abordagem de duas etapas (gerar uma entrada base e depois corrigi-la com dados de um banco de dados) é superior à tentativa de fazer o modelo buscar e formatar simultaneamente.
• Ferramentas Disponíveis: Os autores liberaram o benchmark de 931 artigos, a taxonomia de erros e a ferramenta clibib para permitir que a comunidade científica avalie e mitigue alucinações de citação.

Recomendação Final: O uso de agentes LLM para geração de referências bibliográficas deve ser acompanhado obrigatoriamente por uma camada de verificação determinística (como o clibib ou exportação direta de banco de dados) antes da publicação.