LLM hallucinations in the wild: Large-scale evidence from non-existent citations

Resumo Técnico: Alucinações de LLM no Mundo Real

Declaração do Problema
Os Modelos de Linguagem de Grande Escala (LLMs) são conhecidos por gerar informações plausíveis, mas falsas ("alucinações"), contudo, a magnitude e as consequências desse fenômeno no mundo real permanecem pouco compreendidas. Embora as alucinações tenham sido documentadas em ambientes simulados e relatos anedóticos (por exemplo, relatórios governamentais, petições judiciais), há uma falta de evidências sistemáticas e em grande escala sobre sua prevalência na produção de conhecimento científico implantada. Estudar alucinações em escala é difícil porque elas estão tipicamente embutidas em texto não estruturado, exigindo avaliação humana custosa ou pipelines automatizados que podem reintroduzir vieses específicos do modelo. As citações científicas oferecem uma oportunidade única para auditoria, pois fornecem uma verdade fundamental rastreável e binária: uma referência citada existe ou não.

Metodologia
Os autores conduziram uma auditoria em escala populacional de 111 milhões de referências em 2,5 milhões de artigos de quatro grandes corpora: arXiv (ciências matemáticas, físicas e computacionais), bioRxiv (ciências biológicas), SSRN (ciências sociais, direito, humanidades) e PubMed Central (literatura biomédica revisada por pares).

1. Pipeline de Verificação:

   • Extração e Análise: As referências foram extraídas de arquivos de manuscrito brutos (LaTeX, PDF via GROBID, XML ou metadados).
   • Correspondência Inicial: Títulos analisados foram consultados contra um índice local Elasticsearch construído a partir do Semantic Scholar e OpenAlex. Critérios de similaridade de strings determinaram correspondências válidas.
   • Limpeza: Entradas sem correspondência foram roteadas para uma etapa de limpeza baseada em LLM (GPT-4o-mini) para excluir fontes não acadêmicas e refinar a extração de títulos, reduzindo a taxa de não correspondência de ~4,9% para 1,54%.
   • Validação Final: Uma consulta à API do Google Scholar de terceiros foi realizada nas entradas restantes sem correspondência. Uma referência foi considerada válida se o Google Scholar retornasse um registro correspondente ou evidência consistente do trabalho sendo citado em outro lugar.
   • Definição de Alucinação: O estudo define "citações alucinadas" não como cada referência sem correspondência, mas como o excesso de citações sem correspondência observado após a adoção de LLMs em comparação com uma linha de base pré-LLM (final de 2022). Essa abordagem controla erros bibliográficos ordinários e artefatos de formatação.

2. Estrutura Analítica:

   • Dinâmica Temporal: Modelos de regressão foram usados para estimar a taxa de citações sem correspondência ao longo do tempo, identificando o ponto de inflexão do surgimento de alucinações.
   • Análise de Distribuição: O estudo examinou a distribuição de citações alucinadas entre os artigos para testar se a contaminação está concentrada em poucos manuscritos "maçãs podres" ou se está difusamente embutida.
   • Análise de Autoria e Crédito: Os autores correlacionaram as taxas de alucinação com a produtividade dos autores (contagens de publicações anteriores), tamanho da equipe e características dos autores citados (produtividade, impacto de citação, gênero e hierarquia da equipe).
   • Avaliação de Salvaguardas: A eficácia dos controles de qualidade existentes foi avaliada analisando as taxas de rejeição na moderação do arXiv e a persistência de alucinações de pré-prints (bioRxiv) para versões publicadas (PMC).

Principais Resultados

• Aumento nas Alucinações: Um aumento acentuado em referências inexistentes começou em meados de 2024, aproximadamente 18 meses após o lançamento inicial do ChatGPT. Em agosto de 2025, as taxas de alucinação atingiram 0,39% (arXiv), 0,21% (bioRxiv), 1,91% (SSRN) e 0,27% (PMC).
• Magnitude: Extrapolando essas tendências, os autores estimam conservadoramente que 146.932 citações alucinadas foram introduzidas nesses quatro corpora apenas em 2025.
• Contaminação Difusa: As alucinações não estão concentradas em poucos artigos altamente contaminados. Em vez disso, estão difusamente embutidas; o aumento é impulsionado por uma proporção crescente de artigos contendo uma pequena fração (0–10%) de referências sem correspondência, em vez de poucos artigos com altas taxas de erros.
• Correlatos de Produção:
  • Experiência do Autor: Autores que citam fontes alucinadas ("citadores de alucinação") tinham significativamente menos publicações anteriores antes de 2023 em comparação com os controles. No entanto, em 2025, sua produtividade disparou (aumento relativo de 1,33x a 3,13x), sugerindo que os LLMs reduziram as barreiras de entrada para pesquisadores menos experientes, levando a um alto volume de saída com erros embutidos.
  • Tamanho da Equipe: As taxas de alucinação são inversamente correlacionadas com o tamanho da equipe; artigos de autoria única e de pequenas equipes exibem taxas mais altas.
  • Uso de LLM: Há uma forte correlação positiva (r = 0,441) entre o uso estimado de LLM na escrita e as taxas de alucinação tanto no nível de subárea quanto no nível de artigo.
• Viés na Alocação de Crédito:
  • As citações alucinadas creditam desproporcionalmente autores com alta produtividade anterior e alto impacto de citação.
  • Há uma disparidade de gênero significativa: as citações alucinadas têm 7,6% mais probabilidade de creditar autores com nomes masculinos.
  • Esses vieses estendem-se a citações válidas dentro dos mesmos artigos, sugerindo uma realocação mais ampla de crédito científico em direção a estudiosos proeminentes.
• Falha das Salvaguardas:
  • Moderação de Pré-prints: Embora os moderadores do arXiv rejeitem manuscritos com taxas mais altas de alucinação, estima-se que 78,8% das citações inexistentes ainda passem pela moderação.
  • Revisão por Pares: 85,3% das citações alucinadas presentes em pré-prints do bioRxiv persistiram em suas versões publicadas no PubMed Central.
  • Contaminação de Banco de Dados: Referências alucinadas estão aparecendo cada vez mais como entradas independentes no Google Scholar, criando um ciclo de feedback onde obras inexistentes se tornam parte da "verdade fundamental" para futuras recuperações.

Significado e Alegações
O artigo afirma fornecer a primeira auditoria em grande escala e interdisciplinar de alucinações de LLM no trabalho de conhecimento do mundo real. Seu significado principal reside em deslocar o discurso da negligência individual para uma preocupação em nível de sistema. As descobertas demonstram que:

1. Escala e Persistência: As alucinações de LLM estão infiltrando a produção de conhecimento em uma escala massiva e estão persistindo através das etapas de pré-prints e publicação, superando as salvaguardas atuais.
2. Implicações de Equidade: Os erros não são aleatórios; eles reforçam desigualdades existentes ao canalizar crédito para estudiosos estabelecidos e do sexo masculino, enquanto são produzidos desproporcionalmente por pesquisadores de carreira inicial ou menos experientes.
3. Generalizabilidade: A ciência representa um domínio de "melhor caso" para detecção devido a citações estruturadas e indexação rica. Os autores argumentam que, se as alucinações estão penetrando na literatura científica apesar desses mecanismos robustos de verificação, o problema é provavelmente muito mais grave e difícil de detectar em domínios menos estruturados, como petições legais, relatórios de políticas e jornalismo.
4. Ciclos de Feedback: O acúmulo de citações alucinadas em bancos de dados bibliométricos ameaça erodir os mecanismos usados para detectá-las, criando uma degradação dependente de caminho da confiabilidade científica.

Os autores concluem que, embora ferramentas de verificação automatizada ofereçam esperança para erros estruturados como citações, o desafio mais amplo de detectar alegações alucinadas em prosa não estruturada permanece um problema crítico e não resolvido para a integridade da futura descoberta científica e tomada de decisão institucional.