How LLMs Cite and Why It Matters: A Cross-Model Audit of Reference Fabrication in AI-Assisted Academic Writing and Methods to Detect Phantom Citations

Este estudo apresenta uma ampla auditoria de 10 modelos de linguagem que revela altas taxas de alucinação de citações acadêmicas, demonstrando que esse comportamento é induzido pelo prompt e propondo métodos eficazes de detecção, como consenso entre múltiplos modelos e um classificador leve baseado em características bibliográficas, para mitigar o problema sem consultar bancos de dados externos.

O essencial

Imagine que você pediu a um grupo de 10 "especialistas em IA" (como o ChatGPT, Claude, Gemini, etc.) para escreverem um trabalho acadêmico e incluírem uma lista de referências bibliográficas. O que você esperaria? Que eles citassem livros e artigos reais. O que aconteceu? Muitos deles inventaram referências que não existem.

Este estudo, feito pelo Dr. M.Z. Naser da Universidade de Clemson, é como um grande "teste de realidade" para ver quem está mentindo e quem está dizendo a verdade.

Aqui está a explicação do estudo, usando analogias do dia a dia:

1. O Problema: A "Alucinação" das IAs

As IAs são como estudantes muito inteligentes que leram milhões de livros, mas às vezes, quando são pressionados a dar exemplos, eles começam a inventar histórias.

• A Analogia: Imagine que você pede a um amigo para citar um filme famoso que ganhou um Oscar. Se ele não lembrar o nome exato, ele pode inventar um título que parece real, com um ator famoso e um ano correto, mas o filme nunca existiu.
• O Descobrimento: O estudo mostrou que, se você não pedir explicitamente para a IA citar fontes, ela não inventa nada. Ela só começa a mentir quando você diz: "Por favor, me dê 10 referências". Ou seja, a mentira é uma resposta à sua pergunta, não um defeito interno da máquina.

2. Quem mente mais? (Os Resultados)

O pesquisador testou 10 modelos diferentes. A diferença entre eles foi gigantesca:

• O "Aluno Nota 10": O modelo GPT-5-mini foi o melhor. Ele inventou apenas 11% das referências.
• O "Aluno que Precisa de Reprovação": O modelo haiku-4.5 foi o pior. Ele inventou 57% das referências!
• A Surpresa: Nem sempre a versão mais nova é melhor. A Anthropic (criadora do Claude) lançou uma versão mais nova que, na verdade, mentiu mais do que a versão antiga. É como se um carro novo tivesse um motor melhor, mas os freios piores.

3. O que faz a IA mentir mais?

Dois fatores principais aumentaram a chance de mentiras:

• O Pedido de "Coisas Novas": Quando os pesquisadores pediram referências "recentes e influentes", a IA mentiu muito mais (74% de mentiras).
  • Por que? A IA foi treinada com dados do passado. Pedir algo muito novo é como pedir a um historiador que só leu jornais de 2020 para citar uma notícia de ontem. Ela não tem o dado, então inventa.
• O Domínio: Em áreas como Engenharia Civil, a IA mentiu mais do que em Inteligência Artificial. Isso acontece porque a IA "leu" muito mais textos de IA na internet do que de engenharia civil.

4. Como pegar a IA no flagra? (Os Detectives)

O estudo não só apontou o problema, mas deu três truques simples para quem usa IA na academia:

• Truque 1: A Regra da Votação (Consenso)

  • A Analogia: Se você pergunta a uma pessoa "Qual é a capital da França?", ela pode errar. Se você pergunta a 10 pessoas e 3 delas dizem "Paris" independentemente, é quase certeza que é Paris.
  • O Resultado: Se 3 IAs diferentes citarem o mesmo artigo, a chance de ser real salta de 16% para 95%. Se todas as IAs inventarem, elas inventam coisas diferentes. As reais são as mesmas para todos.

• Truque 2: A Regra da Repetição

  • A Analogia: Se você pede a um amigo para contar uma história 3 vezes e ele conta a mesma história igualzinha, provavelmente é verdade. Se ele inventa detalhes diferentes toda vez, é que ele está inventando.
  • O Resultado: Se você pedir a mesma coisa para a mesma IA 3 vezes e ela citar o mesmo artigo 2 vezes, é muito provável que seja real.

• Truque 3: O "Detector de Mentiras" Automático

  • Os pesquisadores criaram um pequeno programa que olha apenas para a forma da citação, sem precisar consultar bancos de dados.
  • O Sinal: Citações inventadas tendem a ter menos autores e nomes de autores mais curtos. É como se a IA, ao inventar, fosse preguiçosa e colocasse apenas "João Silva" em vez de "João Silva, Maria Oliveira, Pedro Santos e Ana Costa". O programa consegue pegar essa "preguiça" e avisar: "Cuidado, isso parece falso".

5. Por que isso importa?

Se um pesquisador usa uma citação falsa em um artigo científico, ele está espalhando uma mentira que pode ser copiada por outros. É como uma "bola de neve" de desinformação.

• Viés Oculto: As IAs tendem a citar muito mais artigos que são gratuitos (Open Access) do que os que são pagos. Isso pode fazer com que pesquisas importantes, mas que estão trancadas em revistas pagas, desapareçam da visão da comunidade científica.

Resumo Final

Este estudo nos ensina que:

1. As IAs mentem sobre referências, mas só quando pedimos.
2. Nem toda IA é igual; algumas são muito mais confiáveis que outras.
3. Não confie cegamente na primeira resposta. Use o "consenso" (pergunte para várias IAs) ou repita o pedido para a mesma IA.
4. Existe um jeito fácil de filtrar as mentiras antes mesmo de verificar se o artigo existe.

É um alerta importante para todos que usam IA para escrever: Use a ferramenta, mas seja o editor crítico.

Resumo técnico

Resumo Técnico: Auditoria de Alucinação de Citações em Grandes Modelos de Linguagem (LLMs)

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) tornaram-se ferramentas comuns na escrita acadêmica, mas apresentam um defeito crítico: a fabricação de citações (alucinações). Referências "fantasmas" são formatadas corretamente e contextualmente apropriadas, mas não existem na realidade.

• Impacto: Citações não detectadas entram no registro acadêmico, propagando atribuições falsas e corrompendo a integridade da literatura científica.
• Lacunas no Conhecimento: Estudos anteriores eram limitados (poucos modelos, condições não comparáveis, falta de controle sem solicitação). Não havia clareza sobre se a alucinação é intrínseca ao modelo ou induzida pelo prompt, nem sobre como diferentes provedores, domínios e enquadramentos temporais afetam as taxas de erro.

2. Metodologia

O estudo realizou uma das maiores auditorias de alucinação de citações até a data, utilizando um desenho experimental rigoroso:

• Escala: 10 LLMs comercialmente disponíveis de 7 provedores diferentes (OpenAI, Anthropic, Meta, DeepSeek, Moonshot AI, Mistral).
• Dados: 69.557 instâncias de citações geradas.
• Variáveis Experimentais:
  • 4 Domínios Acadêmicos: Engenharia Estrutural, Ciência Climática/ambiental, Pesquisa Biomédica, NLP/IA.
  • 2 Enquadramentos Temporais: Solicitação de referências "recentes e influentes" vs. "seminais e fundamentais".
  • Condição de Controle: Prompts sem solicitação de citações (para testar se modelos geram citações espontaneamente).
  • Replicação: 3 execuções independentes por prompt.
• Pipeline de Verificação: Um sistema automatizado de três camadas (CrossRef, OpenAlex e Semantic Scholar) para validar as citações.
  • Critério de Confirmação: Pontuação de confiança ≥ 80 (baseada em similaridade de título, sobreposição de autores e ano).
  • Validação: Uma amostra de 225 citações foi validada manualmente via busca na web para calibrar o pipeline.

3. Principais Contribuições

O artigo oferece seis contribuições principais para a comunidade:

1. Quantificação Comparativa: Taxas de alucinação mensuradas em 10 modelos de diferentes provedores.
2. Efeito do Enquadramento: Demonstração de como a solicitação de referências "recentes" vs. "seminais" altera drasticamente a precisão.
3. Controle Não Solicitado: Evidência de que a alucinação é induzida pelo prompt (nenhum modelo gerou citações espontaneamente quando não solicitado).
4. Viés Bibliométrico: Identificação de que modelos tendem a super-representar obras de acesso aberto (Open Access) e artigos altamente citados.
5. Heurísticas de Verificação: Proposta e validação de dois filtros práticos para reduzir alucinações sem consultar bancos de dados externos.
6. Classificador de Alucinação: Desenvolvimento de um classificador leve baseado apenas em características da string bibliográfica para detectar citações falsas.

4. Resultados Chave

• Variação de Desempenho: As taxas de alucinação variaram de 11,4% (GPT-5-mini) a 56,8% (haiku-4.5), uma diferença de cinco vezes.
  • Melhores: GPT-5-mini (11,4%), GPT-5-nano (23,3%), DeepSeek-v3.1 (28,9%).
  • Piores: Haiku-4.5 (56,8%), Llama4-scout (49,4%).
• Efeito do Enquadramento Temporal: Solicitar referências "recentes" resultou em uma taxa de alucinação de 74,1%, comparado a 55,0% para referências "seminais". Isso sugere que modelos têm menos dados de treinamento para obras recentes, forçando a geração alucinada.
• Efeito de Domínio: A alucinação foi menor em NLP/IA (26,6%) e maior em Engenharia Estrutural (50,1%), correlacionando-se com a densidade de dados disponíveis no treinamento.
• Convergência entre Modelos:
  • Citações únicas de um único modelo: 16,5% de precisão.
  • Citações repetidas por 2 modelos: 87,4% de precisão.
  • Citações concordantes por ≥3 modelos: 95,6% de precisão (melhoria de 5,8x).
• Regressão Geracional: Ao contrário da expectativa, o modelo mais recente da Anthropic (haiku-4.5) teve desempenho pior que seu predecessor (haiku-3.5), com alucinação aumentando de 48,8% para 56,8%.
• Viés de Acesso Aberto: Todos os modelos super-representaram obras de acesso aberto (até 91,8% para o GPT-5-mini), criando um viés epistêmico em relação à literatura de assinatura.
• Classificador de Texto: Um classificador Gradient Boosted Machine (GBM) treinado apenas em metadados da citação (número de autores, comprimento da string, presença de "et al.", ano) alcançou uma AUC de 0,876 na validação cruzada e 0,834 na generalização "leave-one-model-out".
  • Sinal Principal: Citações alucinadas tendem a ter menos autores (1,81 vs 2,07), strings de autores mais curtas e raramente usam "et al.".

5. Significado e Implicações

• Natureza da Alucinação: A descoberta de que modelos não geram citações espontaneamente reclassifica o problema como uma interação prompt-resposta, sugerindo que a mitigação deve focar no design de prompts e verificação pós-geração, não apenas na arquitetura do modelo.
• Filtros Práticos:
  1. Consenso Multi-Modelo: Exigir que 3 ou mais modelos gerem a mesma citação aumenta a confiabilidade para >95%.
  2. Repetição Interna: Repetir o mesmo prompt 3 vezes e manter apenas citações que aparecem ≥2 vezes aumenta a precisão para ~89%.
• Limitações da Evolução: A melhoria na precisão de citações não é garantida com novas gerações de modelos; depende de escolhas de alinhamento e treinamento específicas de cada desenvolvedor.
• Ferramenta de Pré-treino: O classificador textual desenvolvido permite uma triagem rápida e barata de citações antes de consultas a bancos de dados, reduzindo custos de API em até 60%.
• Equidade Epistêmica: O viés em direção a obras de acesso aberto pode marginalizar ainda mais pesquisadores de instituições com menos recursos ou campos que publicam predominantemente em revistas por assinatura.

Conclusão: O estudo fornece evidências empíricas robustas de que a alucinação de citações é um problema sistêmico, mas filtrável. A combinação de consenso entre modelos, repetição de prompts e classificação baseada em texto oferece um caminho viável para pesquisadores utilizarem LLMs na escrita acadêmica com maior segurança e integridade.