💬 NLP

Source or It Didn't Happen: A Multi-Agent Framework for Citation Hallucination Detection

Este artigo apresenta o CiteTracer, um framework multiagente que reformula a detecção de alucinação de citações como uma tarefa de adjudicação em nível de campo alinhada à taxonomia para alcançar a verificação de alta precisão de referências científicas por meio de extração estruturada, recuperação de evidências de múltiplas fontes e raciocínio de agentes especializados.

Autores originais: Mingzhe Li, Zhiqiang Lin, Shiqing Ma

Publicado 2026-07-16

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Mingzhe Li, Zhiqiang Lin, Shiqing Ma

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está caminhando por uma biblioteca enorme e movimentada, onde cada livro é um artigo científico. Nesta biblioteca, o mais importante não é apenas a história dentro do livro, mas as "migalhas de pão" que ele deixa para trás — as citações. Elas são as notas que dizem: "Eu tirei essa ideia daquele livro ali adiante". Elas são o mapa que permite que outros exploradores encontrem o tesouro original. Mas, ultimamente, um novo tipo de bibliotecário chegou: um robô superinteligente que consegue escrever histórias mais rápido do que qualquer pessoa. O problema é que esse robô às vezes fica tão empolgado em contar uma boa história que inventa suas próprias migalhas de pão. Ele pode escrever o título de um livro que soa real, um autor que parece famoso ou um ano que faz sentido, mas se você tentar caminhar até aquela prateleira, o livro simplesmente não está lá. É uma "alucinação" — uma mentira convincente que parece real até que você verifique os fatos.

Isso é um grande problema porque a ciência funciona baseada na confiança. Se um pesquisador não consegue encontrar a fonte que um artigo afirma usar, toda a cadeia de evidências se quebra. Até agora, ferramentas projetadas para detectar essas migalhas de pão falsas eram como seguranças de uma boate com uma regra simples: "Você entra, ou você sai". Eles verificavam se o livro existia, mas se o livro existisse com um nome ligeiramente diferente, ou se o nome do autor estivesse escrito de forma estranha, o segurança ficava confuso e deixava uma falsificação entrar ou expulsava um real. Eles não consegravam distinguir entre um erro de digitação, um apelido e uma fabricação completa.

Conheça o CITETRACER, uma nova equipe de detetives digitais construída pelos pesquisadores Mingzhe Li, Zhiqiang Lin e Shiqing Ma. Em vez de apenas perguntar "Isso é falso?", eles criaram um sistema muito mais inteligente que pergunta: "O que exatamente está errado com isso?". Eles perceberam que as citações têm partes diferentes — como o título, o autor, o ano e a editora — e que um erro em uma parte não significa necessariamente que tudo seja uma mentira.

Para resolver isso, a equipe construiu um livro de regras de 12 códigos. Pense nisso como um guarda de trânsito que não apenas diz "Pare" ou "Siga", mas que pode te dar uma multa específica: "Você estava acima da velocidade", "Você passou no sinal vermelho" ou "Você esqueceu sua carteira de habilitação". O sistema deles classifica as citações em três baldes principais: REAL (perfeito ou apenas um pouco bagunçado), POTENCIAL (parece estar ok, mas precisa de um segundo olhar, como um apelido ou uma fonte não acadêmica) e ALUCINADO (totalmente inventado).

Os detetives trabalham em uma corrida de revezamento de quatro etapas. Primeiro, um Extrator de Referências atua como um scanner de alta tecnologia que lê o texto bagunçado de um PDF e o transforma em uma lista organizada de fatos. Em seguida, um Coletor de Evidências em Cascata vai em uma caça ao tesouro. Ele começa verificando um cache de memória rápida, depois segue links diretos (como um DOI), depois consulta bases de dados acadêmicas especializadas e, finalmente, se necessário, realiza uma busca ampla na web. É como verificar suas próprias notas, depois ligar para o autor, depois verificar o catálogo da biblioteca e, finalmente, perguntar para a cidade inteira.

Depois que obtêm as evidências, um Combinador de Campos compara a afirmação do robô com os fatos reais, peça por peça. Se o título coincide, mas o ano está errado, ele sinaliza apenas o ano. Por fim, se o caso for complicado, um painel de Juízes Especialistas em Classes entra em ação. Estes são como juízes especialistas que lidam com diferentes tipos de erros. Um juiz cuida dos casos "Real, mas bagunçado", outro cuida dos casos "Talvez seja real" e um terceiro cuida dos casos "Totalmente falso".

A equipe testou seu sistema em um enorme parquinho de 2.450 citações falsas e reais que eles mesmos criaram, além de 957 exemplos do mundo real de citações falsas que já haviam sido detectadas por organizadores de conferências. Os resultados foram impressionantes: o CITETRACER acertou 97,1% das vezes em seu conjunto de testes. Foi especialmente bom em detectar as falsificações "truquesas" (98,5% de precisão) e as "talvez" (95,8% de precisão), superando de longe outras ferramentas que apenas supunham "sim" ou "não". Quando testaram o sistema no caos do mundo real de artigos de conferências reais, ele detectou 97,1% das referências fabricadas sem desistir de nenhuma delas.

Em suma, o artigo mostra que, ao decompor o problema em peças minúsculas e específicas e ao usar uma equipe de especialistas em vez de um generalista, podemos capturar as mentiras do robô com uma precisão muito maior, transformando um "talvez falso" borrado em um claro "aqui está exatamente o que está errado", ajudando a manter a biblioteca da ciência honesta.

Resumo Técnico: Source or It Didn't Happen: A Multi-Agent Framework for Citation Hallucination Detection

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) estão cada vez mais integrados aos fluxos de trabalho de escrita científica, mas frequentemente fabricam referências com "aparência de citação" que parecem plausíveis, mas falham na verificação bibliográfica. Essas alucinações variam de metadados incorretos em artigos reais a publicações inteiramente inexistentes. As ferramentas de detecção existentes sofrem de duas limitações primárias:

Limitações Binárias: A maioria dos auditores comerciais e acadêmicos (ex: Citely, CiteAudit, Hallucinator) reduz a verificação a uma decisão binária "Real ou Falso". Isso colapsa o meio ambíguo (ex: variantes de apelidos, fontes não acadêmicas, lacunas de metadados periféricos) em um único sinal, falhando em fornecer a granularidade de nível de campo que os auditores precisam para distinguir entre erros corrigíveis e fabricações.
Fragilidade de Entrada: Os sistemas existentes frequentemente dependem de parsers de PDF frágeis que descartam entradas, segmentam incorretamente spans de autor/título ou alucinam campos eles próprios, corrompendo a entrada antes mesmo da verificação começar.

Além disso, o campo carece de um benchmark aberto com verdade fundamental (ground truth) consistente, já que as ferramentas existentes são majoritariamente de código fechado com métricas opacas.

Metodologia: CITETRACER

Os autores introduzem o CITETRACER, um framework multi-agente em cascata projetado para reformular a detecção de alucinação de citações como uma adjudicação de nível de campo alinhada à taxonomia. O sistema opera através de quatro módulos sequenciais:

1. Extrator de Referência (Parsing Sensível ao Layout)

Para abordar a fragilidade de entrada, este módulo evita depender exclusivamente de transcrições de OCR. Em vez disso, utiliza um processo de duas etapas:

Proposta de OCR: Um modelo de OCR identifica regiões bibliográficas e fornece transcrições iniciais.
Re-parsing via Vision-LLM: Um agente de parsing recebe a imagem recortada do bloco de citação e o texto do OCR como entrada. Ele re-extrai campos bibliográficos estruturados (título, autores, conferência/periódico, ano, DOI, páginas, editora, localização, URL) diretamente da evidência visual. Isso permite que o sistema repare erros de OCR, lide com referências divididas entre colunas/páginas e normalize diversos estilos bibliográficos sem regras rígidas criadas manualmente.

2. Coletor de Evidências em Cascata

Para equilibrar o custo de recuperação com a cobertura de fontes, o sistema emprega uma cascata de recuperação de quatro estágios, ordenados do mais barato para o mais geral:

Memória: Consulta um cache inicializado a partir de um espelho do DBLP offline e atualizado com citações verificadas.
Busca de URL: Extrai metad dados estruturados diretamente de links explícitos (DOI, arXiv, páginas de editoras) encontrados na citação.
Conectores de Scholar: Consultas paralelas a oito fontes bibliográficas públicas (ex: DBLP, ACL Anthology) para cobrir literatura de domínio específico e geral.
Busca na Web: Um fallback usando um Agente de Web para gerar consultas de busca a partir do registro da citação, recuperando resumos brutos da web para referências de cauda longa ou não indexadas.
A cascata interrompe-se precocemente se um estágio fornecer evidência suficiente para um veredito "REAL", pulando os estágios subsequentes.

3. Comparador de Campos (Field Matcher)

Este módulo realiza a correspondência de campos de forma determinística entre a citação extraída e o pacote de evidências recuperado ( $E_i$ ).

Estágio Determinístico: Aplica normalizadores baseados em regras (conversão para minúsculas, canonicalização de DOI, normalização de ordem de autores) para verificar correspondências. Se um candidato corresponde a todos os campos fornecidos explicitamente, o sistema encerra precocemente como um caso "VÁLIDO".
Agente de Comparação: Se as regras determinísticas falharem em resolver totalmente a citação, um agente especializado examina as discrepâncias residuais. Ele classifica as incompatibilidades como variações normalizáveis, metadados ausentes ou contradições reais, produzindo um perfil de status de campo para adjudicação posterior.

4. Juízes Especialistas por Classe

Em vez de um juiz monolítico, o sistema roteia os casos para três agentes especialistas baseados no perfil de status de campo:

Juiz de Válidos: Lida com casos residuais normalizáveis (ex: variantes de formato).
Juiz de Potenciais: Lida com casos ambíguos, mas plausíveis (ex: variantes de apelidos/transliteração, fontes não acadêmicas).
Juiz de Alucinações: Lida com casos onde a evidência contradiz a citação ou está ausente.
Cada juiz emite um veredito alinhado à taxonomia, os campos ofensivos específicos e as fontes de evidência de suporte.

Benchmark e Taxonomia

O artigo introduz uma taxonomia de 1 even de alucinação de citação de 12 códigos agrupada em três classes:

REAL (R1–R3): Correspondências exatas e variantes de formatação normalizáveis (abreviações, iniciais, et al.).
POTENCIAL (P1–P3): Casos ambíguos, incluindo variantes de apelido/transliteração, fontes não acadêmicas e metadados periféricos não verificados.
ALUCINADO (H1–H6): Fabricações específicas de nível de campo (Título, Autores, Conferência/Periódico, Ano, Identificador, Metadados periféricos).

Para apoiar a avaliação, os autores lançam:

Benchmark Sintético: 2.450 citações derivadas de sementes reais com mutações controladas induzidas por LLM aplicadas campo a campo, cobrindo cinco estilos de renderização (PDF e BibTeX).
Conjunto de Teste do Mundo Real: 957 citações extraídas do ICLR 2026 e de submissões anônimas de conferências rejeitadas pelo comitê, onde as fabricações foram sinalizadas pelos coordenadores das conferências.

Resultados

O CITETRACER foi avaliado contra cinco baselines (GPT-5.5, Claude 4.7 Opus, Gemini 3.1 Pro, Hallucinator, GPTZero) em conjuntos de dados sintéticos e do mundo real.

Desempenho no Benchmark Sintético:
- Alcançou 97,1% de precisão geral.
- Scores de F1 por classe: REAL (97,0), POTENCIAL (95,8), ALUCINADO (98,5).
- Superou significativamente todos os baselines, particularmente na classe POTENCIAL, onde auditores binários falharam (ex: GPT-5.5 alcançou apenas 43,8 de F1 em POTENCIAL).
- A precisão de extração por campo atingiu níveis quase perfeitos (ex: 98,7% para Autores, 99,7% para Conferência/Periódico) usando a variante de re-parsing via Vision-LLM.
Desempenho no Mundo Real:
- Nos 807 casos de citações de ICLR 2026 rejeitadas por desk-reject, o CITETRACER sinalizou 796 como ALUCINADAS (98,6% de recall), com o restante classificado como POTENCIAL.
- Nas 150 citações alucinadas de conferências anônimas, ele rotulou 133 como REFERÊNCIA-FALSA e 17 como POTENCIAL, detectando todas as alucinações confirmadas.
- O sistema detectou fabricações sem se abster, mantendo alta precisão e recall em entradas PDF e BibTeX.
Estudos de Ablação:
- Remover o passo de re-parsing via Vision-LLM causou quedas significativas na precisão de extração de campos (ex: Autores caiu de 98,2% para 85,6%).
- Remover os Conectores de Scholar colapsou o pipeline (F1 de REAL caiu para 31,4), demonstrando a necessidade de APIs acadêmicas.
- Remover o Agente de Web reduziu o desempenho em todas as classes, confirmando seu papel no tratamento de referências de cauda longa.

Significância e Alegações

O artigo afirma que o CITETRACER aborda a realidade operacional da integridade de citações nos níveis de conferência, onde os coordenadores já estão rejeitando submissões devido a referências fabricadas. Sua significância reside em:

Mudança de Paradigma: Mover da detecção binária "encontrado/não encontrado" para uma taxonomia fina de nível de campo que suporta ações específicas do auditor (correção vs. rejeição).
Robustez: Superar a fragilidade do parsing de PDF através de um pipeline de extração sensível ao layout e baseado em visão.
Eficiência e Cobertura: Usar um coletor de evidências em cascata para minimizar chamadas de LLM enquanto maximiza a cobertura de fontes, garantindo que casos fáceis sejam resolvidos deterministicamente enquanto casos ambíguos recebem atenção especializada.
Benchmarking: Fornecer o primeiro benchmark aberto com rótulos de taxonomia de verdade fundamental para alucinação de citações, permitindo a comparação rigorosa de métodos de detecção futuros.

Os autores concluem que sua abordagem operacionaliza com sucesso a verificação de citações, ofereando uma solução escalável que supera as ferramentas de estado da arte atuais tanto em precisão quanto em granularidade diagnóstica.