Resumo Técnico: CITECHECK

Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) estão sendo cada vez mais integrados em fluxos de trabalho científicos, incluindo a redação de manuscritos e a geração de relatórios. No entanto, persiste um problema crítico de confiabilidade: os LLMs frequentemente geram "alucinações de citação". Trata-se de referências que parecem esteticamente legítimas, mas contêm metadados corrompidos (por exemplo, autores, anos ou DOIs incorretos) ou apontam para artigos inteiramente inexistentes. Tais erros comprometem a rastreabilidade, a atribuição e a reprodutibilidade da comunicação científica. Os métodos de verificação existentes frequentemente dependem do conhecimento paramétrico interno do modelo ou de pesquisas web simples, que têm dificuldade em distinguir entre desvios sutis de metadados e fabricação completa, ou falham em fundamentar a verificação em evidências acadêmicas estruturadas.

Metodologia: O Framework CITECHECK

O CITECHECK é um framework híbrido projetado para detectar alucinações de citação ao fundamentar cada referência em fontes acadêmicas externas, em vez de depender do conhecimento interno do LLM. O sistema opera por meio de um pipeline estruturado composto por quatro etapas principais:

1. Extração de Metadados

O sistema primeiro analisa uma string de citação bruta em campos estruturados (título, autores, ano, URL, DOI, ID do arXiv). Ele emprega um analisador baseado em regras para padrões padrão e invoca um analisador baseado em LLM apenas quando a extração determinística falha. Esta etapa gera sinais de recuperação sem determinar a validade.

2. Cascata de Recuperação de Candidatos

O CITECHECK tenta localizar a publicação real correspondente à citação usando uma cascata em queda livre sobre múltiplas fontes externas:

• Consulta Direta: Se um identificador do arXiv estiver presente, uma consulta direta ao arXiv é realizada primeiro.
• APIs Estruturadas: O sistema consulta o CrossRef, o Semantic Scholar e o OpenAlex usando pesquisas baseadas em título.
• Fallback de Pesquisa Web: Se as fontes estruturadas não retornarem uma correspondência confiável, é acionada uma pesquisa web assistida por LLM.
• Lógica de Seleção: Os candidatos são aceitos com base na similaridade Levenshtein normalizada entre o título da citação limpa e o título do candidato, com limiares adicionais de confiança (por exemplo, do CrossRef) e sinais de classificação baseados no ano.

3. Verificação Estruturada por LLM

Uma vez recuperada uma publicação candidata, um LLM verificador compara os metadados da citação original contra os metadados do candidato recuperado. Diferentemente de prompts de classificação padrão, o verificador produz:

• Uma pontuação numérica (0–10) representando o grau de concordância.
• Um nível de confiança e uma breve justificativa.
• Identificação de discrepâncias específicas.
  O sistema utiliza uma pontuação numérica para permitir limites de decisão calibrados, em vez de depender do rótulo categórico do modelo, que pode ser inconsistente.

4. Limiarização e Passagem do Revisor

A pontuação numérica é mapeada para três rótulos usando limiares fixos ($\tau_M$ e $\tau_E$) determinados em um conjunto de validação:

• EXATO: A citação descreve fielmente a publicação real ($s \ge \tau_E$).
• MENOR: O artigo pretendido existe, mas os campos de metadados estão corrompidos ($\tau_M \le s < \tau_E$).
• MAIOR: Nenhuma publicação correspondente existe, ou o candidato é muito dissimilar ($s < \tau_M$).

Uma "Passagem do Revisor" é aplicada para casos suspeitos onde um identificador (URL/ID do arXiv) resolve para um artigo real, mas a similaridade de títulos é baixa. Um segundo juiz LLM reavalia esses casos para garantir que o texto da citação descreva com precisão a fonte, prevenindo falsos positivos onde um link válido é emparelhado com metadados fabricados.

Construção do Conjunto de Dados

Para avaliar o framework, os autores construíram um benchmark de 982 citações extraídas da literatura de física, cobrindo nove subdomínios (por exemplo, astrofísica, matéria condensada, computação quântica).

• Corrupções Controladas: O conjunto de dados inclui citações válidas, "alucinações menores" (desvio de metadados, como autores ou anos alterados, mantendo a identidade do artigo) e "alucinações maiores" (referências totalmente fabricadas que permanecem plausíveis tematicamente).
• Geração: As corrupções foram geradas usando o GPT-4o-mini com configurações específicas de temperatura para simular erros de transcrição (menores) e fabricação substancial (maiores).
• Equilíbrio: O benchmark final é aproximadamente equilibrado entre as três classes (36,25% válidas, 30,55% menores, 33,20% maiores).

Resultados

Avaliado em um conjunto de teste mantido à parte de 792 citações, o CITECHECK alcançou:

• 88,9% de Acurácia
• 88,7 de Macro-F1

Desempenho Comparativo:

• O CITECHECK superou as linhas de base diretas de LLM (GPT-5.4, Claude Sonnet 4.6, Gemini 2.5 Flash) em configurações zero-shot e few-shot.
• Superou a linha de base mais forte (Claude Sonnet 4.6 com pesquisa web e exemplos few-shot) em 5,8 pontos de Macro-F1 e 5,7 pontos de acurácia.
• Notavelmente, o CITECHECK alcançou isso permanecendo zero-shot na etapa de verificação, demonstrando que a verificação fundamentada em recuperação é mais eficaz do que a supervisão em contexto ou o prompting isolado.
• Estudos de Ablação: A remoção do fallback de pesquisa web reduziu o Macro-F1 em 7,0 pontos, e a remoção da passagem do revisor reduziu-o em 4,0 pontos, confirmando a necessidade de ambas a recuperação ampla e a revisão direcionada para lidar com desvios sutis de metadados.

Significado e Alegações

O artigo afirma que a verificação confiável de citações exige uma mudança de depender do conhecimento interno do LLM para um pipeline que combina recuperação acadêmica, comparação estruturada baseada em LLM e regras de decisão calibradas.

As principais conclusões enfatizadas pelos autores incluem:

1. A Recuperação é Essencial: Mesmo LLMs fortes lutam para detectar alucinações sem acesso a evidências externas; a pesquisa web melhora significativamente o desempenho da linha de base, mas é insuficiente por si só sem comparação estruturada.
2. Comparação Estruturada em vez de Prompting: Tratar a verificação como uma recuperação de candidatos seguida por comparação de metadados produz maior acurácia do que o prompting direto, particularmente para "alucinações menores" onde o artigo existe, mas os metadados estão corrompidos.
3. Detecção Granular: O framework distingue com sucesso entre correspondências exatas, erros menores de metadados e fabricações maiores, uma nuance frequentemente perdida na detecção binária "real vs. falso".

Os autores concluem que o CITECHECK fornece uma base para pipelines de verificação mais amplos para texto científico gerado por IA, embora reconheçam limitações relacionadas ao foco atual na física e à necessidade de trabalhos futuros sobre bibliografias geradas por LLMs de ocorrência natural e alinhamento ao nível de alegações.