Detecting Reference Errors in Scientific Literature with Large Language Models

Título: Detecção de Erros de Referência na Literatura Científica com Grandes Modelos de Linguagem (LLMs)

Autores: Tianmai M. Zhang e Neil F. Abernethy (Universidade de Washington)

1. Problema e Contexto

A confiabilidade das citações na literatura científica é fundamental para a integridade da pesquisa, mas erros de referência são comuns, com taxas de prevalência variando entre 11% e 41% em diversos domínios. O artigo foca especificamente em erros de citação (quotation errors), definidos como situações em que uma referência não suporta adequadamente a afirmação para a qual é citada. Diferente de erros tipográficos (como autores ou anos incorretos), os erros de citação exigem uma verificação semântica profunda, comparando o conteúdo da afirmação com o texto da referência.

A detecção manual desses erros é lenta, cara e exige especialistas de domínio, tornando-se um gargalo crítico para a revisão por pares, especialmente com o volume crescente de publicações anuais. O objetivo deste estudo é avaliar a capacidade de Grandes Modelos de Linguagem (LLMs) de automatizar essa detecção sem a necessidade de fine-tuning (ajuste fino).

2. Metodologia

Conjunto de Dados

Os autores criaram um conjunto de dados de domínio geral, anotado por especialistas, contendo pares de afirmação-referência extraídos de artigos de journals.

• Tamanho e Distribuição: O dataset contém 250 pares.
  • 49,6% são "Totalmente Substantiados" (corretos).
  • 44,8% são "Não Substantiados" (erros graves).
  • 5,6% são "Parcialmente Substantiados" (erros menores).
• Domínios: Abrange Biologia/Medicina, Química, Física, Ciências Sociais, Engenharia e Computação.
• Fontes: Dados coletados de estudos anteriores de verificação de citações, da plataforma PubPeer e de correções/erratas do PubMed.

Configuração Experimental

O estudo avaliou três modelos da família GPT da OpenAI: gpt-3.5-turbo, gpt-4-0125-preview (GPT-4 Turbo) e gpt-4o-2024-05-13.
Os modelos foram testados em três cenários distintos de Aumento de Recuperação (RAG), variando a quantidade de contexto fornecido sobre a referência:

1. Apenas Título: O modelo recebe apenas o título do artigo de referência.
2. Título + Resumo: Adição do resumo (abstract) da referência.
3. Título + Resumo + Trechos (Excerpts): Uso de um pipeline RAG local (via LlamaIndex e GROBID) para extrair o texto completo do PDF, dividir em chunks e recuperar os 3 trechos mais relevantes semanticamente para a afirmação.
4. Pipeline Assistant: Uso da API Assistant da OpenAI, que permite o upload do PDF completo para o modelo processar internamente.

Tarefa: O modelo deve classificar cada par em uma das três categorias: Totalmente Substantiado, Parcialmente Substantiado ou Não Substantiado, fornecendo uma explicação em formato JSON.

3. Resultados Principais

• Desempenho Geral: Os modelos GPT-4 (Turbo e 4o) superaram significativamente o GPT-3.5 Turbo, especialmente na detecção de casos "Não Substantiados".
• Impacto do Contexto:
  • Contrariando a intuição, fornecer mais informações (resumos e trechos) nem sempre melhorou o desempenho.
  • O GPT-3.5 Turbo teve desempenho melhor no cenário de "Apenas Título" para casos "Totalmente Substantiados", mas piorou com mais texto, indicando que ele tende a se confundir com informações irrelevantes ou superficiais.
  • Os modelos GPT-4 mostraram maior robustez, mas também tendem a ser excessivamente rigorosos, classificando como "Parcialmente Substantiado" afirmações que são generalizações aceitáveis por humanos, mas que não correspondem palavra por palavra ao texto da referência.
• Análise de Erros:
  • O principal erro dos modelos foi classificar afirmações "Totalmente Substantiadas" como "Parcialmente Substantiadas". Isso ocorreu frequentemente quando a afirmação continha múltiplas sub-afirmações e o modelo falhava em identificar o escopo exato da verificação (ex: citar um estudo sobre uma região específica para apoiar uma afirmação sobre múltiplas regiões).
  • Não foram encontrados sinais significativos de alucinação nas explicações geradas.
• Comparação com Tarefas Anteriores: Modelos treinados para verificação de fatos científicos (como o de Wadden et al., 2020) falharam completamente neste dataset, classificando quase tudo como "Informação Insuficiente", demonstrando que essa tarefa é distinta e requer abordagens específicas.

4. Contribuições Chave

1. Dataset Público: Disponibilização de um conjunto de dados anotado por especialistas para detecção de erros de citação em domínio geral, preenchendo uma lacuna na literatura.
2. Viabilidade de LLMs "Zero-Shot": Demonstração de que LLMs modernos podem detectar erros de citação complexos com contexto limitado e sem necessidade de fine-tuning.
3. Análise de Trade-offs: Quantificação do impacto do nível de contexto (título vs. PDF completo) no desempenho e custo, fornecendo diretrizes para implementação em ambientes de produção.
4. Insights sobre Alinhamento Humano-IA: Identificação de uma discrepância na compreensão do que constitui um "erro" entre humanos e IAs, onde IAs tendem a ser literalistas demais.

5. Significado e Implicações Futuras

Este trabalho sugere que a IA pode ser uma ferramenta viável para auxiliar editores e revisores na triagem de erros de referência, potencialmente reduzindo a propagação de informações imprecisas e combatendo a má conduta acadêmica (como a manipulação de citações).

Limitações e Direções Futuras:

• O dataset é limitado em tamanho e focado predominantemente em ciências naturais e artigos de journals.
• A generalização para conferências, preprints ou domínios menos representados precisa de mais estudo.
• Futuras melhorias podem vir de prompt engineering avançado (como chain-of-thought), métodos de ensemble e o uso de modelos com janelas de contexto maiores que permitam a ingestão de documentos inteiros sem necessidade de recuperação de trechos.

Em suma, o estudo valida o potencial dos LLMs para automatizar a verificação de integridade na literatura científica, embora ainda existam desafios na calibração da sensibilidade do modelo para distinguir entre generalizações aceitáveis e erros reais.