Detection and Interpretability Analysis of Quotation Errors by Large Language Models

Resumo Técnico: Detecção e Análise de Interpretabilidade de Erros de Citação por Grandes Modelos de Linguagem

Definição do Problema
Erros de citação, definidos como inconsistências entre a informação citada e o texto fonte original, representam riscos significativos à integridade acadêmica. Esses erros podem levar à interpretação equivocada de pesquisas originais, distorcer a compreensão coletiva da comunidade acadêmica e comprometer a precisão dos sistemas de avaliação baseados em citações. Embora a verificação manual seja o padrão tradicional, ela é laboriosa e ineficiente. Os métodos de detecção automatizada existentes, incluindo abordagens baseadas em similaridade e técnicas de Grandes Modelos de Linguagem (LLMs) baseadas em prompts, muitas vezes dependem apenas de dados abstratos ou carecem de interpretabilidade profunda. Além disso, o potencial de ajustar (fine-tuning) LLMs especificamente para esta tarefa, combinado com a integração de dados de texto completo e análise de interpretabilidade, permanece subexplorado.

Metodologia
O estudo propõe um framework para a detecção automatizada de erros de citação que integra três componentes principais: ajuste fino (fine-tuning), integração de dados de texto completo e análise de interpretabilidade.

1. Abordagem de Ajuste Fino (Fine-Tuning): Os autores empregam a Adaptação de Baixo Rank (LoRA) para realizar o ajuste fino de grandes modelos de linguagem (especificamente Qwen-2.5-7B e DeepSeek-R1-Distill-Llama-8B) para a tarefa de detecção de erros de citação. Isso é comparado a modelos de linha de base (baselines), incluindo SCIBERT, T5 e várias configurações de LLMs baseadas em prompts (zero-shot, few-shot e Geração Aumentada por Recuperação - RAG).
2. Construção do Conjunto de Dados: Dois conjuntos de dados de código aberto, SCIFACT e NealSmith, foram utilizados. O estudo construiu conjuntos de dados tanto em nível de resumo (abstract) quanto em nível de texto completo. Para a integração do texto completo, três métodos foram comparados:
   • Seleção de sentenças do texto completo baseada na similaridade semântica com a sentença de citação alvo.
   • Seleção de sentenças do texto completo baseada na similaridade semântica com o resumo do artigo citado.
   • Incorporação direta do texto completo (avaliada apenas em modelos que suportam contextos ultra-longos).
   • Os rótulos foram padronizados em três categorias: SUPORTE (SUPPORT), CONTRADIÇÃO (CONTRADICT) e NULO (NULL).
3. Análise de Interpretabilidade: Para abordar a natureza de "caixa preta" das previsões do modelo, o estudo aplica o método TokenSHAP. Esta ferramenta quantifica a contribuição de tokens individuais no prompt de entrada para a saída do modelo, visualizando quais partes da citação ou do texto fonte impulsionam a decisão de classificação.
4. Análise de Erros: Uma análise manual das previsões classificadas incorretamente pelos modelos ajustados foi realizada para identificar modos de falha específicos, tais como problemas com conhecimento prévio, raciocínio quantitativo e nuances semânticas.

Resultos Principais

• Desempenho do Ajuste Fino: O ajuste fino de LLMs demonstrou desempenho superior em comparação tanto com Modelos de Linguagem Pré-treinados (PLMs) tradicionais quanto com abordagens de LLM baseadas em prompts. No conjunto de dados de nível de resumo do SCIFACT, o modelo Qwen-7B ajustado alcançou um F1 score macro-médio de 87,37%, superando o melhor modelo baseado em prompt (Qwen-Max) em 2,43%. Melhorias semelhantes foram observadas no conjunto de dados NealSmith.
• Impacto da Integração de Texto Completo: A integração de dados de texto completo melhorou o desempenho da detecção, particularmente no conjunto de dados NealSmith, que foi anotado com contexto de texto completo. Entre os métodos de integração, a seleção de sentenças do texto completo baseada na similaridade com o resumo rendeu o melhor desempenho (Macro-F1 de 50,66% para o Qwen-7B no NealSmith), superando a incorporação direta de texto completo e a seleção baseada em similaridade de citação.
• Padrões de Erro: A análise revelou que modelos pré-ajustados frequentemente dependiam de correspondência superficial de palavras-chave, prevendo incorretamente "SUPORTE" com base na sobreposição de tópicos, mesmo quando a evidência estava ausente. Os modelos ajustados mostraram uma capacidade melhorada de avaliar a suficiência de evidências e a consistência semântica. Tipos específicos de erros identificados incluíram confusão entre conhecimento prévio e texto explícito, dificuldades com relações quantitativas (ex: mudanças de unidades) e interpretações errôneas de "incremento" versus "quantidade absoluta".
• Interpretabilidade: A visualização via TokenSHAP confirmou que o modelo ajustado identificou com sucesso contradições semânticas fundamentais (ex: características direcionais específicas de microtúbulos) que o modelo baseado em prompt não detectou, fornecendo uma visão transparente do processo de raciocínio do modelo.

Significância e Alegações
O artigo reivindica três contribuições primárias para o campo da detecção automatizada de erros de citação:

1. Avanço Metodológico: É o primeiro estudo a aplicar o ajuste fino de LLM especificamente à tarefa de detecção de erros de citação, demonstrando que a otimização de parâmetros específica para a tarefa aumenta significativamente o desempenho em relação à engenharia de prompt e aos PLMs tradicionais.
2. Granularidade de Dados: O estudo avalia sistematicamente o impacto da incorporação de dados de texto completo, identificando que a seleção de sentenças baseada no resumo é a estratégia ideal para integrar informações de texto completo neste contexto.
3. Interpretabilidade: Ao aplicar o TokenSHAP, o estudo vai além das métricas quantitativas para fornecer uma compreensão qualitativa de por que os modelos fazem previsões específicas, aumentando assim a confiança nos sistemas de detecção automatizada.

Os autores mantêm uma postura modesta, reconhecendo limitações como o tamanho relativamente pequeno do conjunto de dados NealSmith e a potencial imprecisão introduzida pela fusão de rótulos de classificação durante a reanotação dos dados. Eles concluem que, embora a abordagem de ajuste fino seja promissora, mais pesquisas são necessárias para abordar limitações específicas de raciocínio e expandir as escalas dos conjuntos de dados.