Detection and Interpretability Analysis of Quotation Errors by Large Language Models

Sintesi Tecnica: Rilevamento e Analisi dell'Interpretabilità degli Errori di Citazione da parte dei Large Language Models

Definizione del Problema
Gli errori di citazione, definiti come incongruenze tra le informazioni citate e il testo sorgente originale, pongono rischi significativi per l'integrità accademica. Questi errori possono portare alla cattiva interpretazione della ricerca originale, distorcere la comprensione collettiva della comunità accademica e minare l'accuratezza dei sistemi di valutazione basati sulle citazioni. Sebbene la verifica manuale sia lo standard tradizionale, essa è laboriosa e inefficiente. I metodi di rilevamento automatizzato esistenti, inclusi gli approcci basati sulla similarità e le tecniche basate su prompt dei Large Language Models (LLM), spesso si affidano esclusivamente a dati astratti o mancano di una profonda interpretabilità. Inoltre, il potenziale del fine-tuning degli LLM specificamente per questo compito, combinato con l'integrazione di dati a testo completo e l'analisi dell'interpretabilità, rimane sott esplorato.

Metodologia
Lo studio propone un framework per il rilevamento automatizzato degli errori di citazione che integra tre componenti fondamentali: fine-tuning, integrazione di dati a testo completo e analisi dell'interpretabilità.

1. Approccio di Fine-Tuning: Gli autori utilizzano la Low-Rank Adaptation (LoRA) per effettuare il fine-tuning di modelli linguistici di grandi dimensioni (specificamente Qwen-2.5-7B e DeepSeek-R1-Distill-Llama-8B) per il compito di rilevamento degli errori di citazione. Questo viene confrontato con modelli baseline inclusi SciBERT, T5 e varie configurazioni di LLM basate su prompt (zero-shot, few-shot e Retrieval-Augmented Generation).
2. Costruzione del Dataset: Sono stati utilizzati due dataset open-source, SCIFACT e NealSmith. Lo studio ha costruito dataset sia a livello di abstract che a livello di testo completo. Per l'integrazione del testo completo, sono stati confrontati tre metodi:
   • Selezione di frasi del testo completo basata sulla similarità semantica con la frase di citazione target.
   • Selezione di frasi del testo completo basata sulla similarità semantica con l'abstract del paper citato.
   • Inclusione diretta del testo completo (valutata solo su modelli che supportano contesti ultra-lunghi).
   • Le etichette sono state standardizzate in tre categorie: SUPPORT (supporto), CONTRADICT (contraddizione) e NULL (nullo).
3. Analisi dell'Interpretabilità: Per affrontare la natura di "scatola nera" delle predizioni del modello, lo studio applica il metodo TokenSHAP. Questo strumento quantifica il contributo dei singoli token nel prompt di input alla produzione del modello, visualizzando quali parti della citazione o del testo sorgente guidano la decisione di classificazione.
4. Analisi degli Errori: È stata condotta un'analisi manuale delle predizioni classificate erroneamente dai modelli sottoposti a fine-tuning per identificare specifici modi di fallimento, come problemi relativi alla conoscenza pregressa, al ragionamento quantitativo e alle sfumature semantiche.

Risultati Chiave

• Performance del Fine-Tuning: Il fine-tuning degli LLM ha dimostrato prestazioni superiori rispetto sia ai modelli di linguaggio pre-addestrati (PLM) tradizionali che agli approcci LLM basati su prompt. Sul dataset SCIFACT a livello di abstract, il modello fine-tuned Qwen-7B ha raggiunto un punteggio F1 macro-mediato dell'87,37%, superando il miglior modello basato su prompt (Qwen-Max) del 2,43%. Miglioramenti simili sono stati osservati sul dataset NealSmith.
• Impatto dell'Integrazione del Testo Completo: L'integrazione dei dati del testo completo ha migliorato le prestazioni di rilevamento, in particolare sul dataset NealSmith che è stato annotato con il contesto del testo completo. Tra i metodi di integrazione, la selezione delle frasi del testo completo basata sulla similarità con l'abstract ha prodotto le migliori prestazioni (Macro-F1 50,66% per Qwen-7B su NealSmith), superando l'inclusione diretta del testo completo e la selezione basata sulla similarità della citazione.
• Pattern di Errore: L'analisi ha rivelato che i modelli pre-fine-tuning spesso si affidavano a un accoppiamento superficiale di parole chiave, predicendo erroneamente "SUPPORT" basandosi sulla sovrapposizione di argomenti anche quando l'evidenza era assente. I modelli fine-tuned hanno mostrato una migliore capacità di valutare la sufficienza delle prove e la coerenza semantica. I tipi specifici di errore identificati hanno incluso la confusione tra conoscenza pregressa ed evidenza esplicita, difficoltà con le relazioni quantitative (ad esempio, cambiamenti di unità) e interpretazioni errate di "incremento" rispetto a "quantità assoluta".
• Interpretabilità: La visualizzazione TokenSHAP ha confermato che il modello fine-tuned ha identificato con successo contraddizioni semantiche chiave (ad esempio, caratteristiche direzionali specifiche dei microtubuli) che il modello basato su prompt aveva mancato, fornendo una visione trasparente del processo di ragionamento del modello.

Significatività e Rivendicazioni
Il documento rivendica tre contributi primari nel campo del rilevamento automatizzato degli errori di citazione:

1. Avanzamento Metodologico: È il primo studio ad applicare il fine-tuning degli LLM specificamente al compito di rilevamento degli errori di citazione, dimostrando che l'ottimizzazione dei parametri specifica per il compito migliora significativamente le prestazioni rispetto al prompt engineering e ai PLM tradizionali.
2. Granularità dei Dati: Lo studio valuta sistematicamente l'impatto dell'integrazione dei dati del testo completo, identificando che la selezione delle frasi basata sull'abstract è la strategia ottimale per integrare le informazioni del testo completo in questo contesto.
3. Interpretabilità: Applicando TokenSHAP, lo studio va oltre le metriche quantitative per fornire una comprensione qualitativa del perché i modelli effettuino specifiche predizioni, aumentando così la fiducia nei sistemi di rilevamento automatizzati.

Gli autori mantengono una posizione modesta, riconoscendo limitazioni come le dimensioni relativamente ridotte del dataset NealSmith e la potenziale imprecisione introdotta dalla fusione delle etichette di classificazione durante la ri-annotazione del dataset. Concludono che, sebbene l'approccio di fine-tuning sia promettente, sono necessarie ulteriori ricerche per affrontare le specifiche limitazioni del ragionamento e ampliare la scala dei dataset.