Detection and Interpretability Analysis of Quotation Errors by Large Language Models

Technische Samenvatting: Detectie en Interpreteerbaarheidsanalyse van Citatiefouten door Large Language Models

Probleemstelling
Citatiefouten, gedefinieerd als inconsistenties tussen geciteerde informatie en de oorspronkelijke brontekst, vormen aanzienlijke risico's voor de academische integriteit. Deze fouten kunnen leiden tot een verkeerde interpretatie van origineel onderzoek, de collectieve kennis van de academische gemeenschap vertekenen en de nauwkeurigheid van op citaties gebaseerde evaluatiesystemen ondermijnen. Hoewel handmatige verificatie de traditionele standaard is, is dit arbeidsintensief en inefficiënt. Bestaande geautomatiseerde detectiemethoden, waaronder op gelijkenis gebaseerde benaderingen en prompt-gebaseerde Large Language Model (LLM) technieken, vertrouwen vaak uitsluitend op abstracte data of missen diepe interpreteerbaarheid. Bov endien blijft het potentieel van het fine-tunen van LLM's specifiek voor deze taak, in combinatie met de integratie van volledige tekstdata en interpreteerbaarheidsanalyse, onderbelicht.

Methodologie
De studie stelt een raamwerk voor voor de automatische detectie van citatiefouten dat drie kerncomponenten integreert: fine-tuning, volledige tekstintegratie en interpreteerbaarheidsanalyse.

1. Fine-Tuning Benadering: De auteurs maken gebruik van Low-Rank Adaptation (LoRA) om large language models (specifiek Qwen-2.5-7B en DeepSeek-R1-Distill-Llama-8B) te fine-tunen voor de taak van citatiefoutdetectie. Dit wordt vergeleken met baseline-modellen, waaronder SciBERT, T5 en diverse prompt-gebaseerde LLM-configuraties (zero-shot, few-shot en Retrieval-Augmented Generation).
2. Dataset Constructie: Twee open-source datasets, SCIFACT en NealSmith, werden gebruikt. De studie construeerde zowel abstract-niveau als full-text-niveau datasets. Voor de integratie van de volledige tekst werden drie methoden vergeleken:
   • Het selecteren van zinnen uit de volledige tekst op basis van semantische gelijkenis met de doelzin van de citatie.
   • Het selecteren van zinnen uit de volledige tekst op basis van semantische gelijkenis met de abstract van het geciteerde artikel.
   • Het direct opnemen van de volledige tekst (geëvalueerd enkel bij modellen die ultra-lange contexten ondersteunen).
   • Labels werden gestandaardiseerd in drie categorieën: SUPPORT (ondersteunt), CONTRADICT (spreekt tegen) en NULL (geen bewijs).
3. Interpreteerbaarheidsanalyse: Om de "black box"-natuur van modelvoorspellingen aan te pakken, past de studie de TokenSHAP-methode toe. Dit instrument kwantificeert de bijdrage van individuele tokens in de input-prompt aan de output van het model, waarbij visueel wordt gemaakt welke delen van de citatie of de brontekst de classificatiebeslissing drijven.
4. Foutanalyse: Er is een handmatige analyse uitgevoerd op misclassificaties door de gefine-tuned modellen om specifieke foutmodi te identificeren, zoals problemen met voorkennis, kwantitatieve redenering en semantische nuances.

Belangrijkste Resultaten

• Prestaties van Fine-Tuning: Fine-tuning van LLM's vertoonde superieure prestaties vergeleken met zowel traditionele Pre-trained Language Models (PLMs) als prompt-gebaseerde LLM-benaderingen. Op de SCIFACT abstract-niveau dataset behaalde het gefine-tuned Qwen-7B model een macro-gemiddelde F1-score van 87,37%, waarmee het beste prompt-gebaseerde model (Qwen-Max) met 2,43% werd verslagen. Vergelijkbare verbeteringen werden waargenomen op de NealSmith dataset.
• Impact van Full-Text Integratie: De integratie van volledige tekstdata verbeterde de detectieprestaties, met name op de NealSmith dataset die geannoteerd was met full-text context. Onder de integratiemethoden leverde het selecteren van zinnen uit de volledige tekst op basis van gelijkenis met de abstract de beste prestaties op (Macro-F1 50,66% voor Qwen-7B op NealSmith), wat beter presteerde dan directe volledige tekst-incorporatie en selectie op basis van citatie-gelijkenis.
• Foutpatronen: Analyse toonde aan dat niet-gefine-tuned modellen vaak vertrouwden op oppervlakkige trefwoordmatching, waarbij ze onterecht "SUPPORT" voorspelden op basis van onderwerpsoverlap, zelfs wanneer bewijs ontbrak. Gefine-tuned modellen toonden een verbeterd vermogen om de toereikendheid van bewijs en semantische consistentie te evalueren. Specifieke fouttypen die zijn geïdentificeerd, omvatten verwarring tussen voorkennis en expliciete tekst, problemen met kwantitatieve relaties (bijv. eenhedenwijzigingen) en misinterpretaties van "toename" versus "absolute hoeveelheid".
• Interpreteerbaarheid: TokenSHAP-visualisatie bevestigde dat het gefine-tuned model succesvol de belangrijkste semantische tegenstrijdigheden identificeerde (bijv. specifieke directionele kenmerken van microtubuli) die het prompt-gebaseerde model miste, wat een transparant beeld geeft van het redeneerproces van het model.

Significantie en Claims
Het artikel claimt drie primaire bijdragen aan het veld van automatische detectie van citatiefouten:

1. Methodologische Vooruitgang: Het is de eerste studie die LLM fine-tuning specifiek toepast op de taak van citatiefoutdetectie, en toont aan dat taakspecifieke parameteroptimalisatie de prestaties aanzienlijk verbetert ten opzichte van prompt engineering en traditionele PLMs.
2. Datagranulariteit: De studie evalueert systematisch de impact van het opnemen van volledige tekstdata, waarbij wordt vastgesteld dat abstract-gebaseerde zinselectie de optimale strategie is voor het integreren van volledige tekstinformatie in deze context.
3. Interpreteerbaarheid: Door TokenSHAP toe te passen, gaat de studie verder dan kwantitatieve metrieken om een kwalitatief begrip te bieden van waarom modellen specifieke voorspellingen doen, waardoor het vertrouwen in geautomatiseerde detectiesystemen wordt vergroot.

De auteurs hanteren een bescheiden standpunt en erkennen beperkingen zoals de relatief kleine omvang van de NealSmith dataset en de potentiële onnauwkeurigheid die wordt geïntroduceerd door het samenvoegen van classificatielabels tijdens de her-annotatie van de dataset. Zij concluderen dat hoewel de fine-tuning benadering veelbelovend is, verder onderzoek nodig is om specifieke redeneerbeperkingen aan te pakken en de schaal van datasets uit te breiden.