Technische Samenvatting: CITECHECK

Probleemstelling

Grote Taalmodellen (LLM's) worden steeds vaker geïntegreerd in wetenschappelijke workflows, waaronder het opstellen van manuscripten en het genereren van rapporten. Er blijft echter een kritiek betrouwbaarheidsprobleem bestaan: LLM's genereren frequent "citatiehallucinaties". Dit zijn referenties die stijlmatig legitiem lijken, maar beschadigde metadata bevatten (bijvoorbeeld onjuiste auteurs, jaartallen of DOI's) of verwijzen naar volledig niet-bestaande papers. Dergelijke fouten ondermijnen de traceerbaarheid, attributie en reproduceerbaarheid van wetenschappelijke communicatie. Bestaande verificatiemethoden vertrouwen vaak op de interne parametrische kennis van het model of eenvoudige webzoekopdrachten, wat moeite heeft om te onderscheiden tussen subtiele metadata-drift en complete fabricage, of faalt in het verankeren van de verificatie in gestructureerd wetenschappelijk bewijs.

Methodologie: Het CITECHECK-raamwerk

CITECHECK is een hybride raamwerk dat is ontworpen om citatiehallucinaties te detecteren door elke referentie te verankeren in externe wetenschappelijke bronnen in plaats van te vertrouwen op de interne kennis van de LLM. Het systeem werkt via een gestructureerde pijplijn bestaande uit vier hoofdfasen:

1. Metadata-extractie

Het systeem parseert eerst een ruwe citatiestring naar gestructureerde velden (titel, auteurs, jaar, URL, DOI, arXiv-ID). Het maakt gebruik van een regelgebaseerde parser voor standaardpatronen en roept alleen een op LLM gebaseerde parser aan wanneer deterministische extractie faalt. Deze stap genereert ophaalsignalen zonder de geldigheid te bepalen.

2. Cascade voor kandidaat-ophaal

CITECHECK probeert de echte publicatie die overeenkomt met de citatie te lokaliseren door middel van een watervalkascade over meerdere externe bronnen:

• Directe opzoeking: Als een arXiv-identificatie aanwezig is, wordt eerst een directe arXiv-opzoeking uitgevoerd.
• Gestructureerde API's: Het systeem vraagt CrossRef, Semantic Scholar en OpenAlex af met zoekopdrachten op basis van titels.
• Webzoekopdracht als back-up: Als gestructureerde bronnen geen betrouwbare match teruggeven, wordt een door een LLM ondersteunde webzoekopdracht geactiveerd.
• Selectielogica: Kandidaten worden geaccepteerd op basis van genormaliseerde Levenshtein-similariteit tussen de opgeschoonde citatietitel en de kandidaattitel, met aanvullende betrouwbaarheidsdrempels (bijvoorbeeld van CrossRef) en op jaar gebaseerde rangschikkingsignalen.

3. Gestructureerde LLM-verificatie

Zodra een kandidaat-publicatie is opgehaald, vergelijkt een verifiërende LLM de originele citatiemetadata met de metadata van de opgehaalde kandidaat. In tegenstelling tot standaard classificatie-prompts, geeft de verifiër het volgende uit:

• Een numerieke score (0–10) die de mate van overeenstemming vertegenwoordigt.
• Een betrouwbaarheidsniveau en een korte onderbouwing.
• Identificatie van specifieke discrepanties.
  Het systeem maakt gebruik van een numerieke score om gekalibreerde beslissingsgrenzen mogelijk te maken in plaats van te vertrouwen op de categorische label van het model, die inconsistent kan zijn.

4. Drempelwaarde en beoordelaarspass

De numerieke score wordt met vaste drempelwaarden ($\tau_M$ en $\tau_E$), bepaald op een validatieset, afgebeeld op drie labels:

• EXACT: De citatie beschrijft de echte publicatie getrouw ($s \ge \tau_E$).
• MINOR: Het beoogde paper bestaat, maar de metadatavelden zijn beschadigd ($\tau_M \le s < \tau_E$).
• MAJOR: Er bestaat geen overeenkomstige publicatie, of de kandidaat is te verschillend ($s < \tau_M$).

Een "Beoordelaarspass" wordt toegepast voor verdachte gevallen waarbij een identificator (URL/arXiv-ID) leidt tot een echt paper, maar de titelgelijkenis laag is. Een tweede LLM-rechter evalueert deze gevallen opnieuw om ervoor te zorgen dat de citatietekst de bron nauwkeurig beschrijft, waardoor vals-positieven worden voorkomen waarbij een geldige link wordt gekoppeld aan gefabriceerde metadata.

Datasetconstructie

Om het raamwerk te evalueren, construeerden de auteurs een benchmark van 982 citaties afkomstig uit de natuurkundeliteratuur, die negen subdomeinen bestrijken (bijvoorbeeld astrofysica, gecondenseerde materie, kwantumcomputing).

• Gestuurde corrupties: De dataset bevat geldige citaties, "minor hallucinaties" (metadata-drift zoals gewijzigde auteurs of jaartallen terwijl de paperidentiteit behouden blijft) en "major hallucinaties" (volledig gefabriceerde referenties die thematisch plausibel blijven).
• Generatie: Corrupties werden gegenereerd met GPT-4o-mini met specifieke temperatuurinstellingen om transcripfouten (minor) en substantiële fabricage (major) te simuleren.
• Balans: De uiteindelijke benchmark is ruwweg gebalanceerd over de drie klassen (36,25% geldig, 30,55% minor, 33,20% major).

Resultaten

Geëvalueerd op een vastgehouden testset van 792 citaties, behaalde CITECHECK:

• 88,9% Nauwkeurigheid
• 88,7 Macro-F1

Vergelijkende prestaties:

• CITECHECK presteerde beter dan directe LLM-baselines (GPT-5.4, Claude Sonnet 4.6, Gemini 2.5 Flash) in zowel zero-shot als few-shot instellingen.
• Het overtrof de sterkste baseline (Claude Sonnet 4.6 met webzoekopdracht en few-shot voorbeelden) met 5,8 macro-F1 punten en 5,7 nauwkeurigheidspunten.
• Opmerkelijk is dat CITECHECK dit bereikte terwijl het op het verificatiestadium zero-shot bleef, wat aantoont dat op ophalen gebaseerde verificatie effectiever is dan alleen in-context supervisie of prompting.
• Ablatiestudies: Het verwijderen van de webzoek-back-up verlaagde de macro-F1 met 7,0 punten, en het verwijderen van de beoordelaarspass verlaagde deze met 4,0 punten, wat de noodzaak bevestigt van zowel brede ophaling als gerichte beoordeling voor het afhandelen van subtiele metadata-drift.

Betekenis en Claims

Het artikel beweert dat betrouwbare citatieverificatie een verschuiving vereist van het vertrouwen op de interne kennis van de LLM naar een pijplijn die wetenschappelijke ophaling, gestructureerde op LLM gebaseerde vergelijking en gekalibreerde beslissingsregels combineert.

De belangrijkste conclusies die door de auteurs worden benadrukt, zijn:

1. Ophalen is essentieel: Zelfs sterke LLM's worstelen om hallucinaties te detecteren zonder toegang tot extern bewijs; webzoekopdrachten verbeteren de baseline-prestaties aanzienlijk, maar zijn op zichzelf onvoldoende zonder gestructureerde vergelijking.
2. Gestructureerde vergelijking boven prompting: Het behandelen van verificatie als kandidaat-ophaling gevolgd door metadata-vergelijking levert een hogere nauwkeurigheid op dan directe prompting, vooral voor "minor" hallucinaties waarbij het paper bestaat maar de metadata beschadigd is.
3. Gedetailleerde detectie: Het raamwerk onderscheidt succesvol tussen exacte matches, minor metadata-fouten en major fabricages, een nuance die vaak verloren gaat in binaire "echt versus nep"-detectie.

De auteurs concluderen dat CITECHECK een fundament biedt voor bredere verificatiepijplijnen voor door AI gegenereerde wetenschappelijke tekst, hoewel ze beperkingen erkennen met betrekking tot de huidige focus op natuurkunde en de noodzaak van toekomstig werk aan natuurlijk voorkomende door LLM gegenereerde bibliografieën en afstemming op claim-niveau.