Source or It Didn't Happen: A Multi-Agent Framework for Citation Hallucination Detection
Dit artikel introduceert CiteTracer, een multi-agent framework dat de detectie van citatiehallucinaties herformuleert als een taxonomie-gealigneerde taak op veldniveau om een hoogwaardige verificatie van wetenschappelijke referenties te bereiken door middel van gestructureerde extractie, multi-bron bewijsretrieval en gespecialiseerde agent-redenering.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je door een enorme, bruisende bibliotheek loopt waar elk boek een wetenschappelijk artikel is. In deze bibliotheek is het belangrijkste niet alleen het verhaal in het boek, maar de "broodkruimels" die het achterlaat—citaties. Dit zijn de kleine briefjes die zeggen: "Ik heb dit idee gekregen van dat boek daar." Het is de kaart waarmee andere ontdekkingsreizigers de oorspronkelijke schat kunnen vinden. Maar onlangs is er een nieuw soort bibliothecaris gearriveerd: een superintelligënte robot die verhalen sneller kan schrijven dan wie dan ook. Het probleem is dat deze robot soms zo enthousiast is over het vertellen van een goed verhaal, dat hij zijn eigen broodkruimels verzint. Hij schrijft misschien een boektitel op die echt klinkt, een auteur die beroemd lijkt, of een jaartal dat logisch is, maar als je naar die plank probeert te lopen, is het boek er simpelweg niet. Het is een "hallucinatie"—een overtuigende leugen die echt lijkt totdat je de feiten controleert.
Dit is een groot probleem, want de wetenschap draait op vertrouwen. Als een onderzoeker de bron niet kan vinden die een artikel beweert te gebruiken, breekt de hele keten van bewijsvoering. Tot nu toe waren hulpmiddelen die ontworpen zijn om deze valse broodkruimels te vangen, als uitsmijters bij een club met een simpele regel: "Je bent er in, of je bent er niet uit." Ze controleerden of een boek bestond, maar als het boek met een iets andere naam bestond, of als de naam van de auteur vreemd gespeld was, raakte de uitsmijter in de war en liet hij een neppertje binnen of zette hij een echte buiten. Ze konden het verschil niet zien tussen een typefout, een bijnaam en een volledige fabricage.
Maak kennis met CITETRACER, een nieuw team van digitale detectives gebouwd door de onderzoekers Mingzhe Li, Zhiqiang Lin en Shiqing Ma. In plaats van alleen te vragen "Is dit nep?", hebben zij een veel slimmer systeem gecreëerd dat vraagt: "Wat is er precies mis mee?" Ze realiseerden zich dat citaties uit verschillende onderdelen bestaan—zoals de titel, de auteur, het jaar en de uitgever—en dat een fout in één deel niet altijd betekent dat het hele ding een leugen is.
Om dit op te lossen, heeft het team een 12-code regelboek gebouwd. Denk aan een verkeersagent die niet alleen "Stop" of "Doorrijden" zegt, maar je ook een specifieke boete kan geven: "Je reed te hard," "Je reed door rood," of "Je bent je rijbewijs vergeten." Hun systeem sorteert citaties in drie hoofdcategorieën: ECHT (perfect of slechts een beetje slordig), POTENTIEEL (ziet er oké uit maar heeft een tweede blik nodig, zoals een bijnaam of een niet-academische bron) en HALLUCINATIE (volledig verzonnen).
De detectives werken in een estafette van vier stappen. Eerst fungeert een Reference Extractor als een high-tech scanner die de rommelige tekst uit een PDF leest en het omzet in een schone, georganiseerde lijst met feiten. Vervolgens gaat een Cascading Evidence Collector op een speurtocht. Het begint met het controleren van een snelle geheugencache, volgt dan directe links (zoals een DOI), vraat vervolgens gespecialiseerde academische databases om informatie, en doet indien nodig een brede zoekopdracht op het web. Het is alsof je eerst je eigen aantekeningen controleert, dan de auteur belt, dan de bibliotheekcatalogus controleert en tot slot de hele stad om informatie vraagt.
Zodra ze de bewijzen hebben, vergelijkt een Field Matcher de claim van de robot met de echte feiten, stukje bij beetje. Als de titel overeenkomt maar het jaar niet klopt, markeert het systeem alleen het jaar. Ten slotte, als de zaak ingewikkeld is, komt er een panel van Class-Specialist Judgers in actie. Dit zijn als deskundige rechters die gespecialiseerd zijn in verschillende soorten fouten. Eén rechter behandelt de "Echt maar slordig"-gevallen, een andere de "Misschien is het echt"-gevallen, en een derde de "Volledig nep"-gevallen.
Het team heeft hun systeem getest op een enorme speeltuin van 2.450 valse en echte citaties die ze zelf hebben gemaakt, plus 957 real-world voorbeelden van valse citaties die al eerder door conferentieorganisatoren waren betrapt. De resultaten waren indrukwekkend: CITETRACER kreeg het 97,1% van de tijd goed op hun testset. Het was vooral goed in het opsporen van de lastige "valse" gevallen (98,5% nauwkeurigheid) en de "misschien"-gevallen (95,8% nauwkeurigheid), waarmee het andere tools die gewoon "ja" of "nee" gokten, ver achter zich liet. Toen ze het systeem testten op de echte chaos van werkelijke conferentiepapers, betrapte het 97,1% van de gefabriceerde referenties zonder er ook maar één over het hoofd te zien.
Kortom, het artikel laat zien dat door het probleem op te splitsen in kleine, specifieke stukjes en een team van specialisten te gebruiken in plaats van één generalist, we de leugens van de robot met veel hogere precisie kunnen vangen. Het verandert een wazig "misschien nep" in een duidelijk "hier is exact wat er mis is", wat helpt om de bibliotheek van de wetenschap eerlijk te houden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.