Stel je voor dat je een verslag schrijft voor school over de geschiedenis van de ruimtevaart. Je wilt slim overkomen, dus voeg je onderaan een lijst met bronnen toe. Maar wat als sommige van die bronnen verzonnen zijn? Wat als de boektitel echt lijkt te klinken, de naam van de auteur een beroemde wetenschapper is, en de uitgever een echte plek is, maar het boek zelf nooit heeft bestaan? Dit wordt een "hallucinatie" genoemd. In de wereld van Kunstmatige Intelligentie (AI) zijn Large Language Models (LLM's) als superintelligente studenten die direct essays en samenvattingen kunnen schrijven. Echter, ze worden soms zo zelfverzekerd dat ze nepverwijzingen verzinnen om er goed uit te zien. Dit is een groot probleem voor de wetenschap, want als onderzoekers deze valse citaties gebruiken, breekt de hele keten van kennis. Om dit op te lossen, bouwen wetenschappers "citatie-verifieerders" — digitale hulpmiddelen die ontworpen zijn om te controleren of een referentie echt is of een leugen. Maar tot nu toe was er geen eerlijke manier om te testen welk hulpmiddel de beste detective was, omdat iedereen zijn hulpmiddelen testte op verschillende, rommelige sets nepdocumenten.

Maak kennis met HALLMARK, een nieuwe studie die fungeert als een enorme, georganiseerde "examen"-omgeving voor deze citatie-controlerende hulpmiddelen. De onderzoekers creëerden een enorme testbank van 2.526 nep- en echte referenties, variërend van overduidelijke leugens (zoals een boek gepubliceerd in het jaar 3000) tot slimme trucs (zoals een echte auteur gekoppeld aan een nep-titel). Ze legden vervolgens 13 verschillende hulpmiddelen op de proef, inclusief eenvoudige database-checkers en geavanceerde AI-modellen. De studie ontdekte een verrassende waarheid: het belangrijkste voor een citatie-checker is niet hoeveel leugens hij vangt, maar hoe vaak hij een echt artikel onterecht beschuldigt van een leugen te zijn. Als een hulpmiddel te agressief is, markeert het zoveel echte artikelen als nep dat niemand de waarschuwingen meer vertrouwt. Het artikel vond ook dat de meeste AI-tools in de war raken door papers die zijn gepubliceerd na hun "training cutoff" (de datum waarop hun kennis stopt), waardoor ze vaak nieuwe, echte papers als nep markeren omdat ze ze niet herkennen. Hoewel de beste tools de neppers kunnen opsporen, suggereert de studie dat de echte uitdaging ligt in het vinden van een balans waarbij het hulpmiddel slim genoeg is om de leugens te vangen zonder tegen alles te schreeuwen wat het niet kent.

Het Grote Probleem: De "Nep Referentie" Epidemie

Stel je voor dat je een bibliothecaris bent. Iemand geeft je een stapel boeken en zegt: "Dit zijn de bronnen voor mijn onderzoek." Je controleert de eerste, en die ziet er perfect uit. Je controleert de tweede, en die is ook geweldig. Maar dan besef je dat het derde boek niet in de bibliotheek bestaat, en dat het vierde boek volgend jaar is gepubliceerd. Dit is precies wat er gebeurt wanneer AI-modellen tekst genereren. Ze zijn zo goed in het klinken van zelfvertrouwen dat ze soms referenties verzinnen die echt lijken, maar volledig verzonnen zijn. Dit wordt een citatie-hallucinatie genoemd.

In het verleden controleerden mensen deze referenties. Maar nu AI zoveel schrijft, hebben we geautomatiseerde hulpmiddelen nodig om de controle uit te voeren. Het probleem is dat elk hulpmiddel beweert de beste te zijn, maar ze worden allemaal op verschillende dingen getest. Het is alsof je drie verschillende brandmelders test in drie verschillende huizen met verschillende soorten rook; je kunt niet zien welke melder eigenlijk de beste is totdat je ze allemaal in hetzelfde gebouw test met dezelfde rook.

De Oplossing: HALLMARK (Het Grote Citatie-Examen)

De auteurs van dit artikel bouwden HALLMARK, wat staat voor "Hallucination benchmark". Denk aan het als een enorme, gestandaardiseerde toets voor citatie-checkers. Ze gooiden niet zomaar willekeurige nep-papers naar de tools; ze creëerden een gestructureerd examen met drie moeilijkheidsgraden:

1. Niveau 1 (Makkelijk): Dit zijn overduidelijke leugens. Zoals een DOI (een digitale ID voor een paper) die niet werkt, of een conferentienaam die is verzonnen. Een eenvoudige zoekopdracht zou dit moeten vangen.
2. Niveau 2 (Gemiddeld): Deze zijn lastiger. Stel je een echte auteur en een echte conferentie voor, maar de titel van het paper is nep. Of een echt paper dat op de verkeerde conferentie wordt geciteerd. Je moet de details kruisverwijzen om dit te vangen.
3. Niveau 3 (Moeilijk): Dit zijn de "meesterwerken" van het liegen. Het paper is volledig verzonnen maar klinkt zo realistisch dat zelfs een mens erin zou kunnen geloven. Of de titel is slechts één woord anders dan een echt paper (zoals "Attention is All You Need" versus "Attention is All You Want").

De testbank bevat 2.526 vermeldingen. Sommige zijn echte papers die uit een database zijn geschraapt, en andere zijn nep, gemaakt door mensen, door AI, of door echte papers systematisch aan te passen. Cruciaal is dat ze ervoor zorgden dat de "nep" papers niet in de trainingsdata van de AI-tools zaten die ze testten, zodat de tools de antwoorden niet simpelweg konden "memoriseren".

De Drie Grote Ontdekkingen

De onderzoekers testten 13 verschillende tools, van eenvoudige database-opzoekingen tot geavanceerde AI-agents die het internet kunnen doorzoeken (genaamd "agentic lookups"). Dit is wat ze vonden:

1. De "Vals Alarm" Valstrik

De grootste verrassing was dat de False Positive Rate (FPR) het belangrijkste getal is, niet hoeveel leugens het hulpmiddel vangt (Recall).

• De Analogie: Stel je een beveiliger bij een concert voor. Als de beveiliger 100 mensen staande houdt om hun kaartjes te controleren, en 99 van hen zijn eigenlijk echte fans met geldige kaartjes, dan is de beveiliger nutteloos, zelfs als hij de ene persoon heeft gepakt die geen kaartje had.
• De Bevinding: Sommige tools waren als die overijverige beveiliger. Ze vingen bijna alle nep papers (hoge recall), maar ze markeerden ook zoveel echte papers als nep (hoge false positives) dat de resultaten nutteloos waren. De studie vond dat bij een realistisch percentage van nep papers (ongeveer 2%), een tool met een hoge false-positive rate 35 van de 36 keer fout zou zitten wanneer hij een alarm sloeg. De beste tools waren de tools die voorzichtig waren en alleen dingen markeerden waarvan ze zeker wisten dat ze fout waren, zelfs als ze een paar leugens misten.

2. De "Agent" Paradox

De onderzoekers probeerden de AI-tools "superkrachten" te geven door ze zoekmachines en databases te laten gebruiken om referenties te controleren (genaamd "agentic lookups").

• De Bevinding: Je zou denken dat het geven van meer informatie de tools slimmer maakt. Maar vaak maakte het ze juist slechter in het zijn van accuraat. Wanneer de AI werd verteld om meerdere databases te doorzoeken, had de AI de neiging om een paper als nep te markeren als één enkele database de paper niet kon vinden. Omdat echte papers soms niet in elke database staan, begon de AI echte papers als nep te markeren. Het was als een detective die iemand arresteert simpelweg omdat één getuige hem niet herkende, terwijl de andere getuigen zeiden dat hij onschuldig was. De studie toonde aan dat deze "agentic" tools hun valse alarmen met ongeveer 5 keer vergrootten vergeleken met wanneer ze alleen hun eigen kennis gebruikten.

3. De "Training Cutoff" Blindheid

AI-modellen worden getraind op data tot een bepaalde datum (hun "cutoff"). Ze weten niets over zaken die na die datum zijn gebeurd.

• De Bevinding: Wanneer de onderzoekers de tools testten op papers gepubliceerd in 2024 en 2025 (na de meeste training cutoffs), gingen de tools "gek doen". Ze begonnen bijna elke nieuwe paper als nep te markeren omdat ze de auteurs of de venues niet herkenden. Het was als een bibliothecaris die alleen boeken kent die vóór 2020 zijn gepubliceerd en plotseling weigert te geloven dat er een nieuw boek bestaat. Alleen de meest recente modellen (met de meest recente trainingsdata) slaagden erin kalm te blijven en niet te veel nieuwe papers als nep te markeren.

Wat dit betekent voor de toekomst

De paper concludeert dat er niet één "perfect" hulpmiddel is. Het juiste hulpmiddel hangt af van de situatie:

• Voor een snelle controle: Een eenvoudig, op regels gebaseerd hulpmiddel (zoals het hulpmiddel dat de auteurs bouwden, genaamd bibtex-updater) is geweldig omdat het zelden vals alarm slaat, zelfs als het sommige lastige leugens mist.
• Voor een diepe duik: Als je elke enkele leugen wilt vangen en het je kunt veroorloven om later een menselijke controle uit te voeren op de valse meldingen, dan kan een agressiever AI-hulpmiddel beter zijn.

De studie benadrukt dat vertrouwen in de wetenschap afhangt van het feit dat deze hulpmiddelen niet alleen leugens vangen, maar ook niet liegen over de waarheid. Als een hulpmiddel te veel echte papers als nep markeert, zullen onderzoekers de waarschuwingen niet meer opvolgen, en zullen de nep papers erdoorheen glippen. De auteurs suggereren dat de toekomst van citatiecontrole ligt in hulpmiddelen die voorzichtig, gekalibreerd en bewust zijn van hun eigen grenzen, in plaats van hulpmiddelen die gewoon luidruchtig en agressief zijn.

Kortom, HALLMARK heeft niet alleen een winnaar gevonden; het heeft ons geleerd hoe we de rechters moeten beoordelen. Het heeft ons laten zien dat in de strijd tegen nep referenties, voorzichtig zijn vaak belangrijker is dan snel zijn, en dat soms, weten wat je niet weet, het krachtigste hulpmiddel van allemaal is.