💬 NLP

ReFACT: A Benchmark for Scientific Confabulation Detection with Positional Error Annotations

Deze paper introduceert ReFACT, een benchmark voor het detecteren van wetenschappelijke hallucinaties in grote taalmodellen, en onthult dat schaalvergroting de fundamentele gebrekkige semantische gronding niet oplost en dat het vergelijken van antwoorden paradoxalerwijs moeilijker is dan onafhankelijke detectie.

Oorspronkelijke auteurs: Yindong Wang, Martin Preiß, Margarita Bugueño, Jan Vincent Hoffbauer, Abdullatif Ghajar, Tolga Buz, Gerard de Melo

Gepubliceerd 2026-04-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yindong Wang, Martin Preiß, Margarita Bugueño, Jan Vincent Hoffbauer, Abdullatif Ghajar, Tolga Buz, Gerard de Melo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🕵️‍♂️ ReFACT: De "Waarheidstest" voor AI's

Stel je voor dat je een zeer slimme, maar soms een beetje fantasierijke robot hebt. Deze robot kan prachtige verhalen vertellen, maar soms verzonnen hij feiten die klinken als waarheid, terwijl ze helemaal niet kloppen. In de wereld van AI noemen we dit hallucineren of confabulatie.

Het probleem is dat deze robot zo goed kan praten dat zelfs experts soms twijfelen. Het paper introduceert ReFACT, een nieuwe test om te zien of AI's echt begrijpen wat waar is, of dat ze alleen maar goed kunnen "doen alsof".

1. De Test: Een "Vervalsde" Wikipedia

De onderzoekers hebben een speciale testbank gemaakt met 1.001 vragen en antwoorden uit een populaire wetenschappelijke community op Reddit (r/AskScience).

Het idee: Ze namen een echt, correct wetenschappelijk antwoord en maakten er een subtiele vervalsing van.
De analogie: Stel je voor dat je een recept voor een taart hebt. De originele tekst zegt: "Voeg suiker toe." De AI-robot verandert dit subtiel in: "Voeg zout toe."
- Het klinkt nog steeds als een recept.
- Het is grammaticaal perfect.
- Maar het resultaat is een smakeloze taart.
De testbank bevat zulke "vervalste" antwoorden, waarbij de onderzoekers precies hebben gemarkeerd waar de fout zit (bijvoorbeeld: "zout" in plaats van "suiker").

2. De Uitdaging: De "Opvallende Afleiding"

De onderzoekers lieten 9 verschillende AI-modellen (van klein tot gigantisch) deze test doen. Ze vroegen hen drie dingen:

Oordelen: "Is dit antwoord waar of niet?"
Loceren: "Waar zit de fout precies?"
Corrigeren: "Wat moet er in plaats van de fout?"

Het verrassende resultaat:
De AI's faalden op een heel specifieke manier. Ze werden vaak afgeleid door opvallende woorden in plaats van de feitelijke fout te zien.

De analogie: Stel je voor dat je een fout zoekt in een zin over een vliegtuig. De zin zegt: "De vliegtuig landde op de zee."
- De echte fout is "zee" (vliegtuigen landen op banen).
- Maar de AI's wezen vaak op het woord "vliegtuig" of "landde", omdat die woorden opvallen in de context, terwijl ze de logische onzin ("zee") over het hoofd zagen.
Dit gebeurde bij alle modellen, van de kleine tot de gigantische (tot 70 miljard parameters). Het maakt dus niet uit hoe groot de AI is; ze hebben allemaal moeite om de betekenis echt te snappen in plaats van alleen naar de woorden te kijken.

3. De Paradox: "Vergelijken is Moeilijker dan Kijken"

Een ander gek resultaat was dat het voor AI's moeilijker bleek om twee antwoorden naast elkaar te vergelijken dan om één antwoord op zichzelf te beoordelen.

De analogie: Stel je voor dat je twee schilderijen bekijkt.
- Als je alleen naar het ene kijkt, zie je misschien direct dat het raar is.
- Maar als je twee schilderijen naast elkaar zet en moet zeggen: "Welke van deze twee is het echte meesterwerk?", raakt de AI in de war. Omdat beide schilderijen er plausibel uitzien, twijfelt de AI en kiest hij vaak de verkeerde.
Zelfs de slimste AI (GPT-4o) scoorde slechter bij het vergelijken dan bij het beoordelen van één tekst. Dit betekent dat we niet blindelings op AI's kunnen vertrouwen om te oordelen over de waarheid van andere AI's.

4. Wat betekent dit voor de toekomst?

De conclusie van het paper is een waarschuwing:

Groot is niet altijd beter: Het groter maken van AI-modellen lost dit probleem niet op. Ze worden beter in het kiezen van "wetenschappelijk klinkende" woorden, maar ze blijven fundamenteel slecht in het controleren of die woorden ook echt kloppen.
Geen automatische scheidsrechters: We kunnen AI's momenteel niet vertrouwen als "rechter" om te zeggen of andere AI's liegen. Ze zijn te makkelijk af te leiden door de oppervlakte van de tekst.

Kortom: ReFACT laat zien dat AI's nog steeds kunnen "doen alsof" ze weten wat ze zeggen, zonder het echt te begrijpen. Het is alsof ze een heel goed script hebben geleerd, maar ze hebben geen idee wat er echt in de wereld gebeurt. We moeten dus nog steeds zelf kritisch blijven, zelfs als de AI heel zelfverzekerd klinkt.

Titel: ReFACT: Een Benchmark voor het Detecteren van Wetenschappelijke Confabulaties met Positie-annotaties

1. Het Probleem

Grote Taalmodellen (LLMs) vertonen een indrukwekkende vloeiendheid, maar zijn vatbaar voor wetenschappelijke confabulatie. Dit zijn teksten die voor niet-experts geloofwaardig en vloeiend klinken, maar fundamenteel feitelijk onjuist zijn. In tegenstelling tot duidelijke feitelijke fouten, is wetenschappelijke desinformatie vaak subtiel, domeinspecifiek en vereist expertkennis om gedetecteerd te worden (bijvoorbeeld het beschrijven van DNA-replicatie met RNA-mechanismen).

Bestaande benchmarks voor hallucinaties zijn vaak beperkt tot synthetische data, generieke domeinen of bieden slechts binaire classificatie (juist/onjuist) zonder gedetailleerde analyse van waar de fout zit. Er ontbreekt een gestructureerde evaluatieomgeving voor het lokaliseren en corrigeren van deze subtiele fouten in authentieke wetenschappelijke discoursen.

2. Methodologie: De ReFACT Benchmark

De auteurs introduceren ReFACT (Reddit False And Correct Texts), een benchmark van 1.001 expert-geannoteerde vraag-antwoordparen.

Data Bron: De dataset is afgeleid van de Reddit-community r/AskScience (met meer dan 23 miljoen leden en strenge moderatie), wat zorgt voor hoogwaardige, door de gemeenschap gevalideerde wetenschappelijke inhoud.
Generatie van Confabulaties: In plaats van synthetische data te genereren, worden authentieke antwoorden systematisch "gecorrumpeerd" via twee strategieën:
1. Negatie: Logische omkering van een feit (bijv. "er is een kans" $\rightarrow$ "er is geen kans").
2. Entiteitsvervanging: Vervanging van een specifiek technisch begrip door een ander, plausibel maar onjuist begrip (bijv. "DNA" $\rightarrow$ "RNA"). Een NLI-classificator (Natural Language Inference) wordt gebruikt om te garanderen dat het een echte semantische fout is en geen synoniem.
Human-in-the-Loop: Een streng menselijk annotatieproces (met behulp van het doccano-platform) filtert de gegenereerde data. Alleen antwoorden die coherent, contextueel relevant, maar feitelijk onjuist zijn, worden behouden.
Dataset Statistieken: De dataset bevat 1.001 samples verdeeld over 10 wetenschappelijke domeinen, met een lengte van gemiddeld 130+ woorden. Er is een balans tussen negaties (527) en entiteitsvervangingen (474).

3. Evaluatie Framework

ReFACT evalueert LLM's op drie specifieke taken:

Judgment (Oordeel): Binaire detectie of een antwoord een confabulatie bevat (onafhankelijk of in vergelijking met een ander antwoord).
Localization (Lokalisatie): Het identificeren van het exacte karakter- of woordbereik (span) waar de fout zit.
Correction (Correctie): Het genereren van de juiste entiteit om de fout te herstellen.

De evaluatie gebruikt metrics zoals Accuracy, F1-score, Intersection-over-Union (IoU) voor lokalisatie en Exact Match (EM) voor correctie.

4. Belangrijkste Resultaten en Analyse

De auteurs evalueerden 9 state-of-the-art LLMs (waaronder Gemma-3, Llama-3 en GPT-4o) op ReFACT. De resultaten tonen twee kritieke beperkingen aan:

Het "Salient Distractor" Foutpatroon (De belangrijkste bevinding):
- 61% van de fouten in de lokalisatie-taak bestaat uit semantisch ongerelateerde spans. Modellen wijzen niet op de feitelijke fout, maar fixeren op contextueel opvallende termen (zoals technische jargon, naamwoorden of algemene zinsdelen).
- Dit patroon is schaal-invariant: Het komt voor bij modellen van 1B tot 70B parameters. Grotere modellen worden beter in het kiezen van "wetenschappelijk klinkende" distractors, maar verbeteren niet in feitelijke discriminatie.
- Dit wijst op een fundamenteel tekort aan semantische grounding dat niet opgelost wordt door schaling alleen.
Paradox van Vergelijkend Oordeel:
- Het is paradoxaal moeilijker om twee antwoorden naast elkaar te vergelijken dan om één antwoord onafhankelijk te beoordelen.
- Bijvoorbeeld: De F1-score van GPT-4o daalt van 0,67 (onafhankelijk) naar 0,53 (vergelijkend). Modellen worstelen om het subtiele verschil te detecteren wanneer beide antwoorden oppervlakkig geloofwaardig zijn.
Prestatie per Taak:
- Lokalisatie: Modellen presteren aanzienlijk slechter bij het lokaliseren van entiteitsvervangingen dan bij het vinden van negaties. GPT-4o haalt slechts 47% nauwkeurigheid bij entiteiten.
- Correctie: Dit is de moeilijkste taak. Zelfs GPT-4o haalt slechts 28% Exact Match.
- Schaal: Gemma-3-27B presteert verrassend goed (0,52 gemiddelde nauwkeurigheid) en verslaat zelfs het veel grotere Llama-3.3-70B (0,43), wat suggereert dat datakwaliteit en architectuur belangrijker kunnen zijn dan puur parameteraantal voor wetenschappelijke feitelijke juistheid.

5. Bijdragen en Significatie

Eerste Benchmark voor Subtiele Wetenschappelijke Fouten: ReFACT is de eerste dataset die zich specifiek richt op het lokaliseren en corrigeren van confabulaties in authentieke, langere wetenschappelijke teksten met span-level annotaties.
Uitdaging voor "LLM-as-Judge": De bevinding dat zelfs geavanceerde modellen (zoals GPT-4o) slecht presteren bij het vergelijken van antwoorden, ondermijnt de betrouwbaarheid van het gebruik van LLM's als beoordelaars voor feitelijke juistheid in andere benchmarks.
Semantische Grounding Deficit: Het paper levert empirisch bewijs dat het simpelweg groter maken van modellen (scaling) niet volstaat om wetenschappelijke hallucinaties op te lossen. Er is een fundamentele verbetering nodig in hoe modellen feitelijke waarheid vertegenwoordigen en koppelen aan context.
Open Source: De code en data zijn beschikbaar gesteld om verdere research in wetenschappelijke feitelijke juistheid mogelijk te maken.

Conclusie:
ReFACT blootlegt dat huidige LLM's, ongeacht hun grootte, nog steeds worstelen met het detecteren van subtiele, domeinspecifieke feitelijke fouten. Ze vertrouwen te sterk op oppervlakkige, contextuele aanwijzingen in plaats van diepgaand semantisch begrip. Dit vereist een verschuiving in de ontwikkelingsstrategie van LLM's, weg van puur schalen en richting betere semantische grounding en contrastief leren.