💬 NLP

HalluWorld: A Controlled Benchmark for Hallucination via Reference World Models

Het artikel introduceert HalluWorld, een gecontroleerde benchmark die expliciete referentiële wereldmodellen gebruikt om hallucinaties in taalmodellen systematisch te evalueren en te categoriseren, en onthult dat perceptuele fouten grotendeels zijn opgelost, terwijl uitdagingen blijven bestaan in multi-stap statetracking, causale simulatie en abstentie.

Oorspronkelijke auteurs: Emmy Liu, Varun Gangal, Michael Yu, Zhuofu Tao, Karan Singh, Sachin Kumar, Steven Y. Feng

Gepubliceerd 2026-05-20

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Emmy Liu, Varun Gangal, Michael Yu, Zhuofu Tao, Karan Singh, Sachin Kumar, Steven Y. Feng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, goed gelezen assistent inhuurt om je te helpen door een vreemd, veranderend doolhof te navigeren. Soms maakt deze assistent fouten. Ze kunnen zeggen: "Hier is een deur!" terwijl er eigenlijk een muur staat, of "Ik herinner me dat we links afsliepen," terwijl je eigenlijk rechts bent afgeslagen. In de wereld van AI noemen we deze fouten hallucinaties.

Het probleem is dat het tot nu toe testen van deze fouten was als proberen te meten hoe snel een auto is door te kijken hoe hij door verschillende steden met verschillende verkeersregels rijdt. Eén test kan controleren of de auto een straatbord kan lezen (samenvatten), terwijl een andere test controleert of hij een specifiek huis in een wijk kan vinden (vragen beantwoorden). Omdat de tests zo verschillend zijn, is het moeilijk te weten of een oplossing die werkt voor straatborden ook helpt bij het vinden van huizen.

Hier komt "HalluWorld" in beeld.

De auteurs van dit artikel bouwden een gigantisch, gecontroleerd laboratorium – een "referentiewereld" – om AI-assistenten te testen op een manier die eerlijk, herhaalbaar en makkelijk te begrijpen is. Denk hierbij aan een videosimulatie waar de ontwikkelaars de exacte waarheid van elk moment kennen, zodat ze direct kunnen zien wanneer de AI liegt of in de war raakt.

De drie testzones

De onderzoekers bouwden niet zomaar één doolhof; ze bouwden drie verschillende soorten werelden om verschillende delen van het AI-brein te testen:

Het Gridworld (Het videospelletje-niveau): Stel je een eenvoudig 2D-spel voor zoals Pac-Man of Minecraft. De AI moet rondlopen, sleutels oppakken en vuur vermijden. De onderzoekers kunnen precies controleren wat de AI ziet (misschien ziet hij maar een paar stappen vooruit) en kunnen zelfs "nepborden" plaatsen die de AI leugens vertellen. Dit test of de AI zijn eigen ogen kan vertrouwen of of hij bedrogen wordt door geschreven tekst.
Het Schaakbord (Het logische raadsel): Schaak is een spel met strikte regels. De onderzoekers stelden specifieke bordposities op en vroegen de AI om te voorspellen wat er als volgende gebeurt. Dit test of de AI de toekomst kan simuleren (bijvoorbeeld: "Als ik deze pion verplaats, is mijn koning dan veilig?") of of hij gewoon gokt op basis van wat hij meestal ziet in schaakpartijen.
De Terminal (De computerhacker): Dit is de meest realistische test. De AI doet alsof het een computerprogrammeur is die naar een scherm vol code en foutmeldingen kijkt. De onderzoekers stellen vragen over bestanden en commando's die enkele minuten geleden plaatsvonden. Dit test of de AI een lange geschiedenis van gebeurtenissen kan onthouden of of hij in de war raakt door oude, verouderde informatie.

De vijf "proefvragen"

Om precies te zien hoe de AI faalt, stellen de onderzoekers vijf specifieke soorten vragen, zoals een arts die verschillende reflexen controleert:

Perceptueel (De "Wat zie je?"-test): "Is er een rode bal direct voor je?" (Test of de AI kan lezen wat er momenteel op het scherm staat).
Geheugen (De "Wat gebeurde er eerder?"-test): "We liepen door drie kamers. Wat was de kleur van de deur in de eerste kamer?" (Test of de AI het verleden kan onthouden).
Causaal (De "Wat zal er als volgende gebeuren?"-test): "Als ik deze rots duw, zal hij het vuur blokkeren?" (Test of de AI oorzaak en gevolg begrijpt).
Onzekerheid (De "Ik weet het niet"-test): "Kun je me vertellen wat er in de donkere kamer zit die we nog niet zijn binnengegaan?" (Test of de AI moedig genoeg is om "Ik weet het niet" te zeggen in plaats van een antwoord te verzinnen).
Samengesteld (De "Verbind de puntjes"-test): "Op basis van de kaart, de sleutel en het briefje dat we vonden, waar is de schat?" (Test of de AI verschillende stukjes informatie kan combineren).

Wat ze vonden

Na tientallen van de slimste AI-modellen door deze tests te hebben laten lopen, vonden de onderzoekers enkele verrassende patronen:

De "ogen" zijn goed, de "hersenen" worstelen: De AI-modellen zijn bijna perfect in het beantwoorden van vragen over wat ze nu kunnen zien. Als je ze een foto van een kat laat zien, hallucineren ze geen hond. Ze raken echter zeer in de war als ze worden gevraagd dingen in de tijd te volgen (Geheugen) of de toekomst te voorspellen (Causaal).
Harder denken helpt niet altijd: Je zou denken dat als je een AI vertelt om "langer na te denken" voordat hij antwoordt, hij beter wordt. De onderzoekers vonden dat dit vaak averechts werkt. Wanneer ze werden gevraagd de toekomst te voorspellen, maakten "denkende" modellen eigenlijk meer fouten. Ze leken eenvoudige logica te overcompliceren en begonnen nepscenario's te verzinnen.
Vertrouwen op de verkeerde bron: De AI-modellen hebben een vreemde gewoonte: ze vertrouwen geschreven borden (zoals een briefje aan de muur) meer dan hun eigen ogen. Als een bord zegt "De deur is open" maar de AI ziet een vergrendelde deur, gelooft de AI vaak het bord.
Het "Ik weet het niet"-probleem: Het moeilijkste voor zelfs de slimste AI is toegeven wanneer hij niet genoeg informatie heeft. Ze geven er de voorkeur aan om zelfverzekerd het verkeerde antwoord te raden in plaats van te zeggen: "Ik kan het niet zeggen."

De conclusie

Het artikel concludeert dat "hallucinatie" niet één groot probleem is. Het is eigenlijk een hoop verschillende problemen die dezelfde hoed dragen. Soms vergeet de AI; soms kan hij de toekomst niet voorspellen; soms vertrouwt hij een leugenaar.

Door HalluWorld te gebruiken, kunnen onderzoekers eindelijk stoppen met gokken en beginnen met het precies meten van welk deel van het AI-brein kapot is. In plaats van te zeggen "Deze AI hallucineert", kunnen we nu zeggen: "Deze AI is geweldig in zien, maar vreselijk in onthouden, en hij moet leren wanneer hij 'Ik weet het niet' moet zeggen."

Deze nieuwe benchmark is als een gestandaardiseerd rijexamen voor AI. Het controleert niet alleen of de auto kan rijden; het controleert of de bestuurder een mistige weg kan navigeren, een bocht die hij vijf minuten geleden maakte kan onthouden, en kan toegeven wanneer hij verdwaald is.

Technische Samenvatting: HalluWorld: Een Gecontroleerde Benchmark voor Hallucinatie via Referentie-Wereldmodellen

1. Probleemstelling

Hallucinatie blijft een centrale faalmodus van grote taalmodellen (LM's), maar bestaande benchmarks operationaliseren dit inconsistent over taken zoals samenvatting, vraag-antwoord en generatie met verrijkte informatie. Huidige benaderingen lijden onder twee primaire beperkingen:

Fragmentatie: Benchmarks verwarren vaak verschillende faalmodi (bijv. feiten verkeerd lezen versus eerdere beslissingen verkeerd onthouden) onder één label, waardoor het onduidelijk is of een mitigatiestrategie in één setting generaliseert naar andere.
Gebrek aan Controle: Bestaande benchmarks vertrouwen ofwel op menselijke annotatie met vaste referenties (gevoelig voor memorisatie) of op naturalistische observaties in settings die moeilijk te reproduceren of systematisch te variëren zijn. Cruciaal zijn de omgeving, de waarneembaarheid van het model en de beleidsregels voor conflictresolutie doorgaans vastgelegd per ontwerp, wat de isolatie van specifieke faalmodi verhindert.

Het paper betoogt dat om de oorzaken van hallucinatie te begrijpen, evaluatie gebaseerd moet zijn op een geünificeerde formulering waarbij hallucinatie wordt gedefinieerd als een waarneembare fout ten opzichte van een expliciet referentie-wereldmodel.

2. Methodologie: Het HALLUWORLD-kader

De auteurs introduceren HALLUWORLD, een uitbreidbaar benchmarkkader gebaseerd op een formulering van een "referentie-wereldmodel". Dit kader decomposeert hallucinatie in drie expliciete componenten:

Referentie-Wereld ( $W$ ): Een volledig gespecificeerde grondwaarheid die toestanden en overgangen codeert.
View-functie ( $V$ ): Een mechanisme dat controleert wat het model kan waarnemen (gedeeltelijke waarneembaarheid).
Conflictbeleid ( $P$ ): Een regel die bepaalt hoe conflicten tussen waarneembare bronnen (bijv. directe observatie versus schriftelijk getuigenis) worden opgelost.

Een hallucinatie treedt op wanneer de output van het model in strijd is met de grondwaarheid van het referentie-wereldmodel. Door deze componenten expliciet te maken, stelt het kader systematische stress-tests van modellen mogelijk door één factor te variëren (bijv. wereldcomplexiteit) terwijl anderen constant worden gehouden.

Benchmark-omgevingen

HALLUWORLD instantieert dit kader over drie verschillende domeinen, met in totaal 33 gridwereld-niveaus, 7 schaakniveaus en 110 terminal-taken, met 1.718 totale probevragen:

HALLUWORLD-GRID: Gebaseerd op MiniGrid, dit zijn volledig synthetische, aanpasbare omgevingen. Ze bieden hoge controle over wereldtoestand en mechanica (bijv. vuur, overstroming, drukplaten) met minimale overlap met pretrainingsdata.
- Probes: Perceptueel (P), Geheugen (M), Causaal (C), Onzekerheid (U) en Samengesteld (X).
- Serialisatie: Ondersteunt Symbolische, Grid (ASCII) en Geheugenformaten om te testen hoe presentatie hallucinatie beïnvloedt.
HALLUWORLD-CHESS: Een door regels gedomineerd domein met sterke vertegenwoordiging in trainingsdata. Het test het vermogen van het model om om te gaan met adversariale priors (typische spelverlengingen) tegenover waargenomen bordtoestanden.
- Probes: Perceptueel (statische borduitvoer), Causaal (forward simulatie van zetten) en Geheugen (toestand volgen over lange zetsequenties zonder het bord).
HALLUWORLD-TERMINAL: Gebaseerd op realistische agentische implementatie met trajecten uit de Terminal-Bench. De referentie-wereld is een live Linux-bestandssysteem en het zicht is de ruwe terminalgeschiedenis.
- Probes: Afgeleid van echte software-engineeringtaken, waarbij faalmodi zoals verouderd geheugen, redeneren over categorieën heen en onterechte claims van onzekerheid worden getest.

Categorieën van Probes

Over alle domeinen heen gebruikt de benchmark vijf cognitieve vaardigheidscategorieën:

Perceptueel (P): Accurate uitlezing van waarden die direct aanwezig zijn in de huidige observatie.
Geheugen (M): Behoud van eerdere observaties en toestandtracking over tijd.
Causaal (C): Redeneren over oorzaak-gevolgrelaties en forward simulatie van acties.
Onzekerheid (U): Herkennen van de grenzen van bewijs en zich onthouden van antwoorden wanneer de context ontoereikend is.
Samengesteld (X): Integreren van bewijs over meerdere contextsecties of omgevingen.

3. Belangrijkste Bijdragen

Geünificeerde Operationalisatie: Het paper introduceert een benchmarkkader dat hallucinatie operationaliseert als een waarneembare fout ten opzichte van een expliciet referentie-wereldmodel en conflictbeleid, en zich verplaatst van aggregate scores naar gedetailleerde foutcategorisatie.
Kader van Gecontroleerde Omgevingen: De auteurs instantiëren het kader in drie domeinen (Grid, Schaak, Terminal) bestaande uit 33 unieke gridniveaus, 7 schaakniveaus en 110 terminal-taken. Alle hallucinatielabels worden automatisch gegenereerd door constructie, waardoor menselijke annotatie overbodig wordt.
Tools voor Uitbreidbaarheid: De release van een niveau-editor en trajectrecorder voor de gridwereld-omgeving stelt de gemeenschap in staat complexe omgeving-probe-tuples te maken en de benchmark uit te breiden naar nieuwe scenario's.

4. Experimentele Resultaten

De auteurs evalueerden een dozijn frontier- en open-weight-modellen (waaronder GPT-4o/5, Claude Opus/Sonnet, o3, en open modellen zoals Qwen en DeepSeek) over deze settings.

Algemene Bevindingen

Perceptueel versus Complex Redeneren: Perceptuele hallucinatie over direct waargenomen informatie is bijna opgelost voor frontier-modellen. Echter, multi-stap toestandtracking (Geheugen) en causale forward simulatie blijven aanzienlijke uitdagingen, zelfs voor de meest capabele modellen.
Het "Denken"-paradox: Uitgebreid denken (Chain-of-Thought) toont inconsistente voordelen. Hoewel het de perceptuele nauwkeurigheid licht verbetert, verslechtert het vaak causale hallucinaties. De auteurs hypothetiseren dat uitgebreid redeneren meer gelegenheid biedt om plausibele tussenliggende toestanden te fabriceren in plaats van te vertrouwen op directe observaties.
Bronvertrouwen: Modellen geven consequent de voorkeur aan schriftelijk getuigenis (bijv. borden, kennisborden) boven directe observatie, zelfs wanneer het getuigenis in strijd is met de waarneembare wereld.
Onzekerheid: Modellen hebben aanzienlijk moeite met epistemisch onthouden. In terminal-settings hallucineren zelfs topmodellen ongeveer 25% van de tijd wanneer het correcte antwoord "kan niet worden bepaald" is.

Domeinspecifieke Inzichten

Gridwereld: Er werd een consistente hiërarchie van moeilijkheid waargenomen: Onzekerheid < Perceptueel < Geheugen < Causaal. Het formaat van de wereldtoestand (serialisatie) is een onafhankelijke drijver van hallucinatie; bijvoorbeeld, gridserialisatie veroorzaakte catastrofale storing in het volgen van attributen over observaties heen voor sterke modellen, terwijl symbolische formaten de nauwkeurigheid van tellingen behielden.
Schaak: Categorieën met lange sequenties (Geheugen en Samengesteld) scheidden frontier-modellen van zwakkere modellen. Hoewel topmodellen verzadigd raakten op perceptuele en causale probes met een korte horizon, toonden ze duidelijke faalmodi in toestandtracking met een lange horizon.
Terminal: Dit was het moeilijkste domein. Geen enkel model verzadigde enige individuele probe-categorie. Een opmerkelijke anomalie was GPT-4o-mini, dat een uniek omgekeerd geheugenprofiel vertoonde waarbij de rates van geheugenhallucinatie de causale rates overtroffen, wat wijst op specifieke storingen in toestandtracking met een lange horizon.

Navigatie-experimenten (InNav)

In een interactieve navigatiesetting vonden de auteurs dat navigatie vaak hallucinatie vermindert voor redenerende modellen (via epistemische gronding), maar fouten kan verhogen in geheugen- of lange-horizontaken vanwege cognitieve belasting. De impact van navigatie is sterk afhankelijk van de taakcategorie (bijv. gunstig voor causale taken, nadelig voor samengestelde taken over meerdere zones).

5. Betekenis en Claims

Het paper claimt dat HALLUWORLD een schaalbare en reproduceerbare weg biedt naar het meten en verminderen van hallucinaties. Door evaluatie te gronden in expliciete, controleerbare omgevingen, stelt de benchmark:

Faalmodi Ontwarren: Het onthult dat hallucinaties niet een enkel onderliggend vermogensfalen zijn, maar voortkomen uit kwalitatief verschillende modi (perceptie, geheugen, causaliteit, onzekerheid).
Gerichte Interventie mogelijk maken: Het vermogen om specifieke condities te isoleren (bijv. adversariaal getuigenis, serialisatieformaat) stelt onderzoekers in staat modellen proactief te ondersteunen met gerichte interventies in plaats van te vertrouwen op aggregate metrics.
Het Paradigma verschuiven: Het verplaatst het veld van vage, bron-gegronde metrics naar een experimenteel hanteerbaar probleem waarbij hallucinaties kunnen worden gediagnosticeerd als wereldmodel-fouten.

De auteurs concluderen dat hoewel perceptuele nauwkeurigheid verbetert, het vermogen om nauwkeurige wereldtoestanden in de tijd te behouden en te redeneren over toekomstige toestanden een onopgelost probleem blijft voor frontier-modellen, wat suggereert dat redeneren alleen niet voldoende is om hallucinaties te mitigeren zonder architecturale of trainingsinterventies.