Technische Samenvatting: Een Verenigde Definitie van Hallucinatie: Het is het Wereldmodel, Dom!

1. Probleemstelling

Ondanks uitgebreid onderzoek naar mitigatiestrategieën sinds het ontstaan van Large Language Models (LLM's), blijven hallucinaties een hardnekkig en onopgelost probleem in frontier-modellen. Het kernprobleem dat de auteurs identificeren, is de fragmentatie van de definitie van "hallucinatie". Bestaande definities zijn taakspecifiek en vaak tegenstrijdig:

• Summarization-onderzoekers definiëren hallucinatie als inhoud die niet wordt ondersteund door het brondocument, zelfs als deze feitelijk waar is in de echte wereld.
• Open-domain QA-onderzoekers definiëren het als feitelijk onjuiste inhoud, ongeacht de bron.
• Vision-Language Model (VLM) onderzoekers richten zich op inconsistenties tussen visuele input en tekst.
• Agentic-onderzoekers beschouwen hallucinatie als ongepaste acties gebaseerd op observaties uit de omgeving.

Dit gebrek aan een verenigde definitie maakt het moeilijk om benchmarks te vergelijken, de overdraagbaarheid van mitigatiestrategieën te evalueren, of fundamentele vragen te beantwoorden over de vraag of LLM's ooit kunnen stoppen met hallucineren. Huidige evaluaties gaan vaak impliciet uit van een "grondwaarheid" zonder expliciet te specificeren wat die waarheid is, hoe deze wordt geraadpleegd, of hoe conflicten tussen bronnen worden opgelost.

2. Methodologie: Het Verenigde Framework

De auteurs stellen een formeel framework voor dat alle bestaande definities verenigt onder één enkel concept: Hallucinatie als onnauwkeurige (interne) wereldmodellering die observeerbaar is voor de gebruiker.

2.1 Kerncomponenten

Het framework definieert een hallucinatie relatief aan drie expliciete componenten:

1. Referentiewereldmodel ($W$): Een formele representatie van wat objectief waar is in een gegeven context. $W$ is een tuple $(S, H, R)$, waarbij $S$ de verzameling mogelijke wereldtoestanden is, $H$ de verzameling interactiegeschiedenissen is, en $R$ een verzameling regels is die toelaatbare toestanden beperkt. $W$ kan worden geïnstantieerd als een brondocument, een kennisbank, een simulator, een database of een formele grammatica.
2. View Function ($V$): Een functie die het deel van het wereldmodel selecteert dat relevant is voor een specifieke input $x$ (bijv. het volledige document, een opgehaalde subset, of een gedeeltelijke DOM-observatie).
3. Conflict Policy ($P$) en Truth Function ($T_{W,P}$): Een beleid dat bepaalt hoe meerdere bronnen van informatie moeten worden verzoend (bijv. "opgehaalde documenten overschrijven parametrische geheugen"). De waarheidsfunctie wijst een status toe (waar, onwaar, onbekend) aan elke atomaire bewering $c$ gegeven $W$, $x$, en $P$.

2.2 Formele Definitie

Laat $y$ de modeloutput zijn en $C(y)$ de verzameling atomaire beweringen die observeerbaar zijn voor de gebruiker. De output $y$ hallucineert met betrekking tot $(W, P)$ indien en slechts indien er een bewering $c \in C(y)$ bestaat waarvoor geldt dat $T_{W,P}(x, c) = \text{false}$.

Cruciaal is dat deze definitie onderscheid maakt tussen hallucinatie (onjuiste overtuigingen over de referentiewereld) en andere fouttypen:

• Planningfouten: Juiste overtuigingen maar slechte actie-selectie.
• Reward/Incentive-fouten: Juiste overtuigingen maar zelfverzekerde outputs door trainingsprikkels.
• Kalibratiefouten: Onzekerheid die niet correct wordt geuit.

3. Belangrijkste Bijdragen

Het papier levert drie primaire bijdragen:

1. Een Verenigde Taxonomie: De auteurs tonen aan dat voorgaande definities (uit summarization, RAG, agentic settings en VLMs) simpelweg verschillende instanties zijn van dezelfde onderliggende structuur. Door $W$, $V$, en $P$ te variëren, kan men bestaande definities (bijv. intrinsieke vs. extrinsieke hallucinaties) als speciale gevallen afleiden.
2. Expliciete Richtlijnen voor Benchmark Design: Het framework dwingt benchmark-ontwerpers om hun aannames over de referentiewereld, de view van het model en conflictresolutie expliciet te vermelden. Dit maakt een betekenisvolle vergelijking tussen uiteenlopende benchmarks mogelijk (bijv. FavaBench, HALoGEN, HaluEval) door te diagnosticeren waar hun definities uiteenlopen.
3. Schaalbare Benchmark Generatie via Synthetische Werelden: Het papier stelt een methode voor om grootschalige benchmarks te creëren met behulp van synthetische omgevingen (bijv. games, simulators) waar de referentiewereld $W$ volledig gespecificeerd en programmeerbaar bekend is.
   • Casestudy (Schaken): De auteurs illustreren hoe een schaacomgeving als benchmark kan dienen. De wereldtoestand ($s$) en geschiedenis ($h$) zijn de grondwaarheid. Een documentgenerator creëert tekstuele contexten en een querygenerator creëert vragen. De waarheidsfunctie evalueert beweringen tegen de werkelijke bordtoestand en regels, wat automatische, grootschalige generatie van hallucinatie-labels mogelijk maakt zonder menselijke annotatie.

4. Resultaten en Bevindingen

Als position paper presenteert dit werk geen empirische resultaten over modelprestaties, maar biedt het eerder een conceptuele en diagnostische analyse:

• Diagnostische Kracht: Het framework onthult dat meningsverschillen in de literatuur vaak voortkomen uit impliciete verschillen in $W$, $V$, of $P$, in plaats van uit modelgedrag. Bijvoorbeeld: een methode kan hallucinaties in summarization (waar $W$ het brondocument is) verminderen, maar falen in open QA (waar $W$ de feiten uit de echte wereld zijn) omdat de interventies verschillende componenten targeten.
• Verheldering van Mitigatiestrategieën: Het papier categoriseert mitigatietechnieken op basis van de component die zij targeten:
  • Retrieval/Tools: Interventies op de View function ($V$).
  • Kalibratie/Abstention: Interventies op de Truth function of de output policy ($T_{W,P}$).
  • Architecturale/Training-wijzigingen: Interventies op de interne benadering van $W$ door het model.
• Onderscheid van Fouttypen: Het framework slaagt erin "hallucinatie" (wereldmodelleringsfouten) te scheiden van "planning" of "instructie-volgendheid" fouten, een onderscheid dat in de huidige literatuur vaak vervaagt.

5. Betekenis en Claims

De auteurs beweren dat dit verenigde perspectief om de volgende redenen van groot belang is:

• Wetenschappelijke Rigor: Het brengt het veld van vage, taakspecifieke definities naar een formele, reproduceerbare structuur. Het dwingt onderzoekers om te verduidelijken "wat waar is" voordat zij beweren dat een model heeft gehallucineerd.
• Vergelijkbaarheid: Het maakt de vergelijking van benchmarks en mitigatiestrategieën over verschillende domeinen (tekst, visie, agents) mogelijk door ze in kaart te brengen naar een gemeenschappelijk sjabloon.
• Schaalbaarheid: Door gebruik te maken van synthetische omgevingen met volledig gespecificeerde werelden, maakt het framework de creatie van benchmarks mogelijk waarbij hallucinatie-labels worden bepaald door constructie in plaats van dure menselijke annotatie of onbetrouwbare "LLM-as-a-judge" methoden.
• Actiegerichte Sturing: Het biedt een duidelijk pad voor ontwikkelaars en onderzoekers om te identificeren of een falen wordt veroorzaakt door ontbrekende informatie ($V$), conflicterende regels ($P$), of een fundamenteel defect intern model ($W$).

Het papier concludeert dat hoewel perfecte wereldmodellering wellicht onbereikbaar is, het doel voor LLM's moet zijn om de grenzen van hun kennis te herkennen, zich te onthouden bij onzekerheid, en te updaten op basis van externe informatie. Het voorgestelde framework, aangevuld met de HALLUWORLD benchmark suite, biedt een weg om observeerbare wereldmodel-fouten systematisch te meten en te verminderen.