🤖 AI

A Unified Definition of Hallucination: It's The World Model, Stupid!

Dieses Paper schlägt eine einheitliche Definition von Halluzination als einer für den Nutzer beobachtbaren, ungenauen internen Weltmodellierung vor und argumentiert, dass dieser Rahmen vorangegangene Definitionen umfasst, Evaluierungsstandards durch die Spezifizierung von Referenzwelten klärt und Halluzinationen von anderen Fehlertypen unterscheidet, um besseres Benchmarking und Minderungsstrategien zu erleichtern.

Ursprüngliche Autoren: Emmy Liu, Varun Gangal, Chelsea Zou, Michael Yu, Xiaoqi Huang, Alex Chang, Zhuofu Tao, Karan Singh, Sachin Kumar, Steven Y. Feng

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Emmy Liu, Varun Gangal, Chelsea Zou, Michael Yu, Xiaoqi Huang, Alex Chang, Zhuofu Tao, Karan Singh, Sachin Kumar, Steven Y. Feng

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie spielen eine Runde „Stille Post“ mit einem sehr intelligenten, aber leicht verwirrten Roboter. Sie geben dem Roboter eine Geschichte, ein Bild oder einen Satz von Regeln und bitten ihn, Ihnen zu erzählen, was passiert ist. Manchmal erzählt der Roboter Ihnen etwas, das zwar kompetent und flüssig klingt, aber völlig erfunden ist. In der Fachwelt nennen wir das eine Halluzination.

Aber hier liegt das Problem: Alle streiten darüber, was genau als Halluzination gilt.

Wenn ein Roboter einen Zeitungsartikel zusammenfasst und einen Fakt falsch wiedergibt, ist das eine Halluzination?
Wenn ein Roboter eine Wissensfrage aus seinem Gedächtnis beantwortet und dabei falsch liegt, ist das eine Halluzination?
Wenn ein Roboter versucht, auf eine Schaltfläche auf einer Website zu klicken, die gar nicht existiert, ist das eine Halluzination?

Einige Forscher sagen „Ja“ zu allen dieser Fragen. Andere sagen „Nein, das ist nur ein Fehler“. Diese Verwirrung macht es schwierig, das Problem zu lösen.

Dieses Paper argumentiert, dass wir aufhören müssen, über die Definition zu streiten, und stattdessen nach der Ursache suchen sollten. Die Autoren schlagen eine einfache, einheitliche Idee vor: Halluzination ist einfach ein defektes „Weltmodell“.

Die Kernidee: Die interne Karte des Roboters

Stellen Sie sich den Roboter als einen Entdecker vor, der versucht, eine Stadt zu navigieren. Um dies zu tun, benötigt er eine Karte (ein Weltmodell).

Die Referenzwelt: Dies ist die echte Karte. Es ist die absolute Wahrheit. Das könnte der Zeitungsartikel sein, den Sie ihm gegeben haben, die tatsächlichen Regeln von Schach, die echte Datenbank eines Unternehmens oder der Live-Code einer Website.
Die Sicht des Roboters: Dies ist das, was der Roboter tatsächlich sehen darf. Vielleicht sieht er den gesamten Artikel, oder vielleicht sieht er nur einen winzigen Ausschnitt.
Die Konfliktregel: Dies ist der Schiedsrichter. Wenn das Gedächtnis des Roboters sagt „Der Himmel ist grün“ und der Artikel sagt „Der Himmel ist blau“, wer gewinnt? Normalerweise gewinnt der Artikel (die Referenzwelt).

Die Definition des Papers:
Eine Halluzination tritt nur dann auf, wenn die Ausgabe des Roboters basierend auf der Konfliktregel im Widerspruch zur Referenzwelt steht.

Wenn der Roboter sagt: „Der Himmel ist grün“, und die Referenzwelt (der Artikel) sagt: „Der Himmel ist blau“, dann hat der Roboter eine defekte Karte. Er halluziniert.

Warum das alles vereinheitlicht

Die Autoren zeigen, dass all die verschiedenen Arten von „Halluzinationen“, über die die Leute sprechen, eigentlich dasselbe sind, das in verschiedenen Räumen passiert:

Zusammenfassung: Die „Referenzwelt“ ist das Quelldokument. Wenn die Zusammenfassung dem Dokument widerspricht, ist die Karte des Roboters über dieses Dokument falsch.
Trivia (Open QA): Die „Referenzwelt“ sind die tatsächlichen Fakten des Universums (z. B. wer den Nobelpreis gewonnen hat). Wenn der Roboter basierend auf seinem Training falsch rät, ist seine interne Karte der Realität falsch.
Web-Browsing (Agenten): Die „Referenzwelt“ ist der tatsächliche Website-Code (das DOM). Wenn der Roboter sagt „Ich habe auf den Submit-Button geklickt“, aber der Code zeigt, dass kein solcher Button existiert, halluziniert der Roboter ein Objekt, das nicht da ist.

Der „dumme“ Teil: Es ist die Karte, nicht der Roboter

Der Titel lautet: „It's The World Model, Stupid!“ Dies ist eine Anspielung auf einen berühmten politischen Slogan. Die Autoren sagen: Hören Sie auf, dem Roboter vorzuwerfen, er sei „verwirrt“. Das Problem ist, dass seine interne Karte der Welt ungenau ist.

Manchmal „lügt“ der Roboter nicht; er schaut nur auf die falsche Karte.

Planungsfehler: Der Roboter weiß, dass die Karte richtig ist, aber er wählt einen schlechten Pfad. (Keine Halluzination).
Halluzination: Der Roboter denkt, die Karte sagt „Brücke hier“, aber die Karte sagt eigentlich „Klippe“. (Das ist eine Halluzination).

Wie man es löst (laut dem Paper)

Das Paper schlägt vor, dass wir aufhören sollten, einen „perfekten Roboter“ zu bauen, und statfangen sollten, bessere Testumgebungen zu entwickeln.

Sie schlagen vor, synthetische Welten (wie Videospiele oder Schach) zu verwenden, um Roboter zu testen.

Die Schach-Analogie: Stellen Sie sich ein Schachspiel vor, bei dem die Regeln zu 100 % klar sind und der Zustand des Bretts zu 100 % bekannt ist. Wir können den Roboter fragen: „Kann der weiße Springer auf dieses Feld springen?“
Wenn der Roboter sagt „Ja“, aber die Regeln sagen „Nein“, wissen wir ganz genau, dass seine interne Karte des Schachbretts defekt ist.
Da die „Referenzwelt“ (die Schachregeln) perfekt durch einen Computer definiert ist, brauchen wir keine Menschen, die raten, ob der Roboter lügt. Der Computer weiß es sofort.

Warum das wichtig ist

Indem wir uns auf diese Definition einigen, können Forscher endlich:

Äpfel mit Äpfeln vergleichen: Wir können feststellen, ob eine neue Technik tatsächlich Halluzinationen reduziert oder ob sie nur die Regeln des Spiels geändert hat.
Wissen, was zu reparieren ist: Wenn ein Roboter halluziniert, weil er nicht das ganze Dokument sehen kann, reparieren wir die „Sicht“. Wenn er halluziniert, weil er das Dokument zugunsten seines Gedächtnisses ignoriert, reparieren wir die „Konfliktregel“.
Größere Tests erstellen: Wir können Tausende von Testszenarien (wie Millionen von Schachrätseln) erstellen, bei denen wir die Antwort zu 100 % kennen, ohne dass Menschen jedes einzelne bewerten müssen.

Kurz gesagt: Das Paper sagt: „Hört auf darüber zu streiten, was eine Halluzination ist. Es ist einfach, wenn die Geschichte des Roboters nicht mit der Realität übereinstimmt, gegen die wir testen wollen. Lasst uns bessere Karten und bessere Tests bauen, damit wir den kaputten Kompass des Roboters reparieren können.“

Technisches Resümee: Eine vereinheitlichte Definition von Halluzination: Es ist das Weltmodell, verdammt!

1. Problemstellung

Trotz intensiver Forschung an Minderungsstrategien seit der Geburtsstunde von Large Language Models (LLMs) bleiben Halluzinationen ein hartnäckiges und ungelöstes Problem bei Frontier-Modellen. Das Kernproblem, das die Autoren identifizieren, ist die Fragmentierung der Definition von „Halluzination“. Bestehende Definitionen sind aufgabenbezogen und oft widersprüchlich:

Zusammenfassungs-Forscher definieren Halluzination als Inhalte, die nicht durch das Quelldokument gestützt werden, selbst wenn sie in der realen Welt faktisch wahr sind.
Open-Domain-QA-Forscher definieren sie als faktisch falsche Inhalte, unabhängig von der Quelle.
Vision-Language-Model (VLM)-Forscher konzentrieren sich auf Inkonsistenzen zwischen visueller Eingabe und Text.
Agentische Forscher betrachten Halluzination als unangemessene Aktionen basierend auf Umweltbeobachtungen.

Dieser Mangel an einer vereinheitlichten Definition erschwert es, Benchmarks zu vergleichen, die Übertragbarkeit von Minderungsstrategien zu bewerten oder grundlegende Fragen darüber zu beantworten, ob LLMs jemals aufhören können zu halluzinieren. Aktuelle Evaluationen setzen oft implizit eine „Ground Truth“ voraus, ohne jedoch explizit anzugeben, was diese Wahrheit ist, wie sie abgerufen wird oder wie Konflikte zwischen Quellen gelöst werden.

2. Methodik: Das vereinheitlichte Framework

Die Autoren schlagen ein formales Framework vor, das alle bestehenden Definitionen unter einem einzigen Konzept vereint: Halluzination als ungenaues (internes) Weltmodell, das für den Nutzer beobachtbar ist.

2.1 Kernkomponenten

Das Framework definiert eine Halluzination relativ zu drei expliziten Komponenten:

Referenz-Weltmodell ( $W$ ): Eine formale Repräsentation dessen, was in einem gegebenen Kontext objektiv wahr ist. $W$ ist ein Tupel $(S, H, R)$ , wobei $S$ die Menge der möglichen Weltzustände, $H$ die Menge der Interaktionshistorien und $R$ eine Menge von Regeln ist, die zulässige Zustände einschränken. $W$ kann als Quelldokument, Wissensbasis, Simulator, Datenbank oder formale Grammatik instanziiert werden.
View-Funktion ( $V$ ): Eine Funktion, die den Teil des Weltmodells auswählt, der für eine spezifische Eingabe $x$ relevant ist (z. B. das vollständige Dokument, eine abgerufene Teilmenge oder eine partielle DOM-Beobachtung).
Konflikt-Policy ( $P$ ) und Wahrheitsfunktion ( $T_{W,P}$ ): Eine Policy, die bestimmt, wie mehrere Informationsquellen versöhnt werden (z. B. „abgerufene Dokumente überschreiben das parametrische Gedächtnis“). Die Wahrheitsfunktion weist einem atomaren Claim $c$ angesichts von $W$ , $x$ und $P$ einen Status zu (wahr, falsch, unbekannt).

2.2 Formale Definition

Sei $y$ die Modellausgabe und $C(y)$ die Menge der dem Nutzer beobachtbaren atomaren Claims. Die Ausgabe $y$ halluziniert in Bezug auf $(W, P)$ genau dann, wenn es einen Claim $c \in C(y)$ gibt, für den gilt: $T_{W,P}(x, c) = \text{false}$ .

Entscheidend ist, dass diese Definition die Halluzination (falsche Überzeugungen über die Referenzwelt) von anderen Fehlertypen unterscheidet:

Planungsfehler: Korrekte Überzeugungen, aber schlechte Aktionsauswahl.
Reward-/Incentive-Fehler: Korrekte Überzeugungen, aber konfidente Ausgaben aufgrund von Trainingsanreizen.
Kalibrierungsfehler: Unsicherheit, die nicht angemessen ausgedrückt wird.

3. Hauptbeiträge

Das Paper leistet drei primäre Beiträge:

Eine vereinheitlichte Taxonomie: Die Autoren zeigen auf, dass vorangegangene Definitionen (aus den Bereichen Zusammenfassung, RAG, agentische Settings und VLMs) lediglich unterschiedliche Instanziierungen derselben zugrunde liegenden Struktur sind. Durch Variation von $W$ , $V$ und $P$ lassen sich bestehende Definitionen (z. B. intrinsische vs. extrinsische Halluzinationen) als Spezialfälle ableiten.
Explizite Richtlinien für das Benchmark-Design: Das Framework zwingt Designer von Benchmarks dazu, ihre Annahmen bezüglich der Referenzwelt, der Sichtweise des Modells und der Konfliktlösung explizit zu benennen. Dies ermöglicht einen sinnvollen Vergleich zwischen disparaten Benchmarks (z. B. FavaBench, HALoGEN, HaluEval), indem diagnostiziert wird, wo sich ihre Definitionen unterscheiden.
Skalierbare Benchmark-Generierung via synthetischer Welten: Das Paper schlägt eine Methode zur Erstellung groß angelegter Benchmarks unter Verwendung synthetischer Umgebungen (z. B. Spiele, Simulatoren) vor, in denen die Referenzwelt $W$ $W$ vollständig spezifiziert und programmatisch bekannt ist.
- Fallstudie (Schach): Die Autoren illustrieren dies anhand einer Schachumgebung. Der Weltzustand ( $s$ ) und die Historie ( $h$ ) bilden die Ground Truth. Ein Dokumentengenerator erstellt textuelle Kontexte und ein Query-Generator erstellt Fragen. Die Wahrheitsfunktion evaluiert Claims gegen den tatsächlichen Brettzustand und die Regeln, was die automatische, groß angelegte Generierung von Halluzinations-Labels ohne menschliche Annotation ermöglicht.

4. Ergebnisse und Erkenntnisse

Als Positionspapier präsentiert die Arbeit keine empirischen Ergebnisse zur Modellleistung, sondern bietet vielmehr eine konzeptionelle und diagnostische Analyse:

Diagnostische Kraft: Das Framework zeigt auf, dass Diskrepanzen in der Literatur oft auf implizite Unterschiede in $W$ , $V$ oder $P$ zurückzuführen sind und nicht auf das Modellverhalten selbst. Beispielsweise kann eine Methode Halluzinationen in der Zusammenfassung (wo $W$ das Quelldokument ist) reduzieren, aber in der Open-QA (wo $W$ reale Fakten sind) scheitern, weil die Interventionen unterschiedliche Komponenten ansprechen.
Klärung von Minderungsstrategien: Das Paper kategorisiert Minderungs-Techniken danach, welche Komponente sie adressieren:
- Retrieval/Tools: Interventionen auf die View-Funktion ( $V$ ).
- Kalibrierung/Abstention: Interventionen auf die Wahrheitsfunktion oder die Output-Policy ( $T_{W,P}$ ).
- Architektonische/Trainingsänderungen: Interventionen auf die interne Approximation von $W$ durch das Modell.
Differenzierung von Fehlertypen: Das Framework trennt erfolgreich „Halluzination“ (Weltmodellierungsfehler) von „Planungs“- oder „Instruction-Following“-Fehlern, eine Unterscheidung, die in der aktuellen Literatur oft verschwimmt.

5. Bedeutung und Ansprüche

Die Autoren behaupten, dass diese vereinheitlichte Sichtweise aus mehreren Gründen signifikant ist:

Wissenschaftliche Stringenz: Sie führt das Feld von vagen, aufgabenbezogenen Definitionen zu einer formalen, reproduzierbaren Struktur. Sie zwingt Forscher dazu, zu klären, „was wahr ist“, bevor sie behaupten, ein Modell habe halluziniert.
Vergleichbarkeit: Sie ermöglicht den Vergleich von Benchmarks und Minderungsstrategien über verschiedene Domänen hinweg (Text, Vision, Agenten), indem sie diese auf ein gemeinsames Template abbildet.
Skalierbarkeit: Durch die Nutzung synthetischer Umgebungen mit vollständig spezifizierten Welten ermöglicht das Framework die Erstellung von Benchmarks, in denen Halluzinations-Labels konstruktionsbedingt und nicht durch teure menschliche Annotation oder unzuverlässige „LLM-as-a-judge“-Methoden bestimmt werden.
Handlungsorientierte Anleitung: Es bietet Entwicklern und Forschern einen klaren Fahrplan, um zu identifizieren, ob ein Fehler auf fehlende Informationen ( $V$ ), widersprüchliche Regeln ( $P$ ) oder ein fundamental fehlerhaftes internes Modell ( $W$ ) zurückzuführen ist.

Das Paper schließt mit der Feststellung, dass eine perfekte Weltmodellierung zwar unerreichbar sein mag, das Ziel für LLMs jedoch darin bestehen sollte, die Grenzen ihres Wissens zu erkennen, bei Unsicherheit zu verzichten und sich basierend auf externen Informationen zu aktualisieren. Das vorgeschlagene Framework, ergänzt durch die HALLUWORLD Benchmark-Suite, bietet einen Weg, um beobachtbare Weltmodell-Fehler systematisch zu messen und zu reduzieren.