💬 NLP

Where Does Reasoning Break? Step-Level Hallucination Detection via Hidden-State Transport Geometry

Dieser Artikel schlägt einen Halluzinationsdetektionsrahmen auf Schichtebene vor, der Schlussfolgerungsfehler als lokalisierte Abweichungen in der Geometrie des Transportes versteckter Zustände identifiziert und dabei einen kontrastiven PCA-basierten Lehrer sowie einen destillierten BiLSTM-Schüler nutzt, um bestehende Basismodelle bei der Lokalisierung des ersten Fehlers während der Inferenz in einem einzigen Durchgang zu übertreffen.

Ursprüngliche Autoren: Tyler Alvarez, Ali Baheri

Veröffentlicht 2026-05-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tyler Alvarez, Ali Baheri

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, ein Large Language Model (LLM), das ein komplexes mathematisches Problem löst oder eine Geschichte schreibt, ist wie ein Wanderer, der auf einem schmalen, gut getretenen Bergpfad wandert. Solange der Wanderer auf dem Pfad bleibt, bewegt er sich „korrekt". Doch manchmal macht der Wanderer eine falsche Abzweigung. Sobald er vom Pfad abkommt, könnte er umherirren und schließlich auf einen Weg stolpern, der ähnlich aussieht, aber er ist nun verloren. Das Problem ist, dass er, wenn er das Ende erreicht, möglicherweise selbstbewusst behauptet, am Gipfel zu sein, obwohl er vor Meilen eine falsche Abzweigung genommen hat.

Diese Arbeit mit dem Titel „Where Does Reasoning Break?" (Wo bricht das Schlussfolgern?) führt eine neue Methode ein, um genau den Moment zu erfassen, in dem der Wanderer vom Pfad abkommt, anstatt nur zu prüfen, ob er am falschen Ziel angekommen ist.

Hier ist die Aufschlüsselung ihres Ansatzes unter Verwendung einfacher Analogien:

1. Das Problem: Die gesamte Reise prüfen vs. die falsche Abzweigung

Die meisten aktuellen Methoden zur Erkennung von AI-„Halluzinationen" (Erfindungen von Tatsachen) sind wie ein Reiseleiter, der nur das letzte Foto der Reise betrachtet. Er sagt: „Dieses Foto sieht seltsam aus; die gesamte Reise war ein Misserfolg."

Der Fehler: Sie können Ihnen nicht sagen, wo der Wanderer falsch abgebogen ist. War es Schritt 2? Schritt 50?
Das Ziel: Die Autoren wollen den sehr ersten Schritt erfassen, bei dem der Wanderer den Pfad verlässt, damit der Fehler sofort behoben werden kann.

2. Die Kernidee: Die Trajektorie des „versteckten Zustands"

Die Autoren behandeln den internen Denkprozess der KI (ihre „versteckten Zustände") nicht als Liste von Wörtern, sondern als einen Film der Bewegung durch einen hochdimensionalen Raum.

Die stabile Mannigfaltigkeit: Stellen Sie sich „korrektes Schlussfolgern" als eine glatte, unsichtbare Autobahn vor. Wenn die KI korrekt denkt, bleibt ihr interner „Film" an diese Autobahn geklebt.
Der Ausflug: Wenn die KI einen Fehler macht, reißt ihr interner Film plötzlich von der Autobahn ab. Es ist ein „lokaler Ausflug" – ein plötzlicher, seltsamer Sprung in den Daten.
Die Erkenntnis: Selbst wenn die KI später versucht, wieder normal zu agieren, hinterlässt dieser erste Sprung eine geometrische Narbe, die gemessen werden kann.

3. Das Zweiteil-System: Der Lehrer und der Schüler

Die Arbeit schlägt ein System mit zwei Charakteren vor: einem Lehrer und einem Schüler.

Der Lehrer (Die „magischen Gläser")

Funktionsweise: Der Lehrer ist ein überaus intelligentes Diagnosewerkzeug, das einen Spickzettel besitzt. Er weiß genau, welche Schritte im Schlussfolgern der KI richtig und welche falsch waren (da er mit Labels trainiert wurde).
Der Trick: Er verwendet eine spezielle Brille namens Contrastive PCA (Kontrastive Hauptkomponentenanalyse). Stellen Sie sich vor, Sie schauen in einen überfüllten Raum, in dem alle verschiedene farbige Hemden tragen. Die Gläser des Lehrers filtern all das „Rauschen" (wie die Farbe der Hemden, die Größe des Raums oder das Gesprächsthema) heraus und zoomen nur auf die spezifische Richtung, in der die „falsche Abzweigung" stattfindet.
Das Ergebnis: Der Lehrer kann den exakten Moment, in dem die KI die Autobahn verlässt, mit unglaublicher Genauigkeit erkennen.
Der Haken: Der Lehrer ist in der realen Welt nutzlos, da er den Spickzettel (die Labels) benötigt, um zu funktionieren. Man kann einer KI keinen Spickzettel geben, während sie tatsächlich ein Problem für Sie löst.

Der Schüler (Der „Felddetektiv")

Funktionsweise: Der Schüler ist ein leichtgewichtiges, einsetzbares Modell, das entwickelt wurde, um ohne Spickzettel zu arbeiten. Er versucht zu lernen, was der Lehrer sieht, hat aber nur Zugriff auf den rohen „Film" des Denkens der KI.
Das Training: Der Schüler wird trainiert, indem er den Lehrer beobachtet. Er lernt, die „Instabilitätsbewertung" des Lehrers nachzuahmen.
Das Ziel: Der Schüler soll das Werkzeug sein, das wir im echten Leben tatsächlich verwenden, um Fehler in einem einzigen Durchlauf zu erkennen.

4. Die große Entdeckung: Das „Margin"-Problem

Die Arbeit führte viele Experimente durch und fand ein überraschendes Ergebnis:

Im Klassenzimmer (In-Domain): Wenn der Schüler an derselben Art von KI und denselben Daten getestet wird, mit denen er trainiert wurde, funktioniert er hervorragend. Er erkennt die falschen Abzweigungen fast so gut wie der Lehrer.
In der Wildnis (Cross-Model/Dataset): Wenn der Schüler an einem anderen KI-Modell oder einer anderen Art von Problem getestet wird, bricht er zusammen. Seine Leistung sinkt auf fast zufälliges Raten.

Warum?
Die Autoren erklären dies unter Verwendung des Konzepts des „Transport Margin".

Stellen Sie sich den „korrekten Pfad" als eine breite, sichere Zone vor und die „falsche Abzweigung" als eine Klippe.
Der Lehrer sieht eine riesige, klare Lücke (einen breiten Margin) zwischen der sicheren Zone und der Klippe.
Der Schüler lernt, die Klippe zu erkennen, aber er lernt, sie basierend auf der spezifischen Textur des Bodens im Trainingsraum zu erkennen.
Wenn Sie den Schüler in einen neuen Raum bringen (ein neues KI-Modell), ändert sich die Bodentextur. Der Schüler wird verwirrt, weil er nach der falschen Textur suchte und nicht nach der tatsächlichen Entfernung zur Klippe.
Die Schlussfolgerung: Das zentrale Hindernis, dies in der realen Welt funktionsfähig zu machen, ist nicht das Finden des Fehlers, sondern dem Schüler beizubringen, die Größe der Lücke (den Margin) unabhängig davon zu erkennen, wie der Boden aussieht.

Zusammenfassung

Diese Arbeit neu definiert die Erkennung von KI-Halluzinationen als geometrisches Problem. Anstatt zu fragen „Ist dieser Satz wahr?", fragt sie: „Hat die interne Bewegung der KI gerade einen seltsamen Sprung von der Autobahn gemacht?"

Sie bewiesen mathematisch, dass ihre „magischen Gläser" (Contrastive PCA) der beste Weg sind, um diese Sprünge zu finden. Sie bauten einen „Schüler", um die Arbeit in der realen Welt zu erledigen, stellten jedoch fest, dass der Schüler derzeit versagt, wenn sich die Umgebung ändert. Die Arbeit kommt zu dem Schluss, dass wir, um dies zu beheben, dem Schüler beibringen müssen, den geometrischen Abstand (den Margin) zwischen richtig und falsch zu bewahren, anstatt nur die spezifischen Muster der Trainingsdaten auswendig zu lernen.

Technische Zusammenfassung: Wo bricht das Schlussfolgern zusammen? Stufenweise Halluzinationserkennung mittels Transportgeometrie versteckter Zustände

1. Problemdefinition

Large Language Models (LLMs) halluzinieren häufig bei mehrstufigen Schlussfolgerungsaufgaben und erzeugen fließende, aber falsche Zwischenschritte, die Fehler bis zur endgültigen Ausgabe fortpflanzen. Bestehende Erkennungsmethoden leiden unter drei Hauptbeschränkungen:

Aggregation auf Traces-Ebene: Die meisten Detektoren (z. B. semantische Entropie, Selbstkonsistenz, SelfCheckGPT) weisen einem gesamten Output einen einzigen Konfidenzwert zu und versagen darin, den ersten Fehler zu lokalisieren.
Inferenz-Overhead: Methoden wie Selbstkonsistenz erfordern mehrere Vorwärtsdurchläufe und Sampling, was rechenintensiv ist.
Statisch vs. Dynamisch: Aktuelle Sondierungstechniken analysieren oft statische faktische Aussagen statt der Dynamik einer sich entfaltenden Schlussfolgerungstrajektorie.

Die Arbeit geht davon aus, dass die Erkennung des genauen Moments, in dem das Schlussfolgern zusammenbricht (Lokalisierung des ersten Fehlers), in einem einzigen Vorwärtsdurchlauf eine Voraussetzung für einen vertrauenswürdigen Einsatz ist. Die Kernherausforderung besteht darin, zu identifizieren, wo eine Schlussfolgerungskette von einem kohärenten Pfad abweicht, ohne auf externe Verifizierer, Sampling oder Inferenzzeit-Labels zurückzugreifen.

2. Methodik: GeoReason

Die Autoren schlagen GeoReason vor, ein Framework, das die Sequenz versteckter Repräsentationen in einem einzigen Vorwärtsdurchlauf als Trajektorie im Repräsentationsraum behandelt. Halluzination wird nicht als semantischer Fehler, sondern als lokalisierte Exkursion im Transportkosten weg von einer stabilen Mannigfaltigkeit lokal kohärenter Übergänge konzeptualisiert.

Das System besteht aus zwei Komponenten: einem Label-konditionierten Lehrer und einem einsatzfähigen Schüler.

2.1. Der Lehrer (diagnostische obere Schranke)

Der Lehrer ist ein nicht-einsatzfähiges Modell, das zur Quantifizierung des Vorhandenseins eines geometrischen Signals in den versteckten Zuständen dient. Er arbeitet wie folgt:

Trace-Normalisierung: Für einen gelabelten Trace berechnet der Lehrer ein lokales Koordinatensystem, zentriert auf das „korrekte Präfix" (Schritte vor dem ersten Fehler). Er normalisiert die versteckten Zustände relativ zum Mittelwert und der Varianz dieser korrekten Schritte.
Kontrastive PCA (cPCA)-Linse: Der Lehrer lernt eine Projektionsmatrix $U$ $U$ mittels kontrastiver PCA. Diese Linse wird optimiert, um die Trennung zwischen der Verteilung korrekter Übergänge ( $P_0$ $P_{0}$ ) und Übergänge des ersten Fehlers ( $P_1$ $P_{1}$ )$ zu maximieren und gleichzeitig hochvarianzige Richtungen zu unterdrücken, die für korrekte Schlussfolgerungen inhärent sind.
- Das Ziel maximiert die Transporttrennung: $\Gamma(U) = \text{Tr}(U^\top M U)$ , wobei $M = (\mu_1 - \mu_0)(\mu_1 - \mu_0)^\top + C_1 - \alpha C_0$ .
Geometrische Merkmalsextraktion: Im projizierten Raum extrahiert der Lehrer einen Merkmalsblock für jeden Schritt, einschließlich:
- Position: Abstand von der korrekten Mannigfaltigkeit.
- Bewegung: Geschwindigkeit ( $\|\Delta z_t\|$ ) und Beschleunigung ( $\|\Delta^2 z_t\|$ ).
- Richtungsbeständigkeit: Kosinusähnlichkeit zwischen aufeinanderfolgenden Übergangsvektoren.
Bewertung: Ein leichtes MLP bildet diese geometrischen Merkmale auf eine stufenweise Halluzinationswahrscheinlichkeit ab.

2.2. Der Schüler (einsatzfähiger Detektor)

Der Schüler ist ein einsetzbares BiLSTM-Modell, das ohne Inferenzzeit-Labels, Sampling oder externe Verifizierer arbeiten soll.

Architektur: Es nimmt rohe versteckte Zustände als Eingabe und gibt stufenweise Wahrscheinlichkeiten aus.
Training durch Distillation: Der Schüler wird trainiert, das Instabilitätssignal des Lehrers unter Verwendung einer Mischung aus folgenden Komponenten nachzubilden:
1. Überwachter Verlust: Standard-Binärkreuzentropie auf Schrittlabele.
2. Wissensdistillation: Kullback-Leibler (KL)-Divergenz zwischen den Wahrscheinlichkeitsverteilungen des Schülers und des Lehrers (weiche Ziele).
3. Merkmalsdistillation: Ein Hilfskopf zwingt den Schüler, die geometrischen Merkmalsrepräsentationen des Lehrers zu matchen.
Inferenz: Der Schüler führt einen einzigen Vorwärtsdurchlauf aus. Der vorhergesagte erste Fehler ist der erste Schritt, bei dem die Wahrscheinlichkeit einen Schwellenwert $\theta$ überschreitet.

3. Theoretische Beiträge

Die Arbeit liefert drei wesentliche theoretische Garantien:

Optimalität der cPCA (Satz 3.1): Es wird bewiesen, dass kontrastive PCA die optimale Projektion zur Maximierung der Transporttrennung zwischen Zuständen des ersten Fehlers und korrekten Zuständen unter einem quadratischen 2-Wasserstein-Abstandsziel ist.
Lokalisierungsschranke (Satz 3.2): Es wird festgestellt, dass die Lokalisierung des ersten Fehlers im Single-Pass garantiert ist, wenn der erste Fehler einen positiven „Transportmargen" über den vorhergehenden korrekten Übergängen erzeugt. Der Fehler muss nicht für immer anomal bleiben; die Erkennung erfordert nur, dass der erste falsche Schritt eine detektierbare Exkursion erzeugt.
Distillationsbedingung (Proposition 3.3): Sie reduziert die Übereinstimmung zwischen Lehrer und Schüler auf eine Margen-Erhaltungsbedingung. Wenn der Schüler den Entscheidungsmargen des Lehrers unter Verteilungsverschiebungen bewahrt, wird der Index des ersten Fehlers identisch sein.

4. Experimentelle Ergebnisse

Die Methode wurde auf ProcessBench, PRM800K, HaluEval und TruthfulQA evaluiert.

4.1. In-Domain-Leistung

Stufenweise Erkennung: Beide Modelle übertrafen Entropie-basierte, Sondierungs-basierte und Attention-basierte Baselines. Der Lehrer erzielte die höchste AUROC auf drei von vier Datensätzen (z. B. 96,0 auf TruthfulQA). Der Schüler erzielte die beste Leistung auf PRM800K (99,8 AUROC).
Lokalisierung des ersten Fehlers: Der Lehrer und der Schüler übertrafen die Baselines signifikant bei der präzisen Bestimmung des genauen Schritts, an dem das Schlussfolgern zusammenbrach. Beispielsweise erreichte der Schüler eine Genauigkeit von 96,8 % auf TruthfulQA.

4.2. Generalisierung und Einsatzhindernisse

Modellübergreifende Übertragung: Der Lehrer zeigte eine stabile Leistung über verschiedene Modellfamilien hinweg (Qwen, Llama, Mistral), was bestätigt, dass ein geometrisches Signal in versteckten Räumen unabhängig vom spezifischen Modell existiert.
Zusammenbruch des Schülers: Der Schüler performte gut, wenn er auf demselben Modell getestet wurde, auf dem er trainiert wurde, brach jedoch bei der Evaluation auf verschiedenen Modellfamilien oder Datensätzen auf nahezu zufällige Leistung zusammen (AUROC ~33–58 %).
Analyse: Die Arbeit führt diese Lücke auf das Versagen des Schülers zurück, den Transportmargen unter Verteilungsverschiebungen zu bewahren. Während der Lehrer ein mechanisches Instabilitätssignal erfasst, das der Geometrie von Fehlern inhärent ist, lernt der Schüler ein repräsentatives Signal, das modellspezifische Kodierungsbesonderheiten absorbiert und bei Verschiebung der zugrundeliegenden Verteilung nicht generalisiert.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, die stufenweise Halluzinationserkennung als Problem der Trajektoriendynamik und nicht als statische semantische Verifizierung neu zu fassen.

Geometrische Rahmung: Sie führt eine neue Sichtweise ein, bei der Halluzinationen „lokalisierte Exkursionen" in den Transportkosten versteckter Zustände sind, die sich von der stabilen Mannigfaltigkeit kohärenten Schlussfolgerns unterscheiden.
Diagnostisch vs. Einsatzfähig: Durch die Trennung des Vorhandenseins eines Signals (Lehrer) von der Fähigkeit, es ohne Labels wiederzugewinnen (Schüler), identifizieren die Autoren das zentrale Hindernis für den Einsatz: die Bewahrung des kontrastiven Transportmargens unter Verteilungsverschiebungen.
Theoretische Strenge: Die Arbeit liefert die erste theoretische Begründung für den Einsatz kontrastiver PCA in diesem Kontext und etabliert Bedingungen, unter denen die Single-Pass-Lokalisierung mathematisch garantiert ist.

Die Autoren schließen, dass das geometrische Signal zur Erkennung des ersten Fehlers zwar robust und übertragbar ist (wie vom Lehrer gezeigt), aber aktuelle Distillationsmethoden für den bereichsübergreifenden Einsatz unzureichend sind, da sie den kritischen Margen nicht bewahren, der für zuverlässige Entscheidungsgrenzen erforderlich ist.