Harnessing Reasoning Trajectories for Hallucination Detection via Answer-agreement Representation Shaping

Technischer Überblick: Nutzung von Denkverläufen zur Halluzinationserkennung durch Formung der Antwortübereinstimmungs-Repräsentation

Problemstellung
Große Denkmodelle (Large Reasoning Models, LRMs) erzeugen lange, kohärente Denkverläufe, bevor sie eine endgültige Antwort liefern. Obwohl diese Verläufe reichhaltige Signale bieten, erschweren sie häufig die Erkennung von Halluzinationen auf Antwortebene. Die direkte Untersuchung versteckter Zustände entlang des gesamten Verlaufs oder die Nutzung des Verlaufstextes zur Erkennung ist fehleranfällig; Detektoren neigen dazu, sich an oberflächliche stilistische Muster im Denkprozess anzupassen, anstatt die Validität der endgültigen Antwort zu erfassen. Darüber hinaus verlassen sich bestehende Methoden oft auf kostspieliges Sampling zur Laufzeit (z. B. das Generieren mehrerer Antworten zur Messung der Konsistenz) oder erfordern menschliche Annotationen zum Training von Klassifikatoren. Die Kernherausforderung besteht darin, ein stabiles, antwortzentriertes Signal aus dem Denkverlauf zu extrahieren, das gegenüber Variationen der Oberflächenform robust ist und das Halluzinationsrisiko anzeigt, ohne hohe Inferenzkosten zu verursachen.

Methodik: Formung der Antwortübereinstimmungs-Repräsentation (Answer-agreement Representation Shaping, ARS)
Die Autoren schlagen ARS vor, ein Framework, das detektionsfreundliche, verlaufskonditionierte Antwortrepräsentationen lernt, indem es Antwortstabilität durch latente Interventionen explizit kodiert. Die Methode arbeitet in zwei Hauptphasen:

1. Latente Intervention für kontrafaktische Antworten:
   Anstatt den Text des Denkverlaufs zu perturbieren (was die Kohärenz stören oder spurartige Hinweise einführen könnte), greift ARS direkt im latenten Zustand des Modells ein. Konkret zielt es auf die verlaufsgebundene Einbettung ($h$) ab, definiert als der versteckte Zustand des letzten Tokens des Denkverlaufs an der vorletzten Schicht des LRM.

   • Kleine Perturbationsvektoren ($\delta$) werden aus einer Verteilung (z. B. isotropes Gauß) gesampelt und zu $h$ addiert, um einen modifizierten Zustand $\tilde{h} = h + \delta$ zu erzeugen.
   • Das Modell setzt das Decodieren ab $\tilde{h}$ fort, um eine kontrafaktische Antwort ($\tilde{a}$) zu generieren.
   • Dieser Prozess wird $M$-mal wiederholt, um eine Menge kontrafaktischer Antworten zu erzeugen.

2. Formung der Antwortübereinstimmungs-Repräsentation:
   Das Framework konstruiert Trainingspaare basierend auf der Übereinstimmung zwischen der ursprünglichen Antwort ($a$) und den kontrafaktischen Antworten ($\tilde{a}$).

   • Positive Paare: Kontrafaktische Antworten, die mit der ursprünglichen Antwort übereinstimmen ($Agr(a, \tilde{a}) = 1$).
   • Negative Paare: Kontrafaktische Antworten, die nicht mit der ursprünglichen Antwort übereinstimmen ($Agr(a, \tilde{a}) = 0$).
   • Eine leichte Abbildungsfunktion $g_\phi$ wird trainiert, um die Standard-Antwort-Einbettungen ($u$) in geformte Einbettungen ($z$) zu transformieren. Das Ziel ist ein kontrastiver Verlust, der übereinstimmende Einbettungen näher an den Anker zieht und nicht übereinstimmende Einbettungen voneinander entfernt.
   • Entscheidend bleibt die Parameterbasis des LRM ($\theta$) eingefroren; nur der leichte Kopf $g_\phi$ wird trainiert. Dieser Prozess erfordert keine Ground-Truth-Halluzinationslabels und verlässt sich ausschließlich auf die interne Konsistenz der eigenen Generierungen des Modells.

Hauptbeiträge

• Erstes Framework zur Verlaufsformung: ARS wird als erstes Framework vorgestellt, das Denkverläufe prinzipiell nutzt, um Antwortrepräsentationen für die Halluzinationserkennung in LRMs zu formen, indem es latente Perturbationen an der Verlaufsrandstelle nutzt, um kontrafaktische Antworten zu induzieren.
• Übereinstimmungsgetriebenes Ziel: Die Arbeit führt ein Ziel ein, das Antwort-Einbettungen danach organisiert, ob kleine interne Änderungen die Antwort bewahren, und vermeidet dabei die Abhängigkeit von fehleranfälligen Textperturbationen oder menschlichen Annotationen.
• Theoretische und empirische Analyse: Die Autoren liefern eine theoretische Proposition (Proposition 4.2), die die Trennwahrscheinlichkeit der Übereinstimmung geformter Einbettungen mit der oberen Schranke des Halluzinationserkennungsfehlers verknüpft. Empirisch zeigen sie, dass Antwortstabilität (gemessen durch kontrafaktische Konsistenz) die Wahrhaftigkeit vorhersagt.

Ergebnisse
Experimente wurden auf vier Datensätzen (TruthfulQA, TriviaQA, GSM8K, MATH-500) unter Verwendung mehrerer LRM-Familien (Qwen3-8B/14B, DeepSeek-R1-Distill-Varianten) durchgeführt.

• Leistungssteigerungen: ARS übertrifft konsistent starke Baselines, einschließlich unsicherheitsbasierter Methoden (Perplexity, Semantische Entropie), konsistenzbasierter Methoden (Lexikalische Ähnlichkeit, SelfCKGPT) und LRM-spezifischer Detektoren (RHD, RACE, G-Detector).
  • Auf TruthfulQA mit Qwen3-8B erreichte ARS eine AUROC von 86,64 % (unter Verwendung von CCS als nachgelagerten Detektor), eine erhebliche Verbesserung gegenüber der Standard-LRM-Einbettungs-Baseline (66,85 %) und anderen State-of-the-Art-Methoden (z. B. TSV bei 77,08 %).
  • Ähnliche Gewinne wurden über alle Datensätze und Modellgrößen hinweg beobachtet, mit Verbesserungen von 10 % bis 20 % gegenüber Standard-Einbettungen.
• Generalisierbarkeit: Die geformten Repräsentationen übertragen sich effektiv über Datensätze hinweg (z. B. Training auf GSM8K und Testen auf TriviaQA) und skalieren auf größere Modelle (14 Milliarden Parameter).
• Effizienz: Im Gegensatz zu samplingbasierten Baselines, die mehrere Vorwärtsdurchläufe zur Inferenz erfordern, benötigt ARS nur eine einzige Generierung zur Laufzeit. Der Trainingsaufwand ist minimal (z. B. ~649 Sekunden für den TruthfulQA-Trainingsdatensatz).

Bedeutung und Behauptungen
Die Arbeit behauptet, dass ARS einen kritischen Zuverlässigkeitsfehler in LRMs adressiert, bei dem fließende Denkverläufe faktische Fehler verschleiern können. Durch die Formung von Repräsentationen, die Antwortstabilität unter latenten Perturbationen widerspiegeln, legt ARS die „zerbrechlichen" internen Zustände offen, die mit Halluzinationen verbunden sind. Die Autoren betonen, dass ARS eine Detektionskomponente und keine Garantie für Wahrhaftigkeit ist und dazu bestimmt ist, mit anderen Sicherheitsvorkehrungen kombiniert zu werden. Die Arbeit liefert Einblicke in die Geometrie von Halluzinationen in Denkmodellen und legt nahe, dass halluzinierte Antworten häufig in Bereichen des latenten Raums mit niedrigen Stabilitätsmargen liegen, die durch Antwortübereinstimmungs-Formung ohne menschliche Aufsicht effektiv aufgedeckt werden können.