💬 NLP

D-Score: A Spectral Hidden-State Signal for Hallucination Detection in Large Language Models

Dieses Paper führt D-Score ein, eine Methode zur Halluzinationserkennung für Large Language Models, die die spektrale Geometrie der verborgenen Aktivierungen während eines einzelnen Vorwärtspasses analysiert, um Inkonsistenzen zwischen dem generierten Text und dem internen Wissen des Modells zu identifizieren, wodurch die Notwendigkeit externer Verifizierer oder mehrerer Generationen entfällt.

Ursprüngliche Autoren: Bianca Raimondi, Davide Evangelista, Maurizio Gabbrielli, Elena Loli Piccolomini

Veröffentlicht 2026-07-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Bianca Raimondi, Davide Evangelista, Maurizio Gabbrielli, Elena Loli Piccolomini

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie betreten eine Bibliothek, in der die Bücher von einem sehr talentierten, aber gelegentlich schelmischen Roboter geschrieben wurden. Dieser Roboter, bekannt als Large Language Model (LLM), kann Geschichten schreiben, Fragen beantworten und mit Ihnen chatten, als wäre er ein echter Mensch. Aber hier ist der Haken: Manchmal erfindet der Roboter Dinge dazu. Er könnte Ihnen erzählen, dass der Mond aus grünem Käse besteht oder dass ein berühmtes historisches Ereignis an einem falschen Tag stattfand. Das liegt nicht daran, dass der Roboter absichtlich lügt; er ist einfach nur überzeugt von seinen eigenen erfundenen Fakten. Wir nennen dies „Halluzination“.

Lange Zeit war der einzige Weg, diese Lügen zu entlarven, die Antwort des Roboters an einen zweiten Roboter oder einen menschlichen Bibliothekar zu senden, um sie gegen eine Datenbank mit echten Fakten zu prüfen. Es war, als würde man einen Schüler bitten, einen Aufsatz zu schreiben, und dann einen anderen Lehrer einstellen, um ihn zu bewerten. Aber was wäre, wenn das Gehirn des Schülers selbst uns einen Hinweis geben könnte? Was wäre, wenn sich in dem Moment, in dem der Roboter anfängt, etwas zu erfinden, sein interner „Denkprozess“ auf eine Weise veränderte, die wir sehen könnten, noch bevor er den Satz beendet hat? Dies ist die Frage, die Wissenschaftler stellen: Können wir in den Geist des Roboters blicken, um eine Lüge zu entdecken, während sie geschieht, ohne eine zweite Meinung zu benötigen?

Genau das wollten die Forscher in dieser Arbeit erreichen. Sie führten ein cleveres neues Werkzeug namens D-Score ein. Stellen Sie sich den Geist des Roboters als eine riesige, mehrdimensionale Tanzfläche vor. Jedes Mal, wenn der Roboter ein Wort verarbeitet, sendet er ein Signal über diese Tanzfläche. Wenn der Robot über etwas spricht, das er gut kennt und bei dem er sich sicher ist, bewegen sich die Tänzer (die Signale) in einer sehr organisierten, synchronisierten Linie. Sie marschieren alle in dieselbe Richtung, wie eine gut durchreпетиierte Parade. Dies erzeugt einen „kohärenten“ Pfad.

Wenn der Roboter jedoch versucht, über etwas zu sprechen, das er nicht weiß oder was er sich ausdenkt, wird die Tanzfläche chaotisch. Der Roboter versucht, etwas zu sagen (den erfundenen Fakt), aber sein internes Gedächtnis flüstert: „Warte, das klingt nicht richtig“ oder „Ich bin mir bei dem hier nicht sicher“. Dieser Konflikt führt dazu, dass die Tänzer auseinanderstreuen. Anstatt in einer engen Linie zu marschieren, verteilen sie sich in viele verschiedene Richtungen gleichzeitig. Einige Tänzer sind verwirrt, andere versuchen, den Fehler zu korrigieren, und andere sind einfach nur unsicher.

Der D-Score ist ein einfacher mathematischer Trick, der zählt, in wie viele verschiedene Richtungen sich diese Tänzer bewegen. Wenn die Tänzer alle in einer geraden Linie marschieren, ist der Score niedrig. Aber wenn sie sich zu einer chaotischen Menge verteilen, steigt der Score. Die Forscher fanden heraus, dass ein hoher D-Score ein starkes Signal dafür ist, dass der Roboter halluziniert.

Das Team testete diese Idee auf drei verschiedenen Roboter-Gehirnen (genannt Llama-2, Llama-3 und Vicuna) mit zwei verschiedenen Sätzen schwieriger Fragen. Sie fanden heraus, dass der D-Score viel besser darin war, Lügen aufzuspüren, als andere Methoden, die nur darauf basierten, wie „überrascht“ der Roboter war oder wie oft er die Antwort wiederholte. In der Tat war der D-Score in einigen Tests fast 10 Prozentpunkte besser darin, Halluzinationen zu entlarven als die bisher beste Methode.

Was das Ganze so aufregend macht, ist die Einfachheit. Der D-Score muss keine Datenbank prüfen, er muss den Roboter nicht fünfmal dieselbe Frage beantworten lassen und er braucht keinen zweiten Roboter zur Hilfe. Er muss nur die internen Signale des Roboters während eines einzigen Gesprächs beobachten. Die Forscher deuten darauf hin, dass dies funktioniert, weil die interne „Unsicherheit“ oder der „Konflikt“ des Roboters einen sichtbaren Fingerabdruck in seinem Denkprozess hinterlässt.

Natürlich betont die Arbeit vorsichtig, dass dies kein Zauberstab ist, der jede einzelne Lüge einfängt. Wenn der Roboter einen Fakt erfindet, über den er intern überhaupt keine Erinnerung hat, wird die Tanzfläche vielleicht nicht chaotisch werden und der D-Score könnte niedrig bleiben. Aber für die Lügen, die der Roboter intern tatsächlich wahrnimmt, ist dieses „spektrale“ Signal ein kraftvoller Weg, sie auf frischer Tat zu ertappen, indem man einfach dem internen Rhythmus des Roboters lauscht.

Technisches Resümee: D-Score zur Halluzinationserkennung

Problemstellung

Große Sprachmodelle (LLMs) generieren häufig flüssige Texte, die Aussagen enthalten, die falsch, nicht durch Evidenz gestützt oder inkonsistent mit dem internen Wissen des Modells sind – ein Phänomen, das als Halluzination bekannt ist. Aktuelle Erkennungsmethoden verlassen sich oft auf externe Ressourcen (abrufbasierte Systeme) oder mehrere Generierungspassagen (konsistenzbasierte Methoden), was die Inferenzkosten und die Komplexität erhöht. Es besteht ein Bedarf an Erkennungsmechanismen, die direkt auf den internen Zuständen eines Modells während eines einzigen Vorwärtspasses operieren, ohne externe Verifizierer oder wiederholtes Sampling zu erfordern.

Methodik: Der D-Score

Die Arbeit führt den D-Score ein, eine spektrale Statistik, die aus der Geometrie der verborgenen Aktivierungen innerhalb eines Transformer-Modells abgeleitet wird. Die Kernintuition ist, dass ein gut gestützter Text eine kohärente verborgene Trajektorie induziert, die sich entlang weniger dominanter Richtungen konzentriert. Wenn ein Modell hingegen einen Text verarbeitet, der eine ungestützte Behauptung enthält, die im Konflikt mit seinem internen Wissen steht, kann die verborgene Repräsentation sowohl den behaupteten Inhalt als sie auch Spuren von Gegenbeweisen, Unsicherheit oder mangelnder Unterstützung kodieren. Dieser Konflikt führt dazu, dass die verborgene Trajektorie über zusätzliche singuläre Richtungen streut, was die „effektive“ Dimensionalität der Aktivierungsmatrix erhöht.

Mathematische Formulierung

Gegeben sei ein festes Modell $m$ , eine spezifische Schicht $j$ und ein Eingabetext $\mathbf{x} = (x_1, \dots, x_T)$ . Die Methode konstruiert eine verborgene Aktivierungsmatrix $H^{(j)}(\mathbf{x}; m) \in \mathbb{R}^{d \times T}$ , wobei die Spalten die verborgenen Zustände der Token in Schicht $j$ repräsentieren.

Seien $\sigma_1 \ge \sigma_2 \ge \dots \ge \sigma_r > 0$ die nicht-null singulären Werte von $H^{(j)}(\mathbf{x}; m)$ . Der D-Score ist definiert als der relative numerische Rang dieser Matrix:
$D^{(j)}_{\tau}(\mathbf{x}; m) = \max \{ n \le r : \frac{\sigma_1(H)}{\sigma_n(H)} \le \tau \}$
wobei $\tau > 1$ ein Toleranzparameter ist. Der Score zählt, wie viele singuläre Richtungen im Verhältnis zum führenden singulären Wert $\sigma_1$ signifikant bleiben.

Erkennungsregel

Der Detektor klassifiziert eine Eingabe als halluziniert, wenn der D-Score einen kalibrierten Entscheidungswert $\bar{D}$ überschreitet:
$\hat{Y}(\mathbf{x}) = 1 \quad \text{falls} \quad D_{\tau}(\mathbf{x}) > \bar{D}$
Dieser Ansatz erfordert nur einen einzigen Vorwärtspass und die Berechnung der führenden singulären Werte (bis zu dem Punkt, an dem sie unter den relativen Schwellenwert fallen), was effizient mittels iterativer Methoden wie der Potenzmethode auf der Gram-Matrix $H^\top H$ geschätzt werden kann, wodurch der Rechenaufwand einer vollständigen SVD für hochdimensionale Modelle vermieden wird.

Theoretische Rechtfertigung

Die Arbeit definiert modellinterne Halluzination als eine ungestützte Behauptung, der das Modell eine geringe interne Wahrheitsüberzeugung zuweist. Sie postuliert, dass solche Behauptungen „Konflikträ richtungen“ im verborgenen Zustandsraum einführen. Eine theoretische Proposition zeigt, dass, falls ungestützte Inhalte $q$ ausreichend starke Richtungen orthogonal zur kohärenten Repräsentation einführen, der D-Score um mindestens $q$ steigt. Somit dient ein hoher D-Score als Proxy für das Vorhandensein dieser Konflikträ richtungen.

Zentrale Beiträge

Einführung des D-Scores: Eine einfache spektrale Statistik, die den relativen numerischen Rang der verborgenen Aktivierungsmatrix darstellt und darauf ausgelegt ist, die Streuung der verborgenen Zustands-Trajektorie zu messen.
Operationale Definition: Eine formale Definition von modellinterner Halluzination basierend auf ungestützten Behauptungen mit geringer interner Wahrheitsüberzeugung, wodurch diese von Fehlern unterschieden werden, die das Modell nicht intern erkennen kann.
Geometrisches Argument: Eine theoretische Rechtfertigung, die zeigt, dass halluzinierte Texte den D-Score erhöhen können, indem sie die verborgene Trajektorie über zusätzliche Konflikträ richtungen streuen (Unsicherheit, Gegenbeweise).
Empirische Evaluierung: Eine umfassende Evaluierung, die zeigt, dass der D-Score ein starkes Signal für die Halluzinationserkennung über mehrere Modelle und Datensätze hinweg ist.

Experimentelle Ergebnisse

Der D-Score wurde auf zwei Benchmarks evaluiert: FAVA-Annotation (faktische Fehler in Open-Domain-Generierung) und RAGTruth (Halluzinationen in der Retrieval-Augmented Generation). Die Experimente wurden an drei Open-Weight-Modellen durchgeführt: Llama-2-7B, Llama-3-8B und Vicuna-7B.

Leistung: Der D-Score übertraf konsistent State-of-the-Art-Baselines, einschließlich des Hidden Score (einer vorangegangenen spektralen Methode), Perplexitäts-basierten Scores und Entropie-basierten Metriken.
- Auf FAVA-Annotation erreichte der D-Score den höchsten AUROC über alle Modelle hinweg (z. B. 66,98 % für Llama-3-8B gegenüber 57,10 % für den Hidden Score).
- Auf RAGTruth behielt der D-Score eine robuste Leistung bei (z. B. 61,53 % AUROC für Llama-3-8B), während die Leistung des Hidden Score bei Vicuna-7B signifikant abfiel (nahe dem Zufallswert), während der D-Score effektiv blieb (60,20 %).
Korrelation mit der Modellkapazität: Der Leistungsunterschied zwischen dem D-Score und den Baselines war in leistungsfähigeren Modellen (z. B. Llama-3-8B) ausgeprägter, was darauf hindeutet, dass die Methode effektiv Halluzinationen erfasst, die das Modell intern als nicht faktisch erkennt.
Teilmengen-Analyse: Wenn der Score auf einer Teilmenge von Daten evaluiert wurde, bei denen die explizite Selbsteinschätzung des Modells mit menschlichen Annotationen übereinstimmte (Filterung von Fällen, in denen das Modell seine eigenen Fehler nicht erkennen konnte), erreichte der D-Score noch höhere AUROC-Werte (bis zu 72,51 % bei Llama-3-8B), was bestätigt, dass die Methode auf der internen Repräsentation des Fehlers beruht.

Bedeutung und Ansprüche

Die Arbeit behaupten, dass der D-Score ein starkes verborgenes Signal für die Halluzinationserkennung liefert, das unter strengen Effizienzbedingungen operiert:

Effizienz durch Single-Pass: Er erfordert nur einen einzigen Vorwärtspass durch das Modell.
Keine externen Abhängigkeiten: Er benötigt kein externes Retrieval, keine externen Verifizierer oder ein zweites Modell.
Keine multiplen Generierungen: Im Gegensatz zu konsistenzbasierten Methoden erfordert er nicht das mehrfache Sampling von Ausgaben.

Die Autoren positionieren den D-Score nicht als universelle Charakterisierung der Wahrheit, sondern als kalibrierten Risikoscore. Er ist besonders effektiv bei der Erkennung von „modellinternen Halluzinationen“ – Fehlern, bei denen das Modell über die notwendigen Informationen verfügt, um die Inkonsistenz zu erkennen, es aber versäumt, diese im finalen Output zu unterdrücken. Die Methode hebt hervor, dass die Topologie der verborgenen Zustands-Trajektorie (speziell die Streuung der singulären Werte) diagnostische Informationen über das Vertrauen des Modells und das Vorhandensein widersprüchlicher interner Signale enthält.

Limitationen

Die Autoren räumen mehrere Limitationen ein:

White-Box-Anforderung: Die Methode erfordert Zugriff auf verborgene Aktivierungen, was sie für geschlossene Modelle unanwendbar macht, sofern kein solcher Zugriff gewährt wird.
Interne Sichtbarkeit: Sie kann nur Halluzinationen erkennen, die eine Spur in den internen Zuständen des Modells hinterlassen; wenn dem Modell das interne Wissen fehlt, um einen Fehler zu erkennen, wird der D-Score diesen möglicherweise nicht melden.
Komplexitäts-Konfusion: Hohe D-Scores können auch durch lange, diverse oder semantisch komplexe, aber nicht halluzinierte Texte entstehen, was eine sorgfältige Kalibrierung erforderlich macht.
Parameter-Sensitivität: Obwohl robust, hängt die Methode von der Wahl der Schicht, des Toleranzparameters $\tau$ und des Entscheidungsschwellenwerts $\bar{D}$ ab.