💬 NLP

Detecting Hallucinations in Large Language Models via Internal Attention Divergence Signals

Dieser Artikel schlägt eine leichte, einstufige Methode zur Erkennung von Halluzinationen in großen Sprachmodellen vor, die die Kullback-Leibler-Divergenz in Aufmerksamkeitsmatrizen als vorhersagendes, interpretierbares Unsicherheitssignal nutzt und dabei mit bestehenden Methoden konkurrieren kann, ohne wiederholtes Sampling oder externe Modelle zu erfordern.

Ursprüngliche Autoren: Gijs van Dijk

Veröffentlicht 2026-05-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Gijs van Dijk

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der „zuversichtliche Lügner"

Stellen Sie sich vor, Sie fragen einen sehr klugen, gut informierten Freund um Rat. Manchmal gibt er Ihnen die perfekte Antwort. Manchmal erfindet er jedoch selbstbewusst eine Geschichte, die großartig klingt, aber völlig falsch ist. Das nennen wir in der KI eine Halluzination.

Das Tückische ist, dass die KI nicht weiß, dass sie lügt. Sie klingt genauso selbstbewusst, wenn sie falsch liegt, wie wenn sie recht hat. Normalerweise müsste man, um eine Lüge aufzudecken, die KI dieselbe Frage zehnmal stellen und prüfen, ob sie unterschiedliche Antworten gibt (wie wenn man einen Zeugen bittet, eine Geschichte mehrfach zu erzählen). Das kostet jedoch viel Zeit und Rechenleistung.

Die Lösung: Dem „inneren Monolog" lauschen

Dieses Papier schlägt eine neue, superschnelle Methode vor, um diese Lügen aufzudecken. Anstatt darauf zu warten, dass die KI ihre Antwort fertigstellt und diese dann zu prüfen, betrachten die Autoren die internen „Gehirnwellen" der KI, während sie denkt.

In KI-Modellen gibt es einen Mechanismus namens Attention (Aufmerksamkeit). Man kann sich Attention wie einen Scheinwerfer vorstellen. Wenn die KI eine Frage beantwortet, richtet dieser Scheinwerfer sein Licht auf verschiedene Wörter in ihrem Gedächtnis, um zu entscheiden, welche für das nächste zu schreibende Wort wichtig sind.

Wenn die KI die Antwort kennt: Der Scheinwerfer ist fokussiert und stabil. Er leuchtet hell auf die spezifischen Fakten, die benötigt werden (wie den Namen einer Person oder ein Datum).
Wenn die KI ratet oder lügt: Der Scheinwerfer wird wackelig, zerstreut oder wandert ziellos. Die KI weiß nicht, wohin sie schauen soll, und verteilt ihre Aufmerksamkeit daher überallhin.

Der „Scheinwerfer-Test" (Die Methode)

Die Autoren haben einen einfachen mathematischen Test entwickelt, um zu messen, wie „wackelig" dieser Scheinwerfer ist.

Die uniforme Basislinie: Stellen Sie sich einen Raum mit 100 Personen vor. Wenn Sie sich völlig unsicher sind, mit wem Sie sprechen sollen, schauen Sie vielleicht alle gleichermaßen an. Dies ist eine „uniforme" Verteilung (1/100 Ihrer Aufmerksamkeit auf jede Person). Dies repräsentiert maximale Unsicherheit.
Die Messung: Die Autoren messen den Unterschied zwischen dem tatsächlichen Scheinwerfer der KI und dieser „zerstreuten" Basislinie. Sie nennen dies KL-Divergenz.
- Hohe Divergenz: Der Scheinwerfer ist sehr fokussiert (leuchtet hart auf ein paar spezifische Wörter). Dies bedeutet normalerweise, dass die KI selbstbewusst ist und wahrscheinlich richtig liegt.
- Niedrige Divergenz: Der Scheinwerfer ist zerstreut (schaut alle gleichermaßen an). Dies bedeutet, dass die KI verwirrt ist oder rät.

Warte, sagt das Papier nicht das Gegenteil?
Tatsächlich fand das Papier eine Nuance: Wenn die KI halluziniert, versucht sie oft, eine selbstbewusste Antwort zu einem Thema zu erzwingen, das sie nicht kennt. In diesen Fällen werden die Aufmerksamkeitsmuster seltsam auf die falschen Dinge konzentriert, oder die Mathematik zeigt ein spezifisches „Divergenz"-Signal, das den Fehler meldet. Im Wesentlichen erkennt die Mathematik, dass der interne „Fokus" der KI nicht mit dem Muster einer wahrheitsgemäßen, fundierten Antwort übereinstimmt.

Der „leichte Detektiv"

Die Autoren haben nicht nur auf den Scheinwerfer geschaut; sie bauten einen winzigen, einfachen Detektor (eine „logistische Regressions-Sonde"), um diese Signale zu lesen.

Kein erneutes Fragen: Diese Methode benötigt nur, dass die KI einmal antwortet.
Keine zusätzlichen Modelle: Es wird keine zweite KI benötigt, um die erste zu überprüfen.
Schnell: Es geschieht in einem einzigen Durchlauf, wie wenn man einen Satz einmal liest und sofort weiß, ob er sich „falsch" anfühlt.

Was sie fanden

Die Forscher testeten dies bei verschiedenen Arten von Fragen (Fakten, Mathematik, Schlussfolgerungen) und verschiedenen KI-Modellen. Hier ist, was sie entdeckten:

Das „mittlere Gehirn" ist der Schlüssel: Die Signale, die uns sagen, ob eine Antwort wahr oder falsch ist, finden sich hauptsächlich in den mittleren Schichten des KI-Gehirns. Die Anfangs- und Endschichten sind für diese spezifische Aufgabe weniger hilfreich.
Fakten sind der Auslöser: Das Signal des „wackeligen Scheinwerfers" ist am stärksten, wenn die KI über Fakten spricht – insbesondere Namen, Daten und Zahlen. Wenn die KI nur über „der" oder „und" redet (Stoppwörter), ist das Signal leise. Aber wenn sie versucht, eine Person oder ein Jahr zu nennen, schreit das Signal, wenn sie unsicher ist.
Es ist eine Teamleistung: Das Signal kommt nicht von einem einzelnen „Lügendetektor"-Neuron. Es ist ein Chor vieler verschiedener Teile der KI, die zusammenarbeiten. Wenn man einen Teil entfernt, funktioniert das System noch, aber wenn man den gesamten mittleren Abschnitt entfernt, wird der Detektiv blind.

Das Fazit

Dieses Papier zeigt, dass wir KI-Halluzinationen aufdecken können, indem wir ihrem internen „Scheinwerfer" lauschen, anstatt nur ihre finalen Worte zu beurteilen. Es ist wie zu prüfen, ob ein Schüler tatsächlich über die Antwort nachdenkt oder nur rät, indem man betrachtet, wohin seine Augen springen, anstatt darauf zu warten, ob er die richtige Note bekommt.

Diese Methode ist schnell, günstig und funktioniert bei vielen verschiedenen Arten von Fragen. Sie bietet ein „White-Box"-Fenster in das Selbstbewusstsein der KI, ohne dass man sie mehrfach ausführen muss.

Technische Zusammenfassung: Erkennung von Halluzinationen in Large Language Models mittels interner Signale zur Aufmerksamkeitsdivergenz

1. Problemstellung

Large Language Models (LLMs) generieren häufig fließenden, aber faktisch inkorrekten Inhalt, ein Phänomen, das als Halluzination bekannt ist. Dies stellt in hochriskanten Bereichen wie Gesundheitswesen und Recht erhebliche Risiken dar. Eine Hauptschwierigkeit bei der Bewältigung dieses Problems besteht darin, dass autoregressive LLMs darauf trainiert sind, fließende Fortsetzungen zu generieren, und nicht auf kalibrierte Konfidenzschätzungen. Folglich versagen Standard-Signale zur Unsicherheit basierend auf der Ausgabe (z. B. Perplexität, Log-Likelihood oder Token-Wahrscheinlichkeiten) oft darin, zwischen selbstbewussten Fehlern und zuverlässigem Wissen zu unterscheiden, da halluzinierte Aussagen unter der Modellverteilung hohe Likelihoods erhalten können.

Bestehende Methoden zur Quantifizierung von Unsicherheit stützen sich häufig auf wiederholtes Sampling (z. B. semantische Entropie) oder externe Verifizierungsmodelle, was einen erheblichen rechnerischen Overhead mit sich bringt. Darüber hinaus kämpfen Ansätze, die auf der Untersuchung versteckter Zustände basieren, oft damit, sich über Aufgaben hinweg zu verallgemeinern, und erfassen stattdessen aufgabenspezifische Korrelationen anstelle globaler Konfidenzsignale. Es besteht ein Bedarf an einer leichten Methode im Single-Pass-Verfahren, die Unsicherheitssignale direkt aus den internen Mechanismen des Modells extrahiert, ohne externe Modelle oder mehrere Generierungen zu erfordern.

2. Methodik

Die vorgeschlagene Methode führt eine Unsicherheitsquantifizierung im Single-Pass-Verfahren ein, die auf Aufmerksamkeitsdivergenz basiert. Die Kernhypothese besagt, dass Halluzinationen aus Fehlern in der internen Berechnung resultieren, die sich speziell durch fehlallokierte oder diffuse Aufmerksamkeitsmuster charakterisieren, wenn das Modell über kein zuverlässiges Wissen verfügt.

2.1 Signal der Aufmerksamkeitsdivergenz

Die Methode nutzt die Kullback-Leibler-Divergenz (KL-Divergenz), um die Abweichung der Verteilung eines Aufmerksamkeitskopfes von einer gleichmäßigen Referenzverteilung zu messen.

Referenzverteilung ( $U$ ): Eine gleichmäßige Verteilung über die Kontext-Token, die einen Zustand maximaler Unsicherheit darstellt, in dem das Modell alle Positionen gleich stark beachtet.
Aufmerksamkeitsverteilung ( $P$ ): Die diskrete Wahrscheinlichkeitsverteilung über Token-Positionen, die von einem spezifischen Aufmerksamkeitskopf zu einem gegebenen Generierungsschritt erzeugt wird.
Metrik: Die KL-Divergenz wird berechnet als $D_{KL}(P \parallel U) = \log T - H(P)$ , wobei $T$ die Anzahl der Token im Kontextfenster ist und $H(P)$ die Entropie der Aufmerksamkeitsverteilung.

Intuitiv führt eine hohe Konzentration der Aufmerksamkeit (niedrige Entropie) auf informative Token zu einer hohen KL-Divergenz, was auf Konfidenz hindeutet. Umgekehrt führt diffuse Aufmerksamkeit (hohe Entropie) zu einer niedrigen Divergenz, was auf Unsicherheit hindeutet. Die Autoren gehen davon aus, dass sich Halluzinationen als falsch kalibrierte Konfidenz (hohe Divergenz bei irreführenden Token) manifestieren können oder, im Kontext der Aggregation des Probes, dass das aggregierte Signal von Divergenzmustern mit der Korrektheit korreliert.

2.2 Merkmalsextraktion und Probing

Merkmalskonstruktion: Für jede generierte Antwort wird die mittlere KL-Divergenz für jeden Aufmerksamkeitskopf über alle Generierungsschritte hinweg berechnet. Diese Werte bilden einen Merkmalsvektor $x_i \in \mathbb{R}^{L \times H}$ , wobei $L$ die Anzahl der Schichten und $H$ die Anzahl der Köpfe ist.
Training des Probes: Ein leichter logistischer Regressionsprobe mit Lasso-(L1-)Regularisierung wird trainiert, um die Korrektheit der Antwort vorherzusagen ( $y=1$ für korrekt, $y=0$ für inkorrekt) basierend auf diesen Divergenzmerkmalen. Die L1-Regularisierung dient dazu, eine spärliche Teilmenge der am besten vorhersagenden Aufmerksamkeitsköpfe auszuwählen und liefert Interpretierbarkeit darüber, welche Teile des Modells das Signal kodieren.
Evaluation: Die Leistung wird mittels AUROC (Area Under the Receiver Operating Characteristic curve), Expected Calibration Error (ECE) und Genauigkeit gemessen.

3. Hauptbeiträge

Unsicherheitsschätzung im Single-Pass-Verfahren: Die Methode arbeitet in einem einzigen Vorwärtsdurchlauf und extrahiert Unsicherheitssignale direkt aus den Aufmerksamkeitsmatrizen, ohne wiederholtes Sampling oder externe Modelle zu erfordern.
Interpretierbarkeit: Durch die Analyse der KL-Divergenz von Aufmerksamkeitsverteilungen liefert die Methode ein „White-Box"-Signal. Die Autoren zeigen, dass das Signal nicht zufällig ist, sondern in spezifischen architektonischen Komponenten konzentriert ist.
Verallgemeinerbarkeit: Der Ansatz wurde über mehrere Modellfamilien (Llama-3.2, Qwen3, Mistral) und diverse Aufgabentypen (faktische QA, Multi-Hop-Reasoning, mathematisches Reasoning) hinweg validiert.

4. Experimentelle Ergebnisse

4.1 Leistung über Datensätze hinweg

Die Methode wurde auf vier Datensätzen evaluiert: TruthfulQA (Multiple-Choice-faktische QA), TriviaQA (faktische QA im offenen Bereich), HotpotQA (Multi-Hop-Reasoning) und GSM8K (mathematisches Reasoning).

Faktische QA: Die Methode erzielte auf TruthfulQA eine starke Leistung (AUROC > 0,89 für alle Modelle) und auf TriviaQA (AUROC > 0,83).
Reasoning-Aufgaben: Die Leistung auf HotpotQA lag zwischen 0,77 und 0,80 AUROC. Auf GSM8K variierten die Ergebnisse je nach Modell, wobei Qwen3-4B eine AUROC von 0,945 erreichte, während Llama und Mistral moderate, aber signifikante Ergebnisse oberhalb des Zufalls zeigten.
Vergleich mit Baselines: Auf HotpotQA übertraf die Methode (AUROC 0,78) sampling-basierte Methoden (z. B. Semantische Entropie, SelfCheckGPT) und andere Single-Pass-Baselines (z. B. Perplexität, TOHA). Sie zeigte auch eine wettbewerbsfähige oder überlegene Leistung im Vergleich zu Methoden des Probing versteckter Zustände auf TruthfulQA und TriviaQA.

4.2 Ablation und Analyse

Lokalisierung von Schichten und Köpfen: Das Signal ist nicht gleichmäßig verteilt. Ablationsstudien zeigten, dass das Entfernen mittlerer Schichten den signifikantesten Leistungsabfall verursachte, was darauf hindeutet, dass das Signal dort konzentriert ist. Darüber hinaus ist das Signal über mehrere korrelierte Köpfe verteilt, anstatt auf einen einzelnen „Halluzinationskopf" lokalisiert zu sein.
Tokenspezifität: Das Divergenzsignal ist auf faktischen Token (Namensentitäten und Zahlen) am ausgeprägtesten. Stoppwörter und Satzzeichen zeigten eine niedrige Divergenz. Die Analyse des extremen Schwanzes (99. Perzentil) zeigte, dass etwa 73 % der hochdivergenten Wörter Namensentitäten waren.
Prompt-Einfluss: Ein Teil des Unsicherheitssignals ist bereits vor Beginn der Generierung vorhanden (berechnet ausschließlich über Prompt-Token), was darauf hindeutet, dass ein Teil der Unsicherheit aleatorisch ist (bezogen auf die Mehrdeutigkeit des Prompts) und nicht ausschließlich epistemisch (Wissenslücken des Modells).
Verständigkeitsprüfungen: Das Permutieren von Korrektheitslabels und das Testen gegen einfache Ausgabeeigenschaften (Länge, Satzzeichen) bestätigten, dass das Signal kein Artefakt von Datenlecks oder oberflächlichen Ausgabeeigenschaften ist.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass interne Aufmerksamkeitsdynamiken ein effizientes und interpretierbares Signal zur Erkennung von Modellunsicherheit und Halluzinationen liefern. Die primäre Bedeutung liegt in der Demonstration, dass:

Halluzinationen über interne Zustände erkennbar sind: Das Versagen, zuverlässiges Wissen abzurufen, manifestiert sich als spezifische Muster in der Aufmerksamkeitsdivergenz, die sich von den fließenden, aber inkorrekten Ausgaben unterscheiden, die vom Modell erzeugt werden.
Effizienz: Die Methode bietet eine rechnerisch günstige Alternative zur sampling-basierten Unsicherheitsschätzung und macht sie für Echtzeitanwendungen geeignet, bei denen Latenz kritisch ist.
Architektonische Einsicht: Die Ergebnisse deuten darauf hin, dass Unsicherheit in den mittleren Schichten und auf faktischen Ankerpunkten kodiert ist, was die Ansicht stützt, dass Halluzinationen strukturelle Fehler in der internen Berechnung und nicht bloße Dekodierungsfehler sind.

6. Einschränkungen

Die Autoren weisen ausdrücklich auf mehrere Einschränkungen hin:

Korrelation vs. Kausalität: Die Studie stellt eine prädiktive Korrelation zwischen Aufmerksamkeitsdivergenz und Korrektheit her, beweist jedoch keine kausale Beziehung.
Probe-Abhängigkeit: Die Methode ist auf einen logistischen Regressionsprobe angewiesen, um Signale zu aggregieren. Die spezifische Teilmenge der ausgewählten Köpfe variiert über Datensätze und Modellfamilien hinweg, was darauf hindeutet, dass der Probe zu spezifisch sein könnte und dass eine universelle, probe-freie Regel für Unsicherheit noch nicht identifiziert wurde.
White-Box-Anforderung: Die Methode erfordert Zugriff auf interne Aufmerksamkeitsgewichte, was sie für Black-Box-Modelle, die nur generierten Text oder Ausgabewahrscheinlichkeiten bereitstellen, unanwendbar macht.
Interpretierbarkeit: Obwohl der Probe informative Köpfe identifiziert, bleibt das resultierende Modell als vollständige Erklärung dafür, wie Unsicherheit repräsentiert wird, schwer interpretierbar; es dient eher als Werkzeug zur Signalextraktion als als vollständige mechanistische Erklärung.