💬 NLP

HALT: Hallucination Assessment via Log-probs as Time series

Das Paper stellt HALT vor, einen leichtgewichtigen und effizienten Halluzinationsdetektor, der Token-Log-Wahrscheinlichkeiten als Zeitreihen analysiert, um eine überlegene Leistung und Geschwindigkeit im Vergleich zu bestehenden Methoden zu erreichen, sowie HUB, einen umfassenden Benchmark, der zehn vielfältige Fähigkeiten zur Evaluierung der Halluzinationserkennung über große Sprachmodelle hinweg vereinigt.

Ursprüngliche Autoren: Ahmad Shapiro, Karan Taneja, Ashok Goel

Veröffentlicht 2026-02-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ahmad Shapiro, Karan Taneja, Ashok Goel

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hören einem Geschichtenerzähler zu, der eine Erzählung vorträgt. Manchmal spricht er mit absoluter Zuversicht, seine Stimme ist fest und klar. Andere Male stottert er, zögert oder seine Stimme wankt kurz davor, ein Detail zu erfinden, das nicht wahr ist.

Lange Zeit haben Forscher, die versuchten, Large Language Models (LLMs) beim Lügen (oder „Halluzinieren“) zu ertappen, zwei Hauptansätze verfolgt:

Der „White-Box“-Ansatz: Den Geschichtenerzähler bitten, seine geheimen Notizen und Gehirnwellen zu zeigen. Das ist großartig, wenn man den Geschichtenerzähler selbst besitzt, aber unmöglich, wenn man nur eine öffentliche API (wie einen Chatbot) nutzt.
Der „Black-Box“-Ansatz: Den Geschichtenerzähler bitten, die Geschichte zu wiederholen, oder einen zweiten Geschichtenerzähler zur Faktencheckung heranzuziehen. Das ist langsam, teuer und manchmal lügt auch der zweite Geschichtenerzähler.

HALT (Hallucination Assessment via Log-probs as Time series) ist ein neuer, kluger Detektiv, der weder die geheimen Notizen noch einen zweiten Geschichtenerzähler benötigt. Er hört lediglich auf den Rhythmus der Zuversicht des Geschichtenerzählers.

Die Kernidee: Auf den „Herzschlag“ der Zuversicht hören

Wenn eine KI Text generiert, wählt sie nicht einfach nur ein Wort; sie berechnet, wie wahrscheinlich jedes mögliche nächste Wort ist. Diese Berechnungen werden als Log-Wahrscheinlichkeiten bezeichnet. Betrachten Sie diese als den internen „Zuversichtsmesser“ der KI für jedes einzelne Wort, das sie ausspricht.

Die Autoren dieser Arbeit erkannten, dass diese Zuversichtsmesser nicht einfach nur da sind, sondern sich wie eine Zeitreihe bewegen (wie ein Herzschlag oder ein Börsenchart).

Wenn eine KI die Wahrheit sagt, folgt ihr Zuversichtsmesser meist einem glatten, stetigen Rhythmus.
Wenn sie beginnt zu halluzinieren (etwas zu erfinden), wird dieser Rhythmus seltsam. Er kann plötzlich steigen, abrupt abfallen oder in einem spezifischen Muster schwanken, selbst wenn die KI sehr selbstbewusst klingt.

HALT ist ein winziges, leichtgewichtiges Computerprogramm (ein „GRU“-Modell), das darauf trainiert wurde, diesen Zuversichtsrhythmus zu beobachten. Es liest nicht die Wörter, die die KI sagt; es beobachtet nur den Graphen der Zuversicht der KI, während sie spricht.

Das Werkzeug des Detektivs: HALT

HALT ist wie ein spezialisiertes Stethoskop. Es betrachtet die 20 wahrscheinlichsten Wörter, die die KI in jedem Schritt in Betracht zieht. Es misst:

Wie wackelig die Entscheidung ist: Ist sich die KI zwischen zwei Wörtern uneinig? (Hohe Unsicherheit).
Wie abrupt die Änderung ist: Ist die KI plötzlich von 99 % Sicherheit auf 50 % abgesackt?
Das Muster über die Zeit: Sieht die Zuversichtskurve wie ein glatter Hügel oder wie eine gezackte Gebirgskette aus?

Indem es diesen „Zuversichtshertzschlag“ in sein Gehirn einspeist, lernt HALT, die spezifische „Arrhythmie“ zu erkennen, die auftritt, wenn eine KI anfängt zu lügen.

Das neue Stadion: HUB

Um zu testen, ob HALT tatsächlich funktioniert, bauten die Autoren einen massiven neuen Testplatz namens HUB (Hallucination detection Unified Benchmark).

Stellen Sie sich vor, frühere Tests waren wie das Spielen in einer kleinen, ruhigen Bibliothek (mit dem Fokus auf einfache Fakten oder Chat). HUB ist ein riesiges, chaotisches Stadion mit 10 verschiedenen Sportarten:

Reasoning-Sportarten (Logik-Sport): Mathematik, Programmierung, Logikrätsel und Algorithmen.
Allgemeine Sportarten: Chatten, Zusammenfassen von Nachrichten und Wissensfragen.

Die Autoren erkannten, dass „Halluzination“ nicht nur bedeutet, Fakten zu erfinden (wie zu behaupten, der Mond bestünde aus Käse). Es geht auch um logische Halluzinationen – also Fälle, in denen eine KI die Fakten zwar richtig wiedergibt, aber die mathematischen oder logischen Schritte dorthin vermasselt. HUB testet all dies.

Die Ergebnisse: Klein, aber oho

Das Paper vergleicht HALT mit anderen Detektoren:

Lettuce: Ein sehr großer, schwerfälliger Detektor (wie ein riesiger Panzer), der den eigentlichen Text liest.
White-Box-Methoden: Detektoren, die das interne Gehirn der KI sehen müssen (was bei den meisten kommerziellen KIs nicht möglich ist).

Die Überraschung: HALT ist 30 Mal kleiner als der schwere Panzer (Lettuce) und 60 Mal schneller. Dennoch gewinnt es häufiger!

Es besiegt den schweren Panzer in 7 von 10 Sportarten.
Es arbeitet genauso gut wie der riesige Panzer, benötigt aber weder das Lesen des Textes noch den Einblick in das Gehirn der KI. Es hört einfach nur auf den Rhythmus der Zuversicht.

Wichtige Einschränkungen (Was das Paper sagt)

Es ist Modellspezifisch: HALT ist wie ein Trainer, der den Herzschlag eines ganz bestimmten Spielers perfekt kennt. Wenn man HALT auf eine KI namens „Llama“ trainiert, wird es zum Experten darin, Lügen bei Llama zu entlarven. Versucht man, dasselbe HALT auf eine andere KI namens „Qwen“ anzuwenden, kommt es durcheinander – die „Herzschlag“-Muster sind für verschiedene Modelle unterschiedlich.
Es benötigt Zugriff auf die „Zuversichtszahlen“: Sie müssen nicht das Gehirn der KI kennen, aber Sie benötigen die API, die Ihnen die Top-20-Zuversichtswerte für jedes Wort liefert. Wenn eine API diese Zahlen komplett verbirgt, kann HALT nicht funktionieren.
Es detektiert, es repariert nicht: HALT ist ein Rauchmelder. Es sagt Ihnen, wann die KI halluziniert, aber es sagt Ihnen nicht, warum oder wie man die Geschichte korrigiert.

Zusammenfassende Analogie

Stellen Sie sich eine KI wie einen Magier vor, der einen Trick aufführt.

Alte Detektoren versuchten, unter den Hut des Magiers zu spähen (White-Box) oder das Publikum abstimmen zu lassen, ob der Trick echt war (Black-Box-Textanalyse).
HALT beobachtet einfach nur die Hände des Magiers. Es weiß, dass die Handbewegungen eines Magiers etwas ruckartig und unvorhersehbar werden, wenn er kurz davor ist, ein falsches Kaninchen aus einem Hut zu ziehen – selbst wenn er dabei selbstbewusst lächelt. HALT ist darauf trainiert, genau dieses „ruckartige Hand“-Muster in den Zuversichtszahlen der KI zu erkennen, wodurch es die Lüge sofort entlarvt, ohne den Trick sehen oder jemanden sonst fragen zu müssen.

Technisches Resümee: HALT (Hallucination Assessment via Log-probs as Time series)

1. Problemstellung

Große Sprachmodelle (LLMs) produzieren häufig Halluzinationen – Ausgaben, die verifizierbar falsche oder nicht belegte Informationen enthalten. Dies stellt eine erhebliche Barriere für den Einsatz von LLMs in sicherheitskritischen Bereichen dar. Bestehende Detektionsmethoden stehen vor deutlichen Einschränkungen:

White-Box-Ansätze erfordern Zugriff auf interne Modellzustände (verborgene Aktivierungen, Attention-Maps), was für proprietäre, Closed-Source-APIs unmöglich ist.
Black-Box-Textbasierte Ansätze verlassen sich oft auf externe Retrieval-Prozesse, zusätzliche API-Aufrufe oder Hilfs-LLMs, um Konsistenz zu bewerten. Diese führen zu Latenz, Kosten und dem Risiko, dass das „Richter“-Modell selbst halluziniert oder einen Domänen-Bias einführt.
Unsicherheitsbasierte Ansätze verlassen sich oft auf aggregierte Statistiken (z. B. mittleres Vertrauen, Gesamtentropie), die jedoch die temporalen Dynamiken von Kalibrierungsfehlern des Modells möglicherweise nicht erfassen können.

Die Autoren postulieren, dass, obwohl rohe Token-Wahrscheinlichkeiten allein aufgrund von Kalibrierungs-Biases keine zuverlässigen Indikatoren für Wahrhaftigkeit sind, die temporale Entwicklung dieser Wahrscheinlichkeiten stabile Signale der Unsicherheit enthält. Die zentrale Forschungsfrage lautet: Können Halluzinationen durch die Modellierung lediglich der Sequenz von Token-Log-Wahrscheinlichkeiten detektieren werden, ohne den generierten Text zu analysieren oder externe Referenzen zu konsultieren?

2. Methodik

2.1. Kernparadigma: Log-probs als Zeitreihe

HALT behandelt die Klassifizierung der Top- $k$ Token-Log-Wahrscheinlichkeiten als ein Zeitreihen-Klassifizierungsproblem. Anstatt Wahrscheinlichkeiten in zusammenfassende Statistiken zu kollabieren, bewahrt die Methode die geordnete Sequenz des Vertrauens des Modells bei jedem Dekodierungsschritt.

Input-Repräsentation:
Für eine Antwort der Länge $T$ extrahiert das Modell die Top-20 Log-Wahrscheinlichkeiten ( $\ell_t \in \mathbb{R}^{20}$ ) an jedem Zeitschritt $t$ . Diese werden mit fünf konstruierten Merkmalen zu einem angereicherten Merkmalsvektor $\tilde{\ell}_t$ zusammengeführt:

Durchschnittliche Log-Wahrscheinlichkeit: Ein Surrogat für die Verteilungsschärfe.
Rank-Proxy: Ein begrenzter Rang des ausgewählten Tokens innerhalb der Top-20, der nicht-greedy oder atypische Entscheidungen erfasst.
Gesamtentropie ( $H_{overall}$ ): Unsicherheit über das ausgewählte Token und dessen Alternativen.
Nur-Alternativen-Entropie ( $H_{alts}$ ): Uneinigkeit unter konkurrierenden Kandidaten.
Temporale Änderung der Entscheidungsentropie ( $\Delta H_{dec}$ ): Erfasst scharfe Übergänge in der Gewissheit zwischen dem ausgewählten Token und der besten Alternative.

Der endgültige Input ist eine Zeitreihe $\tilde{\ell}_{1:T} \in \mathbb{R}^{T \times 25}$ .

2.2. Architektur

Das Modell verwendet eine leichtgewichtige bidirektionale Gated Recurrent Unit (GRU) mit 5 Millionen Parametern.

Encoder: Eine mehrschichtige bidirektionale GRU verarbeitet die Sequenz, um temporale Muster sowohl in Vorwärts- als auch in Rückwärtsrichtung zu erfassen.
Pooling: Ein Top- $q$ Pooling-Mechanismus (wobei $q=0,15$ ) aggregiert die verborgenen Zustände. Er mittelt die signifikantesten Zeitschritte (diejenigen mit den größten Normen der verborgenen Zustände), wodurch der Fokus auf Momente scharfer Vertrauensänderungen liegt, anstatt Signale über alle Token hinweg zu verwässern.
Output: Eine lineare Schicht erzeugt einen einzelnen Logit für die binäre Klassifikation (halluziniert vs. treu/faithful), trainiert mit Binary Cross-Entropy Loss.

2.3. Zentrale Hypothesen

Die Autoren schlagen vier Hypothesen vor, die im Rahmen der Studie validiert wurden:

Modellspezifischer Bias: Jedes LLM besitzt eine deterministische Kalibrierungs-Bias-Funktion, die die Top- $k$ Wahrscheinlichkeiten steuert.
Lernbarkeit: Eine GRU kann in der Lage sein, diesen Bias-induzierten Dynamiken zu approximieren und spezifische temporale Muster mit Halluzinationen zu assoziieren.
Nicht-Übertragbarkeit: Detektoren, die auf den Log-Wahrscheinlichkeiten eines Modells trainiert wurden, übertragen sich nicht zuverlässig auf eine andere Modellarchitektur aufgrund unterschiedlicher Kalibrierungs-Biases.
Aufgaben-Generalisierung: Innerhalb eines einzelnen Modells generalisiert ein auf einer Aufgabenfamilie trainierter Detektor auf andere, da der zugrunde liegende Kalibrierungs-Bias konsistent über Aufgaben hinweg ist.

3. Benchmark: HUB (Hallucination detection Unified Benchmark)

Zur Evaluierung der Methode führen die Autoren HUB ein, einen umfassenden Benchmark, der 10 LLM-Fähigkeiten abdeckt:

Orientiert an Reasoning (Schlussfolgerung): Algorithmisch, Commonsense (gesunder Menschenverstand), Mathematisch, Symbolisches Reasoning und Code-Generierung.
Allgemeiner Zweck: Chat, Data-to-Text, Question Answering, Summarization (Zusammenfassung) und Weltwissen.

HUB erweitert bestehende Datensätze (FAVA, RAGTruth, HaluEval) und integriert CriticBench, um logische Halluzinationen (fehlerhafte Argumentationsschritte, die zu falschen oder glücklicherweise korrekten Antworten führen) neben faktischen Halluzinationen einzubeziehen. Der Datensatz ist in Trainings-, Validierungs- und Testsets unterteilt, wobei das Training auf Chat, Data-to-Text und QA beschränkt ist, um die Out-of-Distribution-Generalisierung auf Reasoning-Aufgaben rigoros zu testen.

4. Ergebnisse

4.1. Performance auf HUB

HALT übertrifft bestehende Baselines signifikant:

Effizienz: HALT ist 30-mal kleiner als der Lettuce-Detektor (ein fein abgestimmter ModernBERT-base Encoder) und erzielt einen 60-fachen Geschwindigkeitsvorteil.
Genauigkeit: HALT erreicht die besten Macro-F1-Scores in 7 von 10 Clustern.
- HALT-L (trainiert auf LLaMA 3.1-8B) erreicht einen Gesamt-Macro-F1 von 67,01 und übertrifft damit Lettuce (64,00) sowie Aggregate-Statistik-Baselines (z. B. $H_{overall}$ bei 32,86).
- Es ist besonders stark in Reasoning-Aufgaben (Algorithmisch, Commonsense, Symbolisch), in denen sequenzbasierte Kalibrierungshinweise prädiktiver sind als textbasierte Heuristiken.

4.2. Übertragbarkeit und Generalisierung

Cross-Task: HALT zeigt eine starke Generalisierung über verschiedene Aufgabenfamilien innerhalb desselben Modells hinweg, was die Hypothese stützt, dass der Kalibrierungs-Bias aufgabenspezifisch-agnostisch ist.
Cross-Model: Wie vorhergesagt, sinkt die Performance signifikant, wenn ein auf LLaMA-Log-Wahrscheinlichkeiten trainierter Detektor auf Qwen-Log-Wahrscheinlichkeiten angewendet wird (und umgekehrt), was bestätigt, dass Kalibrierungsdynamiken modellspezifisch und nicht direkt übertragbar sind.
Robustheit: HALT bleibt trotz fehlender spezifischer Abstimmung auf externe Benchmarks (FAVA, RAGTruth) wettbewerbsfähig.

5. Bedeutung und Ansprüche

Das Paper beansprucht die folgenden Beiträge und Bedeutungen:

Neues Black-Box-Paradigma: HALT führt eine Detektionsmethode ein, die ausschließlich auf Token-Log-Wahrscheinlichkeiten basiert und somit die Analyse von Oberflächentext, externe Validatoren oder internen Modellzugriff vermeidet. Dies macht es einzigartig anwendbar für proprietäre APIs.
Temporale Dynamik statt statischer Metriken: Die Arbeit zeigt, dass die Behandlung von Log-Wahrscheinlichkeiten als Zeitreihe in der Lage ist, Unsicherheitspattern (z. B. abrupte Entropie-Spitzen, Rank-Inversionen) zu erfassen, die durch aggregierte Statistiken unentdeckt bleiben.
Vereinheitlichtes Framework: Durch die Integration logischer Fehlleistungen in die Definition von Halluzinationen bietet HUB eine breitere Sicht auf semantische Ungetreue (unfaithfulness), die über die bloße Faktische Verifizierung hinausgeht.
Praktische Effizienz: Die Methode bietet eine hocheffiziente Alternative zu großen Encodern und ermöglicht eine Halluzinationserkennung in Echtzeit mit vernachlässigbarem Overhead, da sie nur den Log-Wahrscheinlichkeitsstrom benötigt, der während der Generierung ohnehin verfügbar ist.

Die Autoren kommen zu dem Schluss, dass HALT zwar nicht an ein einzelnes Modell gebunden ist, aber übertragbare Unsicherheitsdynamiken lernt, die innerhalb eines Modells über Aufgaben hinweg generalisieren, und damit eine neue Modalität zur Analyse der Modellunsicherheit etabliert, ohne Zugriff auf Gewichte oder externe Daten zu benötigen.