🤖 AI

Entropy Distribution as a Fingerprint for Hallucinations in Generative Models

Dieser Artikel stellt den Calibrated Entropy Score (CES) vor, eine leichte Black-Box-Methode mit einem einzigen Durchlauf, die Entropieverteilungen auf Token-Ebene nutzt, um Halluzinationen von LLMs mit formalen Fehlergarantien und einer Leistung zu erkennen, die mit rechenintensiven Mehrstichprobenansätzen vergleichbar ist.

Ursprüngliche Autoren: Mattia J. Villani, Pranav Deshpande, Akshay Seshadri, Romina Yalovetzky, Niraj Kumar

Veröffentlicht 2026-05-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Mattia J. Villani, Pranav Deshpande, Akshay Seshadri, Romina Yalovetzky, Niraj Kumar

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hören einem Geschichtenerzähler zu. Manchmal erzählt er eine Geschichte, die vollkommen wahr ist und natürlich fließt. Zu anderen Zeiten beginnt er zu „halluzinieren" – er erfindet Fakten, gerät in Verwirrung oder schwadroniert in einer Weise, die keinen Sinn ergibt.

Lange Zeit mussten Computer, die versuchen, diese Lügen aufzudecken, eines von zwei Dingen tun: Entweder sie baten den Geschichtenerzähler, die Geschichte fünf oder sechs Mal zu wiederholen, um zu prüfen, ob die Details übereinstimmen (was langsam und teuer ist), oder sie spähten in das Gehirn des Geschichtenerzählers, um seine geheimen Notizen zu sehen (was bei geschlossenen Systemen oft unmöglich ist).

Dieser Artikel stellt eine neue, clevere Methode vor, um einen Lügner zu entlarven, die nur erfordert, die Geschichte ein einziges Mal zu hören. Sie heißt Kalibrierter Entropiewert (CES).

So funktioniert es, unter Verwendung einfacher Analogien:

1. Das „Vertrauensmessgerät" (Entropie)

Jedes Mal, wenn ein Large Language Model (LLM) ein Wort schreibt, hat es ein „Vertrauensmessgerät" für das, was als Nächstes kommt.

Hoher Vertrauensgrad: Das Modell weiß genau, was es sagen soll. Es ist wie ein Koch, der das Rezept perfekt kennt. Die „Entropie" (ein Maß für Unsicherheit) ist niedrig.
Niedriger Vertrauensgrad: Das Modell rät. Es ist wie der Koch, der in einen leeren Kühlschrank starrt und unsicher ist, was er kochen soll. Die „Entropie" ist hoch.

2. Der alte Weg vs. der neue Weg

Der alte Weg (Perplexität):
Bisherige Methoden betrachteten den Durchschnittsvertrauensgrad der gesamten Geschichte.

Analogie: Stellen Sie sich einen Schüler vor, der eine Prüfung schreibt. Die alte Methode betrachtet nur seine Durchschnittsnote. Wenn der Durchschnitt 70 % beträgt, besteht er vielleicht. Aber dies verschleiert die Wahrheit: Hat er jede Frage mit 70 % richtig beantwortet? Oder hat er 10 Fragen perfekt (100 %) und 10 Fragen völlig falsch (0 %) beantwortet? Der Durchschnitt ist derselbe, aber der zweite Schüler ist viel instabiler.

Der neue Weg (CES):
Die Autoren erkannten, dass die Form des Vertrauensmessgeräts wichtiger ist als der Durchschnitt.

Analogie: Wenn ein Modell die Wahrheit erzählt, ist sein Vertrauensmessgerät stabil und vorhersehbar. Wenn es beginnt zu halluzinieren, gerät das Messgerät außer Kontrolle. Es kann eine Weile ruhig sein, dann plötzlich in totale Verwirrung ausschlagen und erneut ausschlagen.
Der Artikel behauptet, dass dieses „wilde Muster" ein Fingerabdruck einer Lüge ist. Selbst wenn der Durchschnittsvertrauensgrad normal aussieht, verraten die Spitzen (die maximale Unsicherheit) und die Gesamtform der Kurve es.

3. Wie CES funktioniert (Der „Fingerabdruck"-Check)

Die Methode funktioniert in zwei Schritten:

Lernen des „Wahrheits"-Musters: Zuerst hört das System viele Geschichten zu, von denen bekannt ist, dass sie wahr sind. Es erstellt eine „Referenzkarte" (eine statistische Kurve) davon, wie das Vertrauensmessgerät einer wahren Geschichte aussieht. Es notiert: „Okay, wahre Geschichten haben hier normalerweise kleine Buckel, aber selten riesige Spitzen dort."
Der Ein-Mal-Test: Wenn eine neue Geschichte hereinkommt, hört das System sie nur ein einziges Mal zu. Es fragt nicht nach einer zweiten Meinung. Es prüft das Vertrauensmessgerät der Geschichte gegen die „Wahrheitskarte".
- Wenn die Geschichte eine seltsame Spitze hat oder eine Form, die nicht zur Karte passt, markiert das System sie: „Das sieht nach einer Halluzination aus!"

4. Warum das eine große Sache ist

Geschwindigkeit: Es benötigt nur einen Durchlauf durch den Text. Es ist wie das Entlarven eines Lügners, indem man ihm einmal zuhört, anstatt ihn fünfmal die Geschichte wiederholen zu lassen.
Black-Box-freundlich: Sie müssen den internen Code oder die verborgenen Gedanken des Modells nicht sehen. Sie benötigen nur die „Logits" (die rohen Vertrauenszahlen, die das Modell ausgibt, bevor es ein Wort wählt), die die meisten APIs bereitstellen.
Statistischer Beweis: Die Autoren haben nicht einfach nur geraten, dass dies funktioniert. Sie haben mit Mathematik bewiesen, dass mit zunehmender Länge der Geschichte die Chance, eine Lüge zu übersehen, auf fast null sinkt, und die Chance, eine wahre Geschichte fälschlicherweise anzuklagen, ebenfalls auf fast null sinkt.

Zusammenfassung

Denken Sie an CES als einen Lügendetektor, der weder einen Polygraphen noch ein zweites Interview benötigt. Er hört einfach nur auf den Rhythmus der Unsicherheit im Text. Wenn der Rhythmus stabil ist, ist es wahrscheinlich wahr. Wenn der Rhythmus unregelmäßige, wilde Sprünge hat (selbst wenn der Durchschnitt okay aussieht), ist es wahrscheinlich eine Halluzination.

Der Artikel testete dies an 10 verschiedenen KI-Modellen und 8 verschiedenen Fragetypen (von Mathematik bis zu Allgemeinwissen) und fand heraus, dass diese „Ein-Durchlauf"-Methode Lügen genauso gut aufdeckt wie die teuren, Mehrfach-Durchlauf-Methoden, aber viel schneller und günstiger.

Technische Zusammenfassung: Entropieverteilung als Fingerabdruck für Halluzinationen in generativen Modellen

Problemstellung

Large Language Models (LLMs) erzeugen häufig faktisch falsche Ausgaben, ein Phänomen, das als Halluzination bekannt ist und das Vertrauen untergräbt sowie den Einsatz in hochriskanten Bereichen einschränkt. Bestehende Detektionsmethoden leiden unter erheblichen Einschränkungen:

Konsistenzbasierte Methoden (z. B. Semantic Entropy, SelfCheckGPT) erfordern mehrere Durchläufe ( $K \ge 5$ ), was hohe Rechenkosten verursacht.
Methoden auf Basis interner Zustände erfordern Zugriff auf versteckte Repräsentationen oder Attention-Matrizen, was bei Black-Box-API-Modellen unmöglich ist.
Heuristiken für den Einzel-Durchlauf (z. B. Perplexity, length-normalisierte Entropie) reduzieren das vollständige Entropiesignal auf eine einzelne skalare Zusammenfassung und verwerfen dabei reichhaltige verteilungsbezogene Informationen, die für die Detektion möglicherweise entscheidend sind.

Die Autoren gehen davon aus, dass die Verteilung der Token-Level-Entropien, und nicht nur deren Mittelwert, als eindeutiger „Fingerabdruck" einer Halluzination dient.

Methodik: Kalibrierter Entropiewert (CES)

Die Arbeit schlägt einen Rahmen vor, der die Detektion von Halluzinationen als statistischen Hypothesentest formalisiert und lediglich einen einzigen Durchlauf sowie Black-Box-Zugriff auf Token-Logits erfordert.

1. Theoretische Grundlage

Die Kernhypothese besagt, dass bei einer Halluzination des Modells die Verteilung der Token-Entropien von der Verteilung abweicht, die bei treuen Generationen beobachtet wird. Diese Abweichung ist nicht lediglich eine Verschiebung des Mittelwerts; die Form und das Verhalten des Ausläufers der Verteilung tragen ein unabhängiges Signal.

Nullhypothese ( $H_0$ ): Die generierte Entropiefolge ist konsistent mit einer Referenz-Kumulationsverteilungsfunktion (CDF) $F_0$ , die aus nicht-halluzinierten Daten abgeleitet wurde.
Alternativhypothese ( $H_1$ ): Die Folge ist inkonsistent mit $F_0$ , was auf eine Halluzination hinweist.

2. Der Kalibrierte Entropiewert (CES)

CES ist ein leichter Algorithmus, der zwei zusammenfassende Statistiken der Entropiefolge kombiniert:

Mittlere Entropie ( $\bar{h}$ ): Erfasst die zentrale Tendenz.
Maximale Entropie ( $h_{max}$ ): Erfasst Ausreißer im Ausläufer (hohe Unsicherheits-Spitzen).

Der Wert wird als geometrisches Mittel der Referenz-CDF-Werte an diesen Punkten berechnet:
$\text{CES}(h) = \sqrt{\hat{F}_0(\bar{h}) \cdot \hat{F}_0(h_{max})}$
wobei $\hat{F}_0$ die empirische CDF ist, die offline aus einem Kalibrierungsdatensatz geschätzt wurde. Eine Generation wird als Halluzination markiert, wenn der CES einen kalibrierten Schwellenwert überschreitet.

3. Kalibrierung und Robustheit

Überwachte Kalibrierung: Verwendet ein Orakel (z. B. menschlicher Experte oder LLM-Richter), um Kalibrierungsdaten zu filtern und $\hat{F}_0$ strikt aus treuen Instanzen zu konstruieren.
Unüberwachte Variante: Wenn Orakel-Labels nicht verfügbar sind, schätzt die Methode $F_0$ direkt aus allen Kalibrierungsstichproben. Eine theoretische Analyse (Proposition 1) beweist, dass die geschätzte CDF robust bleibt, wenn der Kontaminationsgrad halluzinierter Proben gering ist.
Theoretische Garantien: Die Autoren verallgemeinern die Dvoretzky–Kiefer–Wolfowitz (DKW)-Ungleichung auf Vektoren zufälliger Länge, um Garantien für die Kalibrierung bei endlichen Stichproben zu liefern. Zudem beweisen sie, dass die Raten für falsch-positive und falsch-negative Ergebnisse des CES-Tests mit der Generationslänge exponentiell abfallen.

Hauptbeiträge

Entropieverteilungen als Fingerabdrücke: Die Arbeit liefert empirische und theoretische Belege dafür, dass die Form der Token-Entropieverteilung (jenseits des Mittelwerts) halluzinierte von treuen Generationen unterscheidet. Ein synthetisches Experiment zur Mittelwertverschiebung bestätigt, dass Formunterschiede auch nach Entfernung von Lageverschiebungen bestehen bleiben.
Statistisch fundierter Rahmen: CES formalisiert die Detektion als Hypothesentest und trennt die Definition von Halluzination (dem Orakel überlassen) vom Detektionsmechanismus. Dies macht die Methode unabhängig von spezifischem Modell, Aufgabe oder Halluzinationstaxonomie.
Theoretische Garantien: Die Arbeit etabliert eine exponentielle Konvergenz der Fehlerquoten mit der Generationslänge und liefert Schranken für endliche Stichproben mittels einer neuartigen DKW-Ungleichung für zufällige Längen.
Umfassende empirische Validierung: CES wurde über 8 QA-Benchmarks und 10 Modelle hinweg evaluiert (die offenen Llama/Falcon/Mistral-Familien sowie proprietäre GPT-4-Varianten umfassen).

Experimentelle Ergebnisse

Leistung: Über 80 Modell-Datensatz-Experimente hinweg erreichte CES (unüberwacht) einen durchschnittlichen Rang von 6,29 unter 17 Methoden und platzierte sich in der statistischen Spitzengruppe neben komplexen Mehrstichproben-Methoden wie Kernel Language Entropy (KLE).
Vergleich mit Baselines:
- CES schnitt deutlich besser ab als Baselines für den Einzel-Durchlauf wie Perplexity und length-normalisierte Entropie.
- CES erreichte eine Gewinnquote von 66,8 % in paarweisen Vergleichen gegen 16 Benchmark-Methoden.
- Bemerkenswerterweise war CES (Einzel-Durchlauf, Black-Box) statistisch nicht unterscheidbar von Mehrstichproben-Methoden, die $K \ge 5$ Durchläufe erfordern, und schließt damit effektiv die Lücke zwischen leichten und teuren Detektionsverfahren.
Robustheit: Die Methode zeigte Widerstandsfähigkeit gegenüber Kalibrierungskontamination (bis zu 50 % halluzinierte Token im Referenzdatensatz) und verrauschten Orakel-Labels; die Leistung blieb stabil, selbst wenn 50 % der Kalibrierungslabels umgekehrt wurden.
API-Generalisierung: CES übertrug sich erfolgreich auf API-only-Modelle (GPT-4-Familie) unter Verwendung nur der Top-k-Log-Wahrscheinlichkeiten und erzielte eine vergleichbare Leistung wie Modelle mit offenen Gewichten.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass CES einen bedeutenden Fortschritt darstellt, indem sie formale Fehlergarantien (Schranken für Fehler 1. und 2. Art) bietet, die bestehenden Heuristiken fehlen, während gleichzeitig die Recheneffizienz eines einzigen Durchlaufs erhalten bleibt.

Praktischer Einsatz: Da CES nur Black-Box-Logit-Zugriff und einen einzigen Durchlauf erfordert, ist sie für den Echtzeit-Einsatz in großem Maßstab in hochriskanten Umgebungen geeignet, in denen Mehrstichproben-Methoden zu kostspielig und Methoden auf Basis interner Zustände unzugänglich sind.
Theoretische Einsicht: Die Arbeit verschiebt das Paradigma vom Betrachten der Entropie als skalares Unsicherheitsmaß hin zur Behandlung als verteilungsbezogenen Fingerabdruck und zeigt, dass der „Ausläufer" der Entropieverteilung ein kritisches Signal für Halluzinationen ist.
Einschränkungen: Die Autoren räumen ein, dass die Leistungsfähigkeit von CES für sehr kurze Generationen ( $m < 10$ Token) aufgrund unzureichender Stichproben für verteilungsbezogene Tests nachlässt. Ferner kann, wenn ein Modell auf falschen Daten trainiert wurde (systematische Halluzination), die Entropieverteilung nicht abweichen, wodurch der Test wirkungslos wird. Die Methode ist zudem auf den Zugriff auf Next-Token-Wahrscheinlichkeiten angewiesen, den einige API-Anbieter einschränken können.

Zusammenfassend argumentiert die Arbeit, dass CES die unter Minimalzugriffs-Bedingungen erreichbarste Detektionsleistung bietet und eine rigorose, statistisch fundierte Alternative sowohl zu heuristischen Einzel-Durchlauf-Methoden als auch zu rechenintensiven Mehrstichproben-Ansätzen darstellt.