🤖 machine learning

Integrating Local and Global Entropy for Uncertainty Quantification in LLMs

Dieses Paper schlägt Global-Local Uncertainty (GLU) vor, eine unüberwachte Single-Pass-Methode, die Token-Level-Entropie mit Hidden-State-geometrischer Entropie fusioniert, um effektiv distinkte Fehlerszenarien zu erfassen, insbesondere jene „confident-but-wrong“-Halluzinationen, die lokale Signale allein übersehen.

Ursprüngliche Autoren: Johanne Medina, Tianyi Zhou, Keivin Isufaj, Aristides Gionis, Sanjay Chawla

Veröffentlicht 2026-06-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Johanne Medina, Tianyi Zhou, Keivin Isufaj, Aristides Gionis, Sanjay Chawla

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der selbstbewusste Lügner

Stellen Sie sich vor, Sie stellen einem sehr selbstbewussten, eloquenten Freund eine Frage. Er antwortet sofort, mit perfekter Grammatik und einer steten Stimme. Aber er liegt vollkommen falsch.

Dies ist das größte Problem heutiger Large Language Models (LLMs). Sie „halluzinieren“ oft (erfinden Dinge), während sie dabei zu 100 % sicher klingen. Aktuelle Werkzeuge versuchen dies zu erkennen, indem sie darauf hören, was das Modell Wort für Wort sagt. Wenn das Modell sich beim nächsten Wort unsicher scheint, markiert das Werkzeug dies als riskant.

Der Fehler: Manchmal ist sich das Modell über jedes einzelne Wort, das es ausspricht, absolut sicher, aber die ganze Geschichte, die es erzählt, ist eine Lüge. Aktuelle Werkzeuge übersehen diese „selbstbewussten Lügner“.

Die neue Lösung: GLU (Global-Local Uncertainty)

Die Autoren dieser Arbeit schlagen eine neue Methode vor, um zu prüfen, ob eine KI die Wahrheit sagt. Sie nennen ihre Methode GLU.

Betrachten Sie das Gehirn einer KI als eine Fabrik mit zwei verschiedenen Abteilungen:

Der „Wort-Wähler“ (Lokal): Diese Abteilung entscheidet, welches Wort als Nächstes kommt.
Der „Geschichten-Architekt“ (Global): Diese Abteilung hält die allgemeine Karte der Geschichte, die gerade aufgebaut wird.

Das Papier argumentiert, dass man, um einen Lügner zu entlarven, beide Abteilungen prüfen muss, nicht nur den Wort-Wähler.

1. Der lokale Check (Der Wort-Wähler)

Wie es funktioniert: Dies betrachtet die Zuversicht des Modells für jedes einzelne Wort. Wenn das Modell zwischen „Katze“ und „Hund“ schwankt, ist es lokal unsicher.
Die Analogie: Stellen Sie sich einen Koch vor, der eine Suppe probiert. Wenn er unsicher ist, ob er genug Salz hinzugefügt hat, hält er inne. Das ist eine „lokale“ Unsicherheit.
Das Problem: Ein selbstbewusster Lügner ist wie ein Koch, der die Suppe probiert und bei jeder einzelnen Zutat „Perfekt!“ sagt, obwohl das ganze Gericht vergiftet ist. Der lokale Check übersieht dies, weil jedes einzelne Wort völlig in Ordnung aussieht.

2. Der globale Check (Der Geschichten-Architekt)

Wie es funktioniert: Dies betrachtet die „Hidden States“ (verborgenen Zustände) des Modells. Dies sind die internen mathematischen Karten, die das Modell nutzt, um Konzepte zu verstehen. Die Autoren messen die „geometrische Komplexität“ dieser Karten.
Die Analogie: Stellen Sie sich vor, der Koch geht durch eine Küche.
- Kohärent (Wahrheit): Wenn der Koch eine echte Suppe kocht, geht er in einer geraden, engen Linie vom Kühlschrank zum Herd und zum Topf. Sein Pfad ist effizient und fokussiert.
- Inkohärent (Halluzination): Wenn der Koch ein falsches Rezept erfindet, wandert er vielleicht ziellos umher. Er geht zum Kühlschrank, dann in den Garten, dann in die Garage und dann zurück zum Kühlschrank. Er bewegt sich gleichzeitig in zu viele verschiedene Richtungen.
Die Erkenntnis: Selbst wenn der Koch bei jedem Schritt „Perfekt!“ sagt (Lokal), wenn er aber in der Küche herumwandert (Global), stimmt etwas nicht. Das Papier nennt dies „geometrische Drift“.

Wie GLU funktioniert: Das „Multiplikative Tor“

Die Hauptinnovation des Papers ist die Art und Weise, wie es diese beiden Prüfungen kombiniert.

Der alte Weg (Additiv): Stellen Sie sich einen Sicherheitswachmann vor, der die Punkte zusammenzählt. „Wort-Zuversicht: 9/10. Umherwandern in der Küche: 2/10. Gesamt: 11/20.“ Wenn die Wort-Zuversicht hoch genug ist, lässt der Wachmann die Person durch und ignoriert das Umherwandern.
Der GLU-Weg (Multiplikativ): Die Autoren verwenden ein „Tor“ (Gate), das die Werte multipliziert.
- Wenn das Umherwandern in der Küche (Global) hoch ist, wirkt es wie ein Lautstärkeregler, der den Alarm der Wort-Zuversicht aufdreht.
- Das Ergebnis: Selbst wenn das Modell bei jedem Wort selbstbewusst ist, wird der GLU-Wert ausschlagen, wenn sein interner „Pfad“ herumwandert, und die Antwort als unzuverlässig markieren.

Was sie herausgefunden haben

Die Forscher testeten dies an drei verschiedenen KI-Modellen und sechs verschiedenen Arten von Fragen (wie Trivia, Mathematik und arabische Sprachaufgaben).

Das Entlarven von „Selbstbewusst, aber Falsch“: Sie fanden heraus, dass Standardmethoden (nur Lokal) einen großen Teil der falschen Antworten übersehen haben, weil diese Antworten selbstbewusst klangen. GLU hat sie erwischt, weil es den „umherwandernden Pfad“ im Gehirn des Modells erkannt hat.
Besser als die anderen: GLU schnitt besser ab als alle anderen „unüberwachten“ Methoden (Methoden, die keine menschlich beschrifteten Daten vorab benötigen). Es war besser darin, Fehler zu erkennen und der KI zu signalisieren, „anzuhalten und nachzudenken“, bevor sie eine schlechte Antwort gibt.
Effizient: Es erfordert nicht, dass die KI die Antwort mehrfach generiert oder zusätzliche Rechenleistung verwendet. Es betrachtet einfach die Antwort einmal und prüft dabei sowohl die Wörter als auch den internen Pfad.

Zusammenfassung

Das Paper behauptet, dass man, um einer KI zu vertrauen, nicht nur auf ihre Worte hören, sondern auch beobachten muss, wie sie denkt. Durch die Kombination einer Prüfung der Wort-Ebene-Zuversicht mit einer Prüfung des Konzept-Ebene-Umherwanderns schafft GLU ein Sicherheitsnetz, das genau die Art von Fehler auffängt, bei der eine KI selbstbewusst lügt. Dies geschieht, ohne zusätzliche Trainingsdaten zu benötigen oder die KI zu verlangsamen.

Technisches Resümee: Integration von lokaler und globaler Entropie zur Unsicherheitsquantifizierung in LLMs

Problemstellung

Große Sprachmodelle (LLMs) weisen häufig „selbstbewusste Halluzinationen“ auf, indem sie flüssige, spezifische, aber faktisch falsche Antworten generieren. Bestehende Methoden zur Unsicherheitsquantifizierung (Uncertainty Quantification, UQ) stützen sich primär auf Token-Ebene-Signale (z. B. Log-Wahrscheinlichkeiten oder Sampling-Konsistenz). Während diese für die Erkennung lokaler Ambiguität effektiv sind, versagen sie oft bei dem „selbstbewusst-aber-falsch“-Fehlermuster, bei dem ein Modell falsche Antworten mit hoher Token-Ebene-Konfidenz generiert. Darüber hinaus stellen viele bestehende Ansätze praktische Hürden dar, wie die Notwendigkeit mehrerer Generierungspässe, aufgabenspezifischer Supervision, Sensitivität gegenüber der Antwortlänge oder spezifische Architekturannahmen. Es besteht ein Bedarf an einer UQ-Methode, die unüberwacht, in einem einzigen Vorwärtspass berechenbar, längennormalisiert und in der Lage ist, die geometrische Struktur der internen Trajektorie des Modells zu erfassen.

Methodik

Das Paper schlägt Global-Local Uncertainty (GLU) vor, ein Framework, das zwei unterschiedliche Unsicherheitssignale integriert, die aus verschiedenen Repräsentationsschichten des LLM abgeleitet werden:

Lokale Unsicherheit (Token-Ebene):
- Abgeleitet von der Unembedding-Schicht (Next-Token-Prediction).
- Basierend auf dem Framework des Evidential Deep Learning, welches die Unsicherheit in aleatorische Unsicherheit (AU) (distributionale Ambiguität) und epistemische Unsicherheit (EU) (Mangel an Evidenz) zerlegt.
- AU wird als Shannon-Entropie einer abgeschnittenen prädiktiven Verteilung über die Top- $k$ -Tokens berechnet.
- EU wird geschätzt, indem die Logits auf Dirichlet-Konzentrationsparameter abgebildet werden (mittels einer Softplus-Transformation) und die inverse Dirichlet-Stärke berechnet wird.
- Der lokale Score ( $\bar{R}$ ) ist der Durchschnitt der multiplikativen Interaktion von AU und EU über die $m$ unsichersten Tokens der Antwort.
Globale Unsicherheit (Geometrische Komplexität):
- Abgeleitet von der Embedding-Schicht (Hidden-State-Raum).
- Basierend auf der Hypothese, dass zuverlässiger Faktentabruf mit Hidden States korrespondiert, die sich in einer engen, konsistenten Richtung bewegen, während Halluzinationen durch ein Wandern durch lose verwandte Richtungen gekennzeichnet sind.
- Die Methode konstruiert eine Gram-Matrix ( $K = HH^\top$ ) aus der Hidden-State-Trajektorie $H$ über alle Generierungsschritte hinweg.
- Globale Unsicherheit wird als Rényi-2-Entropie (Kollisionsentropie) des normalisierten Eigenwertspektrums von $K$ quantifiziert. Eine hohe Entropie deutet auf eine diffuse, inkohärente Trajektorie (hohe Unsicherheit) hin, während eine niedrige Entropie eine kohärente, niedrigdimensionale Trajektorie anzeigt.
- Um die Vergleichbarkeit über Antwortlängen und Modelle hinweg zu gewährleisten, wird die Entropie durch $\log T$ normalisiert und über alle Transformer-Layer gemittelt.
Fusionsstrategie (GLU):
- Diese beiden Signale werden über ein multiplikatives Gate fusioniert: $GLU = (1 + \tilde{S}) \cdot \bar{R}$ , wobei $\tilde{S}$ die normalisierte globale geometrische Entropie und $\bar{R}$ die aggregierte lokale Unsicherheit ist.
- Dieses multiplikative Design fungiert als geometrischer Verstärker: Wenn die Trajektorie diffus ist (hohe globale Unsicherheit), wird der lokale Unsicherheitswert höher gewichtet. Dies zielt spezifisch auf das „selbstbewusst-aber-falsch“-Regime ab, in dem die Token-Entropie niedrig, aber die geometrische Kohärenz nicht vorhanden ist.
- Die Methode erfordert nur einen einzigen Vorwärtspass, keine gelabelten Daten und ist architekturagnostisch.

Wesentliche Beiträge

Multi-View Unsicherheits-Extraktion: Das Paper extrahiert komplementäre Signale aus zwei distinkten Schichten: globale geometrische Entropie aus Hidden-State-Trajektorien und lokale Token-Ebene-Entropie aus Output-Logits.
Statistische Orthogonalität: Die empirische Analyse zeigt, dass globale und lokale Signale statistisch nahezu orthogonal sind. Das globale Signal erfasst das „selbstbewusst-aber-falsch“-Fehlermuster, das lokale Signale systematisch übersehen.
GLU-Framework: Einführung eines leichtgewichtigen, unüberwachten Scores, der diese Signale multiplikativ fusioniert und dabei vermeidet, Retraining, Pseudo-Labels oder mehrere Sampling-Pässe zu benötigen.
Umfassende Validierung: Extensive Evaluierung über drei Modellfamilien (Qwen2.5, Gemma3, Fanar1) und sechs diverse Benchmarks (einschließlich Faktizität, Mathematik und Arabisch-QA) sowie rigorose Ablationsstudien.

Experimentelle Ergebnisse

Performance: Über 18 Modell-Datensatz-Einstellungen hinweg erreichte GLU in 13 Fällen die beste AUROC (Area Under the Receiver Operating Characteristic) und in 12 Fällen die beste Prediction Rejection Ratio (PRR). Es übertraf konsistent sowohl lokale-nur Baselines (z. B. LogTokU) als auch globale-nur Baselines (z. B. RAUQ).
Ablationsstudien:
- Multiplikativ vs. Additiv: Die multiplikative Fusionsstrategie war entscheidend. Eine additive Variante ( $Add\text{-}\tilde{S}$ ) sank signifikant in der Performance (Platz 13 von 14 Methoden), was bestätigt, dass das globale Signal als Modulator und nicht als fester Offset fungieren muss.
- Robustheit: Der Performance-Gewinn war robust gegenüber verschiedenen Entscheidungen für lokale und globale Schätzer, was darauf hindeutet, dass die Komplementarität eine strukturelle Eigenschaft von LLMs und kein Artefakt spezifischer Hyperparameter ist.
Kalibrierung: Auf dem TriviaQA-Benchmark demonstrierte GLU eine monotone Beziehung zwischen Unsicherheitswerten und empirischen Fehlerraten und trennte effektiv korrekte von inkorrekten Antworten über Konfidenzdezile hinweg.

Bedeutung und Ansprüche

Das Paper behauptet, dass die strukturelle Unterscheidung zwischen der Embedding-Schicht (semantische Richtung) und der Unembedding-Schicht (Token-Wahrscheinlichkeit) eine fundierte Basis dafür bietet, warum Token-Ebene- und geometrische Signale unterschiedliche Aspekte der Unsicherheit messen. Durch die Integration dieser Ansichten bietet GLU eine praktische, unüberwachte Lösung für die Vorhersage der Zuverlässigkeit, die eine kritische Schwachstelle aktueller UQ-Methoden adressiert: die selbstbewusste Halluzination. Die Autoren behaupten, dass GLU alle unüberwachten Baselines erreicht oder übertrifft, während es gleichzeitig längennormalisiert und architekturagnostisch bleibt, was es für den realen Einsatz prädestiniert, bei dem Recheneffizienz und das Fehlen von Supervision von zentraler Bedeutung sind. Die Arbeit legt nahe, dass die Komplementarität zwischen lokaler und globaler Unsicherheit eine fundamentale strukturelle Eigenschaft von LLMs ist.