🤖 machine learning

Reading Calibrated Uncertainty from Language Model Trajectories

Dieser Beitrag stellt eine Methode zur Verbesserung der Unsicherheitsquantifizierung von Sprachmodellen vor, die skaleninvariante geometrische Merkmale aus MLP-Aktualisierungstrajektorien pro Schicht extrahiert und in einen spärlichen linearen Probe einführt, der den Standardansatz der maximalen Softmax-Wahrscheinlichkeit übertrifft und zugleich interpretierbare Einblicke darin liefert, wie und wo Fehler über die Tiefe des Modells hinweg entstehen.

Ursprüngliche Autoren: Aliai Eusebi, Alexander Herzog, Xiaoyu Liang, Marie Vasek, Enrico Mariconti, Lorenzo Cavallaro

Veröffentlicht 2026-05-25

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Aliai Eusebi, Alexander Herzog, Xiaoyu Liang, Marie Vasek, Enrico Mariconti, Lorenzo Cavallaro

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Large Language Model (LLM) als einen sehr klugen, aber manchmal übermütigen Schüler vor, der einen Multiple-Choice-Test schreibt. Wenn der Schüler eine Frage beendet, gibt er Ihnen normalerweise eine „Konfidenzpunktzahl" (als würde er sagen: „Ich bin zu 95 % sicher, dass dies die Antwort ist"). Dies ist die Standardmethode, um zu prüfen, ob das Modell richtig oder falsch liegt.

Das Papier argumentiert jedoch, dass diese Konfidenzpunktzahl oft eine Lüge ist. Das Modell könnte „95 % sicher" sagen, selbst wenn es völlig falsch liegt. Es ist wie ein Schüler, der wild rät, sich aber über seine Vermutung sehr sicher fühlt.

Das Problem: Auf das Ziel schauen, nicht auf die Reise

Die meisten Methoden zur Überprüfung, ob eine KI sicher ist, betrachten nur die endgültige Antwort (das Ziel). Sie behandeln den Denkprozess des Modells als einen einzelnen Schnappschuss, der ganz am Ende aufgenommen wird.

Die Autoren dieses Papiers sagen: „Moment mal! Um zu verstehen, ob jemand wirklich sicher ist, sollte man nicht nur auf seine endgültige Antwort schauen. Man sollte beobachten, wie er dorthin gelangt ist."

Sie vergleichen das interne Denken des Modells mit einem Wanderer, der einen Berg hinaufsteigt:

Die Standardmethode (MSP): Schaut nur auf den Wanderer, wenn er den Gipfel erreicht. Wenn er oben glücklich aussieht, gehen wir davon aus, dass er eine einfache, gerade Wanderung hatte.
Die neue Methode (Trajektorie): Beobachtet den gesamten Weg des Wanderers. Ist er in einer geraden Linie gelaufen? Ist er von einem Abgrund abgekommen und musste umkehren? Hat er wild hin und her gewackelt, bevor er schließlich auf den Gipfel gestolpert ist?

Das Papier behauptet, dass selbst wenn zwei Wanderer denselben Gipfel mit demselben glücklichen Ausdruck erreichen, ihre Wege uns sehr unterschiedliche Geschichten erzählen könnten. Der eine könnte einen sanften, selbstbewussten Aufstieg gehabt haben (wahrscheinlich richtig), während der andere den ganzen Weg über verloren, verwirrt und im Kampf mit dem Wind war (wahrscheinlich falsch), auch wenn beide oben lächelnd enden.

Die Lösung: Der „Bewegungsdetektor"

Die Forscher entwickelten ein Werkzeug, das wie ein Bewegungsdetektor für das interne Denken des Modells funktioniert.

Verfolgen der Schritte: Während das Modell eine Frage verarbeitet, durchläuft es viele Schichten von „Neuronen" (wie Etagen in einem Gebäude). Auf jeder Etage nimmt das Modell eine kleine Anpassung an seiner Antwort vor.
Zeichnen der Karte: Anstatt nur das Endergebnis zu betrachten, zeichnet das Werkzeug eine Karte des Weges, den das Modell durch diese Etagen genommen hat.
Messen der Form: Das Werkzeug misst 11 spezifische Dinge über diesen Weg, wie zum Beispiel:
- Glätte: Hat das Modell plötzlich seine Meinung geändert?
- Richtung: Hat das Modell weiterhin in dieselbe Richtung gedrückt oder gegen seine eigenen vorherigen Gedanken gekämpft?
- Effizienz: Hat das Modell einen direkten Weg gewählt oder ist es im Kreis gelaufen?

Das Ergebnis: Ein schlauerer „Stopp"-Knopf

Mithilfe dieser „Bewegungskarte" trainierten die Forscher ein einfaches, transparentes System (einen „sparse linear probe"), um Fehler vorherzusagen.

Besser als der Standard: Dieses neue System ist viel besser darin, zu erkennen, wenn das Modell über seine Sicherheit lügt. In Tests reduzierte es die Anzahl der „Fehler mit hoher Konfidenz" im Vergleich zur Standardmethode erheblich.
Der Trick der „selektiven Enthaltung": Da dieses System so gut darin ist, Probleme zu erkennen, kann es dem Modell sagen: „Hey, du denkst, du bist zu 95 % sicher, aber dein interner Weg war chaotisch. Ich werde dir sagen, dass du stoppen und keine Antwort geben sollst." Dies verhindert, dass das Modell selbstbewusst falsche Antworten gibt.
Der „Warum"-Faktor: Das Coolste ist, dass wir, weil das Werkzeug einfache geometrische Messungen verwendet (wie „wie stark hat sich der Weg gekrümmt?"), tatsächlich sehen können, warum es einen Fehler markiert hat. Es kann uns sagen: „Das Modell begann selbstbewusst, änderte dann plötzlich in den mittleren Schichten seine Meinung und versuchte dann, die Antwort wieder auf die ursprüngliche Idee zu zwingen." Es ist wie ein Arzt, der sagen kann: „Der Patient ist nicht nur krank; seine Herzfrequenz stieg um 14 Uhr an und seine Temperatur fiel um 15 Uhr", anstatt nur zu sagen: „Der Patient ist krank."

Zusammenfassung

Kurz gesagt lehrt uns dieses Papier, dem endgültigen „Ich bin sicher!"-Statement des Modells nicht mehr zu vertrauen. Stattdessen sollten wir den Film beobachten, wie das Modell das Problem durchdacht hat. Indem wir die „Bewegung" und „Form" seiner internen Schritte betrachten, können wir selbstbewusste Fehler auffangen, die sonst durch die Maschen fallen würden, wodurch KI sicherer und zuverlässiger wird, ohne dass teure oder komplexe neue Systeme erforderlich sind.

Technische Zusammenfassung: Kalibrierte Unsicherheit aus Sprachmodell-Trajektorien ablesen

1. Problemstellung

Aktuelle Ansätze zur Unsicherheitsquantifizierung (UQ) für Large Language Models (LLMs) mit strukturiertem Output stehen vor einem Zielkonflikt zwischen Recheneffizienz und Kalibrierung. Die Standardmethode, Maximum Softmax Probability (MSP), ist rechnerisch kostenlos, aber oft schlecht kalibriert und weist falschen Vorhersagen eine hohe Konfidenz zu. Umgekehrt behandeln bestehende Methoden, die interne Aktivierungen untersuchen, verborgene Zustände typischerweise als statische Momentaufnahmen (entweder aus einer einzelnen Schicht oder gemittelt) und verwerfen dabei die schichtweise Trajektorie, durch die eine Repräsentation gebildet wird. Diese statische Sichtweise ignoriert, wie sich Evidenz über die Netzwerktiefe hinweg akkumuliert, verstärkt oder umkehrt, und verschleiert potenziell Unsicherheitssignale, die im Berechnungspfad vorhanden sind, aber nicht in der finalen Output-Verteilung.

2. Methodik

Die Autoren schlagen eine Methode vor, die Modellaktivierungen nicht als statische Zustände, sondern als repräsentationale Trajektorien behandelt. Der Ansatz umfasst drei Hauptkomponenten:

2.1. Das Substrat: MLP-Schreibvektoren

Anstatt rohe verborgene Zustände zu analysieren, konzentriert sich die Methode auf die MLP-Schreibvektoren ( $m_\ell$ ), die von dem Multi-Layer Perceptron (MLP) jedes Transformer-Blocks zum Residualstrom beitragen. Frühere Arbeiten zur mechanistischen Interpretierbarkeit deuten darauf hin, dass MLPs kritische Orte für die Speicherung faktischen Wissens sind.

Die Methode erfasst die Sequenz dieser Vektoren an der finalen Prompt-Position (der Ausleseposition) während eines einzigen Vorwärtsdurchlaufs.
Sie konstruiert eine diskrete Trajektorie im Repräsentationsraum durch Berechnung der kumulativen Summe dieser Vektoren: $s_\ell = \sum_{k \le \ell} m_k$ .
Die Trajektorie wird vom Anfangszustand ( $s_0 = 0$ ) bis zum finalen Endpunkt ( $s_L$ ) definiert.

2.2. Geometrische Merkmalsextraktion

Die Trajektorie wird pro Schicht unter Verwendung von elf skaleninvarianten geometrischen Merkmalen zusammengefasst, die in vier Kategorien gruppiert sind:

Tiefenverteilung: Misst, wie der Rechenaufwand (Update-Magnitude) über die Schichten verteilt ist (z. B. Front-Loading vs. Back-Loading).
Lokale Trajektorienform: Erfasst die Richtungskonsistenz (aufeinanderfolgende Kosinuswerte), abrupte Änderungen (Krümmung) und ob Updates den vorherigen Zustand verstärken oder widersprechen (Update-Zustands-Ausrichtung).
Beziehung zum Endpunkt: Misst, wie sich Schichten zur finalen Richtung verhalten, einschließlich Konvergenz (Richtung zum Endpunkt), Ausrichtung einzelner Updates (Update zum Endpunkt) und Identifikation von Schichten, die aktiv dem Endpunkt entgegenwirken (widersprüchliche Unterstützung).
Effizienz: Misst das Verhältnis der Netto-Verlagerung zur Gesamtpfadlänge (kumulative Kohärenz) und zeigt an, wie direkt die Trajektorie ihren Endpunkt erreicht.

2.3. Sparse Linearer Probe

Diese Merkmale werden in einen sparse linearen Probe (sparse logistische Regression) eingespeist, um die Fehlerwahrscheinlichkeit vorherzusagen.

Eingabe: Der Vektor der 11 Merkmale pro Schicht ( $\phi(x)$ ) und der MSP-Wert des Modells ( $p_{msp}$ ).
Interaktion: Das Modell enthält Interaktionsterme zwischen den Merkmalen und MSP, wodurch der Probe ermöglicht wird, geometrische Signale je nach der Basiskonfidenz des Modells unterschiedlich zu gewichten.
Training: Der Probe wird trainiert, um die klassenbalancierte binäre Kreuzentropie gegen einen Fehlerindikator zu minimieren, regularisiert mit einer Elastic-Net-Strafe zur Erzwingung von Sparsity. Dies ermöglicht dem Modell, prädiktive Merkmale direkt zu identifizieren, ohne eine separate Auswahlphase.

3. Hauptbeiträge

Trajektorienbasierte UQ: Die Autoren schlagen eine kompakte Menge geometrischer Merkmale vor, die die Evolution von Repräsentationen über die Netzwerktiefe beschreiben. Wenn diese einem sparse linearen Probe zugeführt werden, übertrifft diese Methode MSP unter selektiver Enthaltung, wobei die Leistungsgewinne mit der Fehlkalibrierung der Basis skaliert (bis zu 21 AURC-Punkte Verbesserung).
End-to-End-Interpretierbarkeit: Im Gegensatz zu undurchsichtigen dichten Proben auf rohen Aktivierungen hat jedes Merkmal eine geschlossene geometrische Bedeutung. Die Koeffizienten des Probes offenbaren, wie Fehler auftreten: welche Schichten vorzeitig konvergieren, welche den laufenden Zustand widersprechen und wo Trajektorien von ihrem Endpunkt abweichen.
Umfassende empirische Evaluation: Die Methode wurde über 9 instruierte LLMs (Qwen-, Llama-, DeepSeek-Familien, von 3B bis 72B Parametern) auf fünf verschiedenen NLP-Aufgaben (MMLU, CosmosQA, HellaSwag, HaluDial, HaluSum) evaluiert.

4. Experimentelle Ergebnisse

Leistung: Der Probe verbesserte sich gegenüber MSP bei 41 von 45 Modell-Datensatz-Paaren. Die Gewinne waren am signifikantesten, wo MSP am schlechtesten performte (hohe Fehlkalibrierung), wobei die AURC (Area Under the Risk-Coverage curve) in den schwierigsten Konfigurationen um 11,45 bis 21,83 Punkte reduziert wurde.
Vergleich mit Baselines: Der Probe erreichte oder übertraf einen hochkapazitären „Roh-Aktivierungs-Probe" (trainiert auf vollständigen verborgenen Zuständen) bei 24 Konfigurationen und blieb bei 6 weiteren innerhalb von 2 AURC-Punkten, obwohl er nur 11 skalare Merkmale verwendete.
Selektivität: Der Probe erzeugt glatte, monotone Risiko-Abdeckungskurven und vermeidet die instabilen, niedrigen Abdeckungsspitzen, die oft bei MSP auftreten. Er trennt korrekte von falschen Vorhersagen effektiv, selbst wenn die MSP-Konfidenzwerte identisch sind.
Interpretierbarkeitsbefunde:
- Korrekt vs. Falsch: Vorhersagen mit identischen MSP-Werten weisen unterschiedliche Trajektorien-Signaturen auf. Beispielsweise zeigen falsche Vorhersagen oft eine vorzeitige Ausrichtung mit der finalen Richtung in frühen Schichten, gefolgt von einem „Rückwärts-Schwenk" oder einer Abdrift.
- Aufgabenspezifität: Die geometrischen Signaturen von Fehlern variieren je nach Aufgabe. Bei HaluSum manifestierten sich Fehler als vorzeitiges Commitment gefolgt von einer späten, zustandsbrechenden Korrektur. Bei CosmosQA traten Fehler als Abdrift in mittlerer Tiefe orthogonal zur Antwortrichtung auf.
- Koeffizientenanalyse: Die Koeffizienten des Probes lokalisieren Fehlermechanismen. So konzentrierten sich beispielsweise bei HaluSum Fehlersignale im letzten Viertel des Netzwerks, während sie bei CosmosQA über die Tiefe verteilt waren.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Behandlung von Aktivierungen als Bewegung und nicht als statische Momentaufnahmen einen „bearbeitbaren Mittelweg" zwischen der Undurchsichtigkeit dichter Proben und dem begrenzten Signal von MSP bietet.

Auditierbare Unsicherheit: Da die Merkmale per Konstruktion interpretierbar sind, ermöglicht das resultierende Konfidenzsignal Praktikern nicht nur zu prüfen, ob ein Modell unsicher ist, sondern wo in seiner Berechnung diese Unsicherheit entsteht (z. B. spezifische Schichten oder geometrische Abweichungen).
Effizienz: Die Methode fügt beim Inferenzlauf vernachlässigbare Rechenkosten hinzu, erfordert nur einen einzigen Vorwärtsdurchlauf und einfache geometrische Berechnungen und vermeidet die hohen Kosten von sampling-basierten oder Ensemble-Ansätzen.
Limitationen: Die Autoren weisen darauf hin, dass ihre Analyse auf diskrete Wahlsettings (Multiple-Choice-Fragen) beschränkt ist und dass der Probe derzeit pro (Modell, Aufgabe) angepasst wird, wobei die Übertragbarkeit über Modelle und Aufgaben hinweg eine offene Frage bleibt.

Zusammenfassend zeigt die Arbeit, dass die Geometrie der Art und Weise, wie ein Sprachmodell eine Vorhersage zusammenfügt, reiche, interpretierbare Signale über Unsicherheit enthält, die für die finale Output-Verteilung unsichtbar sind, und damit eine zuverlässigere und auditierbare selektive Vorhersage ermöglicht.