💬 NLP

Tracing Uncertainty in Language Model "Reasoning"

Dieser Beitrag stellt eine Methode vor, die Unsicherheitsprofile von Sprachmodell-Ableitungsprozessen zu quantifizieren und zu analysieren, und zeigt, dass distinkte Muster in diesen Profilen die Richtigkeit von Antworten mit hoher Genauigkeit vorhersagen und eine frühe Fehlererkennung ermöglichen.

Ursprüngliche Autoren: Nils Grünefeld, Bertram Højer, Philipp Mondorf, Barbara Plank, Anna Rogers, Christian Hardmeier, Stefan Heinrich, Jes Frellsen

Veröffentlicht 2026-05-11

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Nils Grünefeld, Bertram Højer, Philipp Mondorf, Barbara Plank, Anna Rogers, Christian Hardmeier, Stefan Heinrich, Jes Frellsen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein großes Sprachmodell (LM) als Schüler vor, der einen sehr langen, komplexen Mathematik- oder Logiktest schreibt. Anstatt nur die endgültige Antwort aufzuschreiben, wird der Schüler aufgefordert, seine „Arbeitsweise" zu zeigen, indem er zunächst einen langen, schrittweisen Denkprozess niederschreibt. Dies ist das, was Forscher als „Chain-of-Thought" oder „Reasoning" (Schlussfolgern) bezeichnen.

Die große Frage, die diese Arbeit stellt, lautet: Können wir vorhersagen, ob der Schüler die richtige Antwort erhalten wird, während er noch schreibt, indem wir lediglich betrachten, wie „zuversichtlich" er in jedem einzelnen Schritt wirkt?

Hier ist die Aufschlüsselung ihrer Entdeckung, unter Verwendung einfacher Analogien:

1. Das „Vertrauens-Messgerät"

Normalerweise wählt ein Modell beim Generieren von Text das nächste Wort basierend auf Wahrscheinlichkeiten aus. Die Autoren entschieden sich, diesen Prozess wie ein Vertrauens-Messgerät zu behandeln, das schwankt, während der Schüler schreibt.

Die Spur: Die lange Zeichenkette von Wörtern, die das Modell vor der endgültigen Antwort schreibt, ist die „Spur".
Die Unsicherheit: Bei jedem einzelnen Wort besitzt das Modell ein Maß an „Unsicherheit" (wie unsicher es ist, was als Nächstes kommt).
Das Profil: Anstatt nur das Endergebnis zu betrachten, kartierten die Autoren die Form dieser Unsicherheit im Zeitverlauf. Sie nannten dies ein „Unsicherheits-Spurprofil".

2. Zwei Arten von „Verwirrung"

Die Arbeit unterscheidet zwischen zwei verschiedenen Arten von Verwirrung, die das Modell empfinden könnte, unter Verwendung einer Münzwurf-Analogie:

Aleatorische Unsicherheit (Die „Zufälligkeit"-Verwirrung): Dies ist wie das Werfen einer fairen Münze. Selbst wenn Sie alles über die Münze wissen, können Sie den nächsten Wurf nicht vorhersagen. Es ist einfach inhärent zufällig. Beim Modell tritt dies auf, wenn das Modell wirklich zwischen zwei oder vielen Optionen hin- und hergerissen ist.
Epistemische Unsicherheit (Die „Wissens"-Verwirrung): Dies ist wie das Werfen einer Münze, die Sie noch nie gesehen haben. Sie wissen nicht, ob sie fair oder beschwert ist. Sie sind verwirrt, weil Ihnen Informationen oder Trainingsdaten zu dieser spezifischen Situation fehlen.

3. Die „Form" von Erfolg versus Misserfolg

Die Forscher untersuchten Tausende von Beispielen für richtige und falsche Antworten. Sie stellten fest, dass die Form des Vertrauens-Messgeräts eine sehr klare Geschichte erzählt:

Der „gute" Schüler (Richtige Antwort): Während der Schüler seinen Denkprozess niederschreibt, wächst sein Vertrauen stetig. Das „Unsicherheits-Messgerät" fällt scharf und glatt ab, wie ein Skifahrer, der einen steilen, geraden Hang hinunterfährt. Sie werden sicherer in sich selbst, je näher sie der Ziellinie kommen.
Der „kämpfende" Schüler (Falsche Antwort): Ihr Vertrauens-Messgerät ist chaotisch. Es fällt nicht so schnell ab, und der Pfad ist wackelig und unregelmäßig. Sie scheinen falsche Optionen nacheinander zu „eliminieren", anstatt sich natürlich auf die richtige zu „konzentrieren".

Die zentrale Erkenntnis: Indem sie sich nur die ersten 300 Wörter des „Denkens" eines Schülers ansahen (bevor dieser das Problem überhaupt abgeschlossen hatte), konnten die Autoren mit 80 % Genauigkeit vorhersagen, ob die endgültige Antwort richtig oder falsch sein würde. Dies ist deutlich besser als frühere Methoden, die versuchten, basierend auf der endgültigen Antwort allein oder durch Zählen, wie oft das Modell sich wiederholte, zu raten.

4. Die „Falle" falschen Vertrauens

Eine der überraschendsten Entdeckungen war eine „Falle" im Versagen der Modelle.

Wenn ein Modell die Antwort falsch bekommt, sehen die Schritte, die es dorthin führte, oft sehr verwirrt aus (hohe Zufälligkeit/aleatorische Unsicherheit).
Die endgültige falsche Antwort, auf die es landet, wirkt jedoch oft überraschend zuversichtlich und vertraut (niedrige wissensbasierte/epistemische Unsicherheit).
Die Analogie: Stellen Sie sich einen Wanderer vor, der ziellos im Wald umherirrt (hohe Verwirrung während des Spaziergangs), aber schließlich in einen bekannten Parkplatz stolpert (niedrige Verwirrung am Ende). Der Wanderer denkt: „Ah, ich bin an einem sicheren Ort!", weil der Parkplatz wie einer aussieht, den er schon einmal gesehen hat, obwohl er einen schrecklichen Weg dorthin genommen hat. Das Modell ist zuversichtlich in die falsche Antwort, weil sie etwas ähnelt, das es in seinen Trainingsdaten gesehen hat, obwohl die Logik, die dorthin führte, wackelig war.

5. Warum dies wichtig ist (laut der Arbeit)

Die Arbeit behauptet, dass wir, indem wir den „Reasoning"-Prozess als Zeitreihe von Vertrauensniveaus behandeln, Folgendes können:

Fehler früh erkennen: Wir müssen nicht warten, bis das Modell fertig schreibt, um zu wissen, dass es wahrscheinlich falsch liegt.
Das „Warum" verstehen: Wir können sehen, wie das Modell scheitert. Es ist nicht nur so, dass die Antwort falsch ist; es ist so, dass der Weg zur Antwort „wackelig" war und das Modell unsicher bezüglich seiner Schritte war, auch wenn es sich bezüglich des Ziels sicher fühlte.

Kurz gesagt, haben die Autoren einen „Lügendetektor" für das Reasoning von KI entwickelt. Er liest nicht die Wörter, um zu prüfen, ob sie Sinn ergeben; er beobachtet den „Herzschlag" (Unsicherheit) der KI, um zu sehen, ob die Reise glatt und zuversichtlich (wahrscheinlich korrekt) oder wackelig und verwirrt (wahrscheinlich falsch) war.

Technische Zusammenfassung: Verfolgung von Unsicherheit im „Schlussfolgern" von Sprachmodellen

Problemstellung

Sprachmodelle (LMs) erzeugen zunehmend lange Sequenzen von Zwischentokens, die als „Schlussfolgerungs"-Spuren (engl. reasoning traces) bezeichnet werden (z. B. Chain-of-Thought oder Skalierung zur Laufzeit), welche die Leistung bei überprüfbaren Aufgaben wie mathematischem und logischem Schlussfolgern verbessern. Die Dynamik, die diesem generativen Prozess zugrunde liegt, bleibt jedoch weitgehend unverstanden. Zwar ist die Korrelation zwischen Spur-Länge und Leistung etabliert, doch die Mechanismen, die korrektes von inkorrektem Schlussfolgern unterscheiden, bleiben undurchsichtig. Bestehende Ansätze zur Verifizierung oder Verbesserung dieser Spuren aggregieren häufig Informationen (und verwerfen dabei die zeitliche Struktur) oder stützen sich auf semantischen Inhalt, was sich als unzuverlässig erwiesen hat. Darüber hinaus bleibt die Definition von „Schlussfolgern" in der KI umstritten; es gibt Hinweise darauf, dass Modelle semantisch ungültige Spuren erzeugen können, die dennoch korrekte Antworten liefern, oder gültig aussehende Spuren, die scheitern.

Diese Arbeit schließt die Lücke im Verständnis des generativen Prozesses, indem sie die „Schlussfolgerungs"-Spur nicht als statisches semantisches Objekt, sondern als einen sich entwickelnden Modellzustand behandelt, der durch Unsicherheit gekennzeichnet ist. Die Autoren gehen davon aus, dass die Dynamik der Unsicherheit im Verlauf der Generierung prädiktive Signale bezüglich der Korrektheit der endgültigen Antwort enthält, unabhängig vom semantischen Inhalt der Spur.

Methodik

Rahmenwerk zur Quantifizierung von Unsicherheit

Die Autoren wenden Unsicherheitsquantifizierung (UQ) an, um den generativen Prozess als Zeitreihe zu modellieren. Sie zerlegen die Unsicherheit in zwei Hauptkategorien, die für eine granulare Analyse weiter unterteilt werden:

Epistemische Unsicherheit ( $U_E$ ): Reflektiert den Mangel an Wissen des Modells bezüglich einer Vorhersage basierend auf seinen Trainingsdaten. Sie wird unter Verwendung der quadrierten $L_2$ -Norm des Gradienten der vorhergesagten Wahrscheinlichkeit bezüglich der Modellparameter geschätzt, abgeleitet durch eine Delta-Methode-Expansion erster Ordnung.
Aleatorische Unsicherheit: Reflektiert die inhärente Zufälligkeit der Aufgabe. Die Autoren unterscheiden zwei Subtypen:
- Commitment-Aleatorische Unsicherheit ( $U_C$ ): Die Bernoulli-Varianz der vorhergesagten Wahrscheinlichkeit des ausgewählten Tokens. Sie misst, wie „festgelegt" das Modell auf einen spezifischen Token ist (Konzentration) im Vergleich zur Auswahl eines Tokens durch Eliminierung vieler unwahrscheinlicher Alternativen.
- Verteilungsaleatorische Unsicherheit ( $U_D$ ): Die erwartete bedingte Entropie der Vorhersageverteilung über das gesamte Vokabular. Sie erfasst die Form der gesamten Verteilung, nicht nur den Modus.

Spuren- und Antwortkanäle

Für jede Token-Position $t$ in einer generierten Spur berechnen die Autoren diese drei Unsicherheitstypen über zwei Kanäle:

Spurenunsicherheit ( $U_{Tr}$ ): Das Ziel $y$ ist der nächste Token $v_t$ . Dies charakterisiert den Zustand des Modells bezüglich des unmittelbaren Generierungsschritts.
Antwortunsicherheit ( $U_A$ ): Das Ziel $y$ ist die spätere endgültige Antwort $\hat{y}$ . Dies charakterisiert den Zustand des Modells bezüglich der endgültigen Ausgabe und erfordert einen Vorwärts-/Rückwärtspass, der auf dem Spur-Präfix konditioniert ist, aber auf den endgültigen Antwortbereich angewendet wird.

Dies ergibt sechs Zeitreihen pro Generierung ( $U_{Tr}^D, U_{Tr}^C, U_{Tr}^E, U_{A}^D, U_{A}^C, U_{A}^E$ ).

Merkmalsengineering und Vorhersage

Um diese Zeitreihen zusammenzufassen, extrahieren die Autoren eine Reihe von Merkmalen für jede Unsicherheitsspur, die als Unsicherheitsprofil der Spur bezeichnet wird:

Statische Merkmale: Mittlere Unsicherheit in den frühen ( $\mu_{early}$ ), mittleren ( $\mu_{mid}$ ) und späten ( $\mu_{late}$ ) Segmenten der Spur.
Dynamische Merkmale: Die lineare Steigung ( $m$ ) der Unsicherheitstrajektorie und die Güte der Anpassung ( $r^2$ ) dieses linearen Trends.

Diese Merkmale werden verwendet, um binäre Klassifikatoren (Logistische Regression und Gradient Boosting) zu trainieren, um vorherzusagen, ob eine Spur eine korrekte endgültige Antwort liefert. Die Studie bewertet fünf Modelle (Llama-3.1, Llama-3.2, Qwen-2.5, DeepSeek R1, Qwen-3), die von Standard-LMs bis hin zu „Schlussfolgerungs"-Modellen (RMs) reichen, die mit Reinforcement Learning trainiert wurden, über zwei Datensätze: GSM8K (Mathematik) und ProntoQA (Logik).

Wichtige Ergebnisse

Prädiktive Leistung

Das Unsicherheitsprofil der Spur ist ein starker Prädiktor für die Korrektheit und übertrifft bestehende Baselines signifikant:

AUROC-Werte: Die Methode erzielt AUROC-Werte von bis zu 0,807 (Qwen-2.5 auf GSM8K) und verbessert damit den State-of-the-Art Circuit-Based Reasoning Verification (CRV) um 11,5 % sowie die Selbstgewissheit um bis zu 59 %.
Früherkennung: Die Korrektheit kann mit hoher Genauigkeit bereits unter Verwendung der ersten paar hundert Tokens vorhergesagt werden. Auf GSM8K erreicht das Modell am 300. Token einen AUROC-Wert von 0,801, was darauf hindeutet, dass Fehler früh im Generierungsprozess erkannt werden können.
Robustheit: Die prädiktive Kraft gilt über verschiedene Modellarchitekturen und Trainingsregime hinweg (Standard-LMs vs. RMs), wohingegen frühere Methoden wie Selbstgewissheit je nach Modelltyp eine variable Leistung zeigten.

Qualitative Unterschiede in der Unsicherheitsdynamik

Eine detaillierte Analyse korrekter versus inkorrekter Spuren zeigt distincte Muster:

Aleatorische Unsicherheit: Inkorrekte Spuren weisen im Allgemeinen höhere levels an Commitment- und Verteilungsunsicherheit während der gesamten Generierung auf als korrekte Spuren.
Epistemische Unsicherheit: Das Verhalten ist kontraintuitiv. Inkorrekte Spuren zeigen bei Schlussfolgerungsmodellen oft niedrigere epistemische Unsicherheit auf Spurebene ( $U_{Tr}^E$ ), was darauf hindeutet, dass die Schritte in einer inkorrekten Spur überraschend gut durch Trainingsdaten gestützt sind, obwohl sie zu einem falschen Schluss führen. Umgekehrt hat die endgültige falsche Antwort oft eine niedrigere epistemische Unsicherheit auf Antwortebene als die korrekte Antwort.
Zeitliche Dynamik: Korrekte Spuren zeigen tendenziell einen steileren und lineareren Rückgang der Unsicherheit (höheres $r^2$ ), während die Generierung fortschreitet. Inkorrekte Spuren zeigen oft flachere, weniger lineare Trajektorien oder, im Fall von RMs, einen steileren Rückgang, der auf eine falsche, gut gestützte Antwort konvergiert.

Bedeutung und Behauptungen

Die Arbeit beansprucht, eine prinzipielle Linse für die Untersuchung des generativen Prozesses des „Schlussfolgerns" von LMs zu bieten, die auf Entscheidungsfindung unter Unsicherheit basiert. Ihre Hauptbeiträge sind:

Zeitliche Charakterisierung: Im Gegensatz zu früheren Arbeiten, die Unsicherheit aggregieren oder sich auf versteckte Zustände verlassen, behandelt dieser Ansatz die Spur als sich entwickelnde Zeitreihe und erfasst, wie und wo sich die Qualität des Schlussfolgerns ändert.
Diagnostische Signale: Die Studie zeigt, dass aleatorische und epistemische Unsicherheit diagnostische Signale in entgegengesetzte Richtungen tragen. Ein Fehlermodus ist durch erhöhte aleatorische Unsicherheit (was auf Schwierigkeit oder mangelndes Commitment hindeutet) gepaart mit gedämpfter epistemischer Unsicherheit (was darauf hindeutet, dass der falsche Weg dem Modell vertraut ist) gekennzeichnet. Keine dieser Maßnahmen allein enthüllt diesen Fehlermodus.
Praktischer Nutzen: Die hohe prädiktive Kraft früher Spur-Dynamiken legt eine praktische Anwendung für selektive Generierung und Skalierung zur Laufzeit nahe, bei der Spuren basierend auf Unsicherheitsprofilen neu gesampelt oder vor Abschluss der vollständigen Generierung frühzeitig beendet werden könnten.
Komplementarität zur semantischen Analyse: Die Autoren argumentieren, dass eine auf Unsicherheit basierende Analyse Fehler identifizieren kann, die eine semantische Inspektion übersieht, wie durch Fallstudien belegt, in denen sich das Modell auf eine falsche Interpretation (z. B. Verhältnis vs. Differenz) festlegt, die mit einem deutlichen Unsicherheitsspike einhergeht, den eine semantische Analyse möglicherweise übersehen würde.

Die Autoren nehmen eine bescheidene Haltung ein und erkennen an, dass ihre Methode auf Approximationen der Unsicherheit beruht (insbesondere der isotropen Approximation für epistemische Unsicherheit) und dass die Ergebnisse zwischen Datensätzen variieren können (z. B. GSM8K vs. ProntoQA) aufgrund von Verteilungsverschiebungen. Sie positionieren diese Arbeit als Proof-of-Concept für die Informativität von Unsicherheitsmaßen über Schlussfolgerungsspuren hinweg und laden zukünftige Arbeiten ein, sich auf andere Aufgaben und Architekturen auszudehnen.