💬 NLP

How Language Models Fail: Token-Level Signatures of Committed and Persistent Reasoning Failures

Diese Arbeit identifiziert und charakterisiert zwei distinkte Token-Ebene-Schlussfolgerungsfehlermodi in Sprachmodellen – committed failure, gekennzeichnet durch ein frühes Pfad-Locking, und persistent uncertainty, charakterisiert durch kumulierende Zweifel – und zeigt auf, dass diese Signaturen über diverse Konfigurationen hinweg reproduzierbar sind und die Optimierung von Strategien zur Fehlererkennung wie Self-Consistency leiten können.

Ursprüngliche Autoren: Tanvi Thoria, Kiana Jafari, Marc R. Schlichting, Mykel J. Kochenderfer

Veröffentlicht 2026-06-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tanvi Thoria, Kiana Jafari, Marc R. Schlichting, Mykel J. Kochenderfer

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie beobachten einen Detektiv bei der Lösung eines Rätsels. Manchmal macht der Detektiv frühzeitig einen Fehler, legt sich auf den falschen Verdächtigen fest und verbringt den Rest des Films damit, selbstbewusst zu argumentieren, warum dieser Verdächtige schuldig ist, obwohl er unschuldig ist. Ein anderes Mal ist der Detektiv die ganze Zeit über wirklich verwirrt, wühlt sich durch Hinweise und ist sich bis zur letzten Sekunde unsicher über die Antwort.

In dieser Arbeit geht es darum herauszufinden, welche Art von Fehler ein Large Language Model (LLM) macht, indem man beobachtet, wie es „denkt“ (seine Chain of Thought), während es seine Antwort schreibt. Die Forscher fanden heraus, dass Modelle nicht nur auf eine Weise scheitern, sondern in zwei unterschiedlichen Mustern, und dass das Erkennen des Musters verändert, wie wir versuchen sollten, den Fehler abzufangen.

Hier ist eine Aufschlüsselung ihrer Ergebnisse unter Verwendung einfacher Analogien:

1. Die zwei Arten von Fehlern

Die Forscher entdeckten, dass ein Modell, wenn es eine Antwort falsch berechnet, normalerweise auf eine von zwei Arten scheitert:

Typ A: Die „Frühe Festlegung“ (Der sture Detektiv)

Was passiert: Das Modell wählt sehr früh in seinem Denkprozess einen falschen Pfad. Sobald es diesen Pfad gewählt hat, ist es „festgefahren“. Es hört auf, andere Möglichkeiten zu untersuchen, und schreibt einfach nur mehr Sätze, um diese falsche Idee zu unterstützen.
Das Erkennungsmerkmal: Wenn man sich die „Unsicherheit“ (wie unsicher es sich fühlt) des Modells während des Schreibens ansieht, sieht man einen Anstieg zu Beginn, und danach sinkt sie. Das Modell wird zu schnell zu selbstbewusst.
Die Lehre: Man muss nicht die ganze Geschichte zu Ende lesen, um zu wissen, dass es falsch ist. Tatsächlich kann das Lesen des Endes der Geschichte einen sogar verwirren, weil das Modell so selbstbewusst in seiner falschen Antwort ist, dass es wie eine gute Antwort aussieht. Der beste Zeitpunkt, um diesen Fehler zu entdecken, ist direkt nach dem ersten großen Fehler des Modells.

Typ B: „Anhaltende Unsicherheit“ (Der verwirrte Detektiv)

Was was passiert: Das Modell legt sich nie wirklich fest. Es wandert durch die Argumentation, ohne sich die ganze Zeit sicher zu sein. Es ändert ständig seine Meinung oder zögert bis zum letzten Wort.
Das Erkennungsmerkmal: Die Unsicherheit des Modells bleibt hoch oder baut sich von Anfang bis Ende langsam auf. Es legt sich nie auf einen einzigen Pfad fest.
Die Lehre: Man muss die ganze Geschichte lesen, um zu wissen, ob es gescheitert ist. Wenn man mittendrin aufhört, könnte man denken, das Modell sei nur vorsichtig. Der Fehler wird erst deutlich, wenn man den ganzen chaotischen Gedankenpfad sieht.

2. Wie sie das herausgefunden haben (Das „Unsicherheits-Meter“)

Die Forscher mussten nicht in das Gehirn des Modells schauen (was für viele populäre KI-Modelle unmöglich ist). Stattdessen betrachteten sie die Log-Wahrscheinlichkeiten – eine technische Art zu sagen: „Wie sicher war sich das Modell bei jedem einzelnen Wort, das es getippt hat.“

Sie behandelten die Argumentation des Modells wie einen Film. Sie beobachteten das „Unsicherheits-Meter“, wie es mit jedem getippten Wort des Modells auf- und abging.

Bei Typ A zeigte das Meter einen klaren Peak zu Beginn und flachte dann ab.
Bei Typ B stieg das Meter weiter an oder blieb bis zum Ende hoch.

Sie testeten dies an 23 verschiedenen Kombinationen von KI-Modellen und Aufgaben (wie Mathematik, Programmierung und Naturwissenschaften). In 20 von 23 Fällen hielt ihre Theorie perfekt stand. Sie konnten zwischen einem „sturen“ Fehler und einem „verwirrten“ Fehler unterscheiden, indem sie einfach nur diese Muster betrachteten.

3. Warum das wichtig ist: Die „Zweitmeinungs“-Strategie

Die Arbeit untersuchte auch einen gängigen Trick namens Self-Consistency. Dabei stellt man der KI dieselbe Frage 10 Mal und nimmt die Antwort, die am häufigsten vorkommt.

Für das „sture“ Modell (Typ A): Dieselbe Frage 10 Mal zu stellen, ist nutzlos. Wenn das Modell stur ist, wird es 10 Mal hintereinander die gleiche falsche Antwort geben. Die „Mehrheitsentscheidung“ wird nur die falsche Antwort bestätigen. In diesem Fall ist es tatsächlich besser, die Unsicherheit einer einzelnen Antwort zu betrachten, als die Frage mehrmals zu stellen.
Für das „verwirrte“ Modell (Typ B): Die Frage 10 Mal zu stellen, ist sehr hilfreich. Da das Modell wirklich unsicher ist, wird es jedes Mal andere Antworten geben. Die Tatsache, dass es sich nicht mit sich selbst einigen kann, ist ein riesiges Warnsignal.

Das Fazit

Die Arbeit argumenttiert, dass wir keinen „Einheitsansatz“ verwenden sollten, um KI-Fehler abzufangen.

Wenn die KI früh auf eine falsche Idee festlegt, sollten wir sie schnell erfassen, indem wir auf ihre frühen Konfidenzniveaus achten, und wir sollten nicht versuchen, eine Zweitmeinung einzuholen (da sie den Fehler einfach nur wiederholen wird).
Wenn die KI wirklich verwirrt ist, sollten wir sie ihren Gedankenprozess zu Ende führen lassen und dann nach mehreren Meinungen fragen, um zu sehen, ob sie sich mit sich selbst einigen kann.

Indem wir verstehen, wie die KI scheitert, können wir das richtige Werkzeug wählen, um den Fehler abzufangen, was Zeit spart und die Zuverlässigkeit verbessert.

Technisches Resümee: Wie Sprachmodelle versagen: Token-Ebene-Signaturen von festgefahrenen und persistenten Denkfehlern

Problemstellung

Die Erkennung, wann Large Language Models (LLMs) bei komplexen Denkaufgaben scheitern werden, bleibt eine kritische Herausforderung für die Zuverlässigkeit im Einsatz. Bestehende Methoden zur Fehlererkennung, wie etwa Selbstkonsistenz (das Sampling mehrerer Chain-of-Thought-Pfade) und Unsicherheitsquantifizierung, behandeln das Scheitern typischerweise als ein binäres Vorhersageproblem. Diese Ansätze gehen davon aus, dass die Entstehung eines Fehlers ein singulärer Prozess ist, was die Fähigkeit einschränkt, Erkennungsstrategien anzupassen. Insbesondere versagt die Selbstkonsistenz, wenn ein Modell sich frühzeitig auf einen falschen Denkpfad „festlegt“ (committed) und diesen falschen Pfad über mehrere Samples hinweg konsistent reproduziert. Umgekehrt sind für Modelle, die während eines gesamten Trace echte Unsicherheit zeigen, einzelne Stichproben-Unsicherheitssignale möglicherweise unzureichend. Das Paper argumentiert, dass Denkfehler durch unterschiedliche Prozesse entstehen, die verschiedene Erkennungsstrategien erfordern, während aktuelle Methoden unabhängig von der zugrunde liegenden Fehlerart einen einheitlichen Ansatz anwenden.

Methodik

Die Autoren schlagen ein Framework vor, das Denkfehler mithilfe von Unsicherheitssignalen auf Token-Ebene charakterisiert, die aus Chain-of-Thought (CoT)-Traces abgeleitet werden. Das Framework benötigt lediglich Log-Wahrscheinlichkeiten aus einer einzigen Modell-Vervollständigung, wodurch es für geschlossene API-Frontier-Modelle (z. B. GPT-4o, Gemini) anwendbar ist, bei denen die internen Gewichte nicht zugänglich sind.

Kernkonzepte

Fehlermodi: Das Framework identifiziert zwei qualitativ unterschiedliche Fehlermodi:
- Festgefahrener Fehler (Committed Failure): Das Modell verriegelt sich früh in einem Trace auf einen falschen Denkpfad. Unsicherheitssignale sind am aussagekräftigsten über ein frühes Präfix des Traces; das Hinzufügen nachfolgender Token verwässert das Signal.
- Persistente Unsicherheit (Persistent Uncertainty): Das Modell legt sich nie auf einen einzelnen Pfad fest. Die Unsicherheit akkumuliert sich monoton über den gesamten Trace, und der vollständige Trace ist erforderlich, um fehlerhafte von erfolgreichen Vervollständigungen zu unterscheiden.
Commitment-Punkt ( $T^*$ ): Definiert als die Token-Position in einem Denk-Trace, an der Unsicherheitssignale am aussagekräftigsten für ein Scheitern sind. Jenseits dieses Punktes stellen nachfolgende Token eher Rauschen als ein Signal bezüglich des endgültigen Ergebnisses dar.
Unsicherheitsmerkmale: Die Autoren berechnen fünf Token-Ebene-Signale über Präfix-Fenster ( $W_T$ ) des Denk-Traces:
- Entropie: Streuung der Top- $K$ -Verteilung.
- Margin: Differenz zwischen den zwei höchsten Wahrscheinlichkeiten.
- NLL (Negative Log-Likelihood): Konfidenz in das Top-Token.
- Nucleus: Tokens, die benötigt werden, um einen Schwellenwert von 0,9 Wahrscheinlichkeit abzudecken.
- Near-Tie: Anteil der Top- $K$ -Tokens innerhalb von 90 % der Top-Wahrscheinlichkeit.
- Aggregation: Sowohl Mittelwert- als auch Maximum-Merkmale werden für jedes Signal über das Fenster berechnet.
Diagnostische Metrik (PR-AUC): Das Framework nutzt die Precision-Recall Area Under the Curve (PR-AUC), um die Fehlererkennung bei variierenden Präfix-Fenstergrößen zu quantifizieren.
- Committed Signature: Eine invertierte U-Form in der PR-AUC-Kurve. Die Vorhersagekraft erreicht ihren Höhepunkt bei $T^*$ und sinkt, wenn sich das Fenster erweitert.
- Persistente Signatur: Eine monoton steigende PR-AUC-Kurve, bei der der vollständige Trace immer besser abschneidet als jedes frühe Fenster.
Pre-final Analyse: Um den Störfaktor der Trace-Länge zu kontrollieren (da fehlerhafte Modelle oft längere Traces schreiben), entfernt das Framework alle Tokens, die nach dem Marker für die finale Antwort auftreten, bevor die Unsicherheitssignale berechnet werden.

Experimentelles Setup

Das Framework wurde über 23 Modell-Datensatz-Konfigurationen evaluiert, bestehend aus:

Modelle: Fünf Familien (Qwen, Llama, GPT-OSS, Gemma, GPT-4o/Gemini) mit einer Spanne von 2B bis 122 Parametern, einschließlich Open-Source- und Frontier-Modellen.
Datensätze: Vier Denkdomänen (GSM8K, MATH-500, GPQA Diamond, LiveCodeBench).
Einschränkungen: Die Experimente wurden auf Konfigurationen beschränkt, die Fehlerraten zwischen 15 % und 60 % aufweisen und über eine ausreichende Anzahl an Fehlern für statistische Zuverlässigkeit verfügen. Bei Frontier-Modellen war der Zugriff auf die Top-20 Log-Wahrscheinlichkeiten beschränkt.

Kernergebnisse

Reproduzierbarkeit der Fehlermodi: Die falsifizierbaren Vorhersagen des Frameworks hielten in 20 von 23 Fällen stand, was signifikant über dem Zufall liegt.
- Festgefahrener Fehler: Beobachtet in 14 Konfigurationen (z. B. Gemma4-31B auf LiveCodeBench, GPT-OSS-20B auf MATH-500). Diese zeigten die vorhergesagte invertierte U-förmige PR-AUC-Kurve mit einem deutlichen Commitment-Punkt.
- Persistente Unsicherheit: Beobachtet in 9 Konfigurationen (z. B. Llama3.1-8B auf MATH-500, Qwen3.5-122B auf GPQA). Diese zeigten monoton steigende PR-AUC-Kurven, bei denen der vollständige Trace strikt informativer war als jedes Präfix.
Statistische Validierung: Die meta-analytische Zusammenführung bestätigte die bidirektionalen Vorhersagen:
- Sign-Test für festgefahrene Konfigurationen: 14/14 konsistent ( $p = 6,1 \times 10^{-5}$ ).
- Gemeinsamer Sign-Test über alle Konfigurationen: 20/23 konsistent ( $p = 2,4 \times 10^{-4}$ ).
- Die gepoolte Effektstärke ( $\hat{\Delta}$ ) für festgefahrene Fälle betrug $+0,013$ (95 % KI $[+0,005, +0,020]$ ).
Implikationen für die Selbstkonsistenz:
- Committed Regime: Selbstkonsistenz ist hier ineffektiv, da das Modell denselben falschen Pfad reproduziert. Hier bieten Unsicherheitssignale aus einer einzelnen Vervollständigung (speziell frühe Fenster-Features) eine überlegene Detektion. Die Autoren zeigen, dass für festgefahrene Modelle die Selbstkonsistenz für die obersten 30 % der konfidenten Inputs übersprungen werden kann, ohne die Recall-Rate für Fehler zu opfern.
- Persistentes Regime: Selbstkonsistenz bleibt effektiv, da das Scheitern als Diskrepanz zwischen den Vervollständigungen auftritt.
- Komplementarität: Die Kombination von Single-Completion-Unsicherheit mit der Selbstkonsistenz-Übereinstimmungsrate verbesserte die PR-AUC über alle getesteten Regime hinweg konsistent, da sie die innerhalb einer Vervollständigung liegende Denkqualität erfasst, die Übereinstimmungsraten allein übersehen.

Bedeutung und Ansprüche

Das Paper beansprucht, ein grundlegendes Framework dafür zu bieten, wann und wie Denkfehler von LLMs detektierbar werden. Durch die Charakterisierung von Fehlern als entweder „festgefahren“ (committed) oder „persistent“ argumentieren die Autoren, dass Detektionsstrategien an den spezifischen Fehlermodus angepasst werden sollten, anstatt einheitlich angewendet zu werden.

Zentrale Beiträge sind:

Token-Ebene-Signaturen: Der Nachweis, dass Unsicherheitssignale auf Token-Ebene zwischen zwei unterschiedlichen Fehlprozessen unterscheiden können, wobei nur externe Log-Wahrscheinlichkeiten genutzt werden.
Identifikation des Commitment-Punkts: Definition und empirische Validierung eines spezifischen Punktes in einem Denk-Trace, an dem das Modell sich auf einen Pfad festlegt, was den Übergang vom Signal zum Rauschen markiert.
Praktische Leitlinien für den Einsatz: Bereitstellung eines Mechanismus, um zu entscheiden, wann Selbstkonsistenz notwendig ist versus wann sie selektiv übersprungen werden kann, sowie der Nachweis, wie Unsicherheitsmerkmale bestehende Verifikationsmethoden ergänzen.

Die Autoren formulieren ihre Ansprüche bescheiden und weisen darauf hin, dass das Framework auf sichtbaren CoT-Traces operiert (ohne zu behaupten, dass diese Traces die interne Berechnung perfekt widerspiegeln) und durch API-Beschränkungen beim Zugriff auf Log-Wahrscheinlichkeiten begrenzt ist. Sie betonen zudem, dass das Framework eine moderate Fehlerrate benötigt, um zuverlässig zu funktionieren, und dass der Commitment-Punkt auf der Granularität von Fenstergrößen statt auf exakten Token-Positionen identifiziert wird.