🤖 AI

The Knowing-Saying Gap: When Probes See Errors that Confidence Misses

Diese Arbeit zeigt auf, dass lineare Probes zwar korrupten Kontext in Sprachmodellen präzise erkennen können, jedoch daran scheitern, die Korrektheit der finalen Antwort zuverlässig vorherzusagen oder effektive Echtzeit-Interventionen zu steuern, was modellbewusste und fehlerartenspezifische Routing-Strategien anstelle einer Einheitslösung für das Monitoring erforderlich macht.

Ursprüngliche Autoren: Jyotin Goel, Ipshita Bandyopadhyay, Justin Shenk

Veröffentlicht 2026-08-11

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jyotin Goel, Ipshita Bandyopadhyay, Justin Shenk

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie beobachten einen Zauberer bei einem Kartentrick. Der Zauberer ist so geschmeidig, so selbstbewusst und so schnell, dass Sie keinen Verdacht schöpfen. Aber was wäre, wenn tief im Inneren des Gehirns des Zauberers ein winziger Alarm schreien würde: „Warte! Ich habe gerade die falsche Karte getauscht!“? In der Welt der Künstlichen Intelligenz, speziell bei Large Language Models (den superintelligenten Chatbots, die Code schreiben, Reisen planen und Matheaufgaben lösen), passiert genau das. Diese Modelle sind wie der Zauberer: Sie können mit vollkommener Zuversicht sprechen, selbst wenn sie einen furchtbaren Fehler machen.

Wissenschaftler hofften schon lange, dass ein Modell, wenn es verwirrt oder im Unrecht ist, „stottern“ oder sagen würde: „Ich bin mir bei diesem Punkt nicht sicher.“ Diese Idee wird als „verbalisierte Konfidenz“ bezeichnet. Es ist, als würde man den Zauberer fragen: „Sind Sie sicher, dass das die richtige Karte ist?“ und hoffen, dass er seinen Fehler zugibt. Aber es gibt einen anderen Weg, um zu prüfen: Man schaut sich die internen „Gehirnwellen“ des Modells an (mathematische Signale innerhalb des Computers), um zu sehen, ob es weiß, dass es Mist gebaut hat, selbst wenn es es nicht ausspricht. Diese Arbeit untersucht eine beängstignde, aber faszinierende Lücke: den Unterschied zwischen dem, was ein Modell in seinem digitalen Gehirn weiß, und dem, was es laut sagt.

Der stille Alarm und die selbstbewusste Lüge

Die Forscher richteten einen digitalen Spielplatz ein, um dies zu testen. Sie erstellten 1.400 Matheaufgaben, die von einem Modell erforderten, ein Rätsel Schritt für Schritt zu lösen, wie eine Kettenreaktion. Zum Beispiel: „Wenn ich 5 Äpfel habe und 3 weitere kaufe, dann die Hälfte verliere...“ Der Trick dabei war, dass sie heimlich einen Fehler im allerersten Schritt der Kette eingebaut hatten. Sie wollten zwei Dinge herausfinden:

Der Alarm: Konnte ein spezieller Detektor (ein sogenannter „Linear Probe“) erkennen, dass der erste Schritt falsch war, indem er nur die interne Gehirnaktivität des Modells betrachtete?
Die Vorhersage: Konnte derselbe Detektor vorhersagen, dass die Endantwort falsch sein würde?

Sie testeten fünf verschiedene Modelle, darunter einige der derzeit klügsten verfügbaren Modelle wie Llama-3.1-8B und Qwen3-4B.

Die große Entdeckung: Wissen, aber nicht sagen

Die Ergebnisse waren ein Schock. Der „Alarm“ funktionierte perfekt. Wenn das Modell einen Fehler machte, konnte der Detektor den Fehler in den internen Gehirnwellen des Modells mit einer Genauigkeit von nahezu 100 % erkennen (speziell einen AUROC-Wert von 0,997 für ein Modell). Es war, als würde das Gehirn des Modells schreien: „FEHLER! FEHLER!“

Aber hier liegt die Wendung: Das Modell hörte nicht auf seinen eigenen Alarm.

Obwohl der interne Alarm dröhnte, war die Endantwort des Modells genauso selbstbewusst, als wäre sie richtig gewesen. Der Detektor, der den Fehler perfekt sehen konnte, war völlig nutzlos bei der Vorhersage, ob die Endantwort falsch sein würde. Es ist, als hätte man einen Rauchmelder, der „FEUER!“ schreit, wenn man Toast anbrennt, aber die Feuerwehr (die Endantwort des Modells) kommt trotzdem an und sagt: „Alles bestens, hier brennt nichts.“

Die Arbeit schließt explizit einige Dinge aus, die Menschen vielleicht hoffen würden:

Konfidenz ist kein Hinweis: Als sie die Modelle fragten, wie sicher sie sich waren, gaben die Modelle lediglich ein binäres „Ja“ oder „Nein“ ohne echte Nuancen ab. Ein Modell, das sich zu 99 % sicher war, war genauso wahrscheinlich falsch wie ein Modell, das sich nur zu 50 % sicher war.
Härteres Nachdenken hilft nicht: Sie testeten einen „Denkmodus“, bei dem das Modell gezwungen wurde, seine Argumentation Schritt für Schritt aufzuschreiben (Chain-of-Thought). Man könnte denken, dass dies dem Modell helfen würde, seine eigenen Fehler zu finden. Stattdessen machte es das Modell schlechter darin, die richtige Antwort zu finden (ein Abfall der Genauigkeit von 27,9 % auf 1,2 %), ohne jedoch zu ändern, dass der interne Alarm weiterhin anging. Das Modell wusste, dass es falsch lag, aber darüber zu sprechen, behob das Problem nicht.

Können wir es reparieren? Die „Branch-and-Pick“-Strategie

Da die Modelle nicht zugeben wollen, dass sie falsch liegen, versuchten die Forscher, als „Sicherheitsnetz“ für sie zu fungieren. Sie bauten ein System, das auf den internen Alarm hört und versucht, den Fehler zu korrigieren, bevor das Modell seine Antwort beendet. Sie testeten drei verschiedene Wege für ein Eingreifen:

Reprompt: Dem Modell einfach zu sagen: „Hey, überprüfe deine Arbeit!“ (Dies funktionierte nicht gut).
Replace-Prior: Den falschen Schritt löschen und das Modell zwingen, von vorne zu beginnen. Dies war ein gemischtes Ergebnis; es rettete einige falsche Antworten, machte aber versehentlich einige korrekte Antworten kaputt.
Branch-and-Pick: Dies war der Gewinner. Wenn der Alarm anging, rät das System nicht einfach; es fordert das Modell auf, den nächsten Schritt auf vier verschiedene Arten auszuprobieren (unter Verwendung unterschiedlicher Grade an Zufälligkeit). Dann nutzt es den internen Alarm, um den Pfad auszuwählen, der am „saubersten“ aussieht (am wenigsten korrumpiert scheint).

Diese „Branch-and-Pick“-Methode war die einzige, die konsistent falsche Antworten rettete, ohne korrekte Antworten zu zerstören. Bei einem spezifischen Modell (Llama-3.1-8B) rettete sie 4 falsche Antworten und zerstörte 0 korrekte. Die Arbeit stellt jedoch fest, dass dies kein Allheilmittel für jede Situation ist. Der Erfolg hing stark davon ab, welche Art von Fehler gemacht wurde. Zum Beispiel funktionierte das Korrigieren eines „falschen Einheiten“-Fehlers großartig, aber das Korrigieren eines „falschen Prozentsatz“-Fehlers machte die Sache tatsächlich schlimmer.

Das Fazze

Die Arbeit kommt zu dem Schluss, dass wir den Worten eines Modells nicht vertrauen können, um zu wissen, ob es recht hat. Ein Modell kann sich intern eines Desasters bewusst sein, während es gleichzeitig selbstbewusst eine falsche Antwort liefert. Die „Wissen-Sagen-Lücke“ (Knowing-Saying Gap) ist real und gefährlich.

Die Lösung besteht nicht darin, das Modell zu mehr Ehrlichkeit zu bewegen, sondern ein „modell-bewusstes“ Sicherheitssystem zu bauen. Wir müssen auf die internen Alarme (die Probes) hören und intelligente Strategien wie „Branch-and-Pick“ anwenden, um Fehler abzufangen. Aber wir müssen auch vorsichtig sein: Es gibt keine einzelne Lösung, die für jede Art von Fehler oder jedes Modell gleichermaßen funktioniert. Die Zukunft der sicheren KI liegt nicht darin, dem Selbstvertrauen des Chatbots zu vertrauen; es geht darum, ein Schutzschild zu bauen, das weiß, wann der Chatbot sich selbst anlügt.

Technisches Resümee: Die Wissens-Sprech-Lücke in Sprachmodellen

Problemstellung

Das Paper adressiert ein kritisches Zuverlässigkeitsproblem beim Einsatz von Large Language Models (LLMs), insbesondere innerhalb agentischer Pipelines, in denen Modelloutputs in den zukünftigen Kontext zurückfließen (z. B. Coding-Agenten, mehrstufige Planung). In diesen Settings propagiert ein einzelner Fehler in einem frühen Schritt durch den nachfolgenden Kontext, was zu einer „kaskadierenden Kontextkorruption“ führt. Das Kernproblem ist eine Dissoziation zwischen internem Zustand und verbalisiertem Output: Modelle generieren oft weiterhin flüssigen, selbstbewussten Text, selbst nachdem ihre interne Berechnung durch einen Fehler korrumpiert wurde. Diese „Flüssigkeit ohne Treue“ (fluency without fidelity) macht Standard-Monitoring-Techniken, wie das Abfragen der verbalisierten Konfidenz oder der Selbstkritik des Modells, unwirksam, da das interne Wissen des Modells über den Fehler nicht in sein Oberflächenverhalten übersetzt wird.

Methodik

Die Autoren untersuchen dieses Phänomen unter Verwendung eines kontrollierten, kontrastiven experimentellen Designs:

Datensatz: Ein synthetischer Datensatz aus 1.400 Multi-Hop-Arithmetik-Spuren, die aus 500 Basisfragen generiert wurden. Der Datensatz enthält „saubere“ Spuren und „korrumpierte“ Spuren, bei denen ein spezifischer Hop (Schritt) durch einen synthetisch falschen Wert ersetzt wurde. Es werden fünf verschiedene Fehlertypen verwendet: off_by_one, wrong_operator, wrong_unit, magnitude_error und wrong_percentage_base.
Modelle: Die Evaluierung umfasst fünf Modelle aus zwei Familien (Qwen und Llama), einschließlich instruktionsgesteuerter und Reasoning-Varianten (Thinking-Mode), mit einer Größe von 3B bis 8B Parametern.
Probe-Training: Eine lineare Sonde (logistische Regression) wird auf den Aktivierungen des Residual-Streams der eingefrorenen Modelle trainiert. Die Sonde wird darauf trainiert, zwischen sauberen und korrumpierten Kontexten zu unterscheiden, wobei zwei Aggregationsmodi verwendet werden: Last-Token und Mean-over-Tokens.
Schlüsselsignale (Metrics):
- Detektion ( $AUROC_{detect}$ ): Die Fähigkeit der Sonde, einen korrumpierten Kontext von einem sauberen Kontext zu unterscheiden.
- Fehlervorhersage ( $AUROC_{fail}$ ): Die Fähigkeit der Sonde vorherzusagen, ob die Korruption zu einer falschen finalen Antwort führen wird, vorausgesetzt, der Fehler ist bereits aufgetreten.
- Oberflächensignale: Sechs skalare Unsicherheitssignale (z. B. Entropie, Konfidenz, Vocabulary Gap) werden aus den Token-Logits berechnet, um als Baselines zu dienen.
Interventionen: Drei sondengesteuerte Strategien werden getestet, um zu sehen, ob die Detektion des Fehlers die finale Genauigkeit verbessern kann:
1. Reprompt: Hinzufügen einer Instruktion zur Überprüfung (Recheck).
2. Replace-prior: Regeneration des vorherigen Hops von Grund auf neu.
3. Branch-and-pick: Sampling mehrerer Fortsetzungen und Auswahl derjenigen mit dem niedrigsten Probe-Error-Score.

Zentrale Beiträge

Kontrastiver Datensatz: Ein deterministischer, menschenfreier Datensatz von 1.400 Spuren mit fünf Fehlertypen, evaluiert über instruktionsgesteuerte und Reasoning-Modellvarianten hinweg.
Zusammenbruch von Detektion vs. Fehlervorhersage: Eine Charakterisierung, die zeigt, dass Probes zwar Korruption mit nahezu perfekter Genauigkeit detektieren können, aber scheitern, vorherzusagen, ob diese Korruption zu einer finalen falschen Antwort führt.
Interventionsanalyse: Ein kontrollierter Vergleich von drei Interventions-Policies, der zeigt, dass keine einzelne Strategie universell effektiv ist; die Wirksamkeit hängt stark vom spezifischen Modell und Fehlertyp ab.
Widerlegtes Hypothesenmodell: Die Autoren haben eine Hypothese vorregistriert und anschließend widerlegt, dass die „Persistenz der Probe-Aktivierung über Hops hinweg“ den Fehler vorhersagt.
Robustheitskontrollen: Belege dafür, dass das Detektionssignal kein Artefakt von Data Leakage oder oberflächlichen Token-Signaturen ist, demonstriert durch Grouped Cross-Validation und Leave-One-Error-Type-Out-Evaluierungen.

Ergebnisse

1. Die Wissens-Sprech-Dissoziation

Hohe Detektionsgenauigkeit: Lineare Sonden detektieren injizierte Fehler mit $AUROC_{detect} > 0,98$ über alle Modelle hinweg, mit einem Peak von 0,997 bei Llama-3.1-8B. Das Signal entsteht primär beim Übergang zwischen Layer 0 und Layer 1.
Versagen der Fehlervorhersage: Trotz hoher Detektionsgenauigkeit sind dieselben Sonden nicht informativ bezüglich der Korrektheit der finalen Antwort. $AUROC_{fail}$ bricht über alle Modelle hinweg auf das Niveau des Zufalls zusammen (0,47–0,53). Das Modell „weiß“, dass der Kontext korrumpiert ist, aber es „sagt“ (oder handelt nicht nach) diesem Wissen, um eine falsche Ausgabe zu verhindern.
Oberflächensignale: Verbalisierte Konfidenz und andere Oberflächen-Unsicherheitssignale performen bei der Detektion auf oder nahe am Zufallsniveau ( $AUROC \approx 0,5$ ) und zeigen keine Korrelation mit der finalen Korrektheit. Die Konfidenz kollabiert oft zu binären Extremen (0 oder 1) mit ununterscheidbaren Fehlerraten zwischen den beiden Gruppen.

2. Einfluss von Reasoning-Modi

Die Aktivierung des „Thinking Mode“ (erweiterte Chain-of-Thought) bei Qwen3-4B schloss die Lücke nicht. Während es die Token-Anzahl erhöhte, verschlechterte es die Genauigkeit unter Fehlerbedingungen von 27,9 % auf 1,2 %, ohne die Fähigkeit der Sonde zu verändern, den internen Fehlerzustand zu detektieren. Dies deutet darauf hin, dass die interne Kodierung der Korruption bestehen bleibt, selbst wenn der Output-Kanal gestört ist.

3. Effektivität der Interventionen

Branch-and-pick: Dies war die einzige Policy, die über alle Modelle hinweg einen Netto-Gewinn erzielte und einzigartig nicht-destruktiv für Llama-3.1-8B war (4 gerettete, 0 gebrochene Fälle). Sie erhöht jedoch die Inferenzkosten erheblich.
Replace-prior: Diese Strategie rettete falsche Spuren, zerstörte aber korrekte Spuren in vergleichbarer Rate, was zu keinem Netto-Gewinn führte.
Reprompt: Generell ineffektiv.
Heterogenität: Der Erfolg der Intervention hängt stark vom Fehlertyp ab. Zum Beispiel war replace-prior sehr effektiv bei wrong_unit-Fehlern, aber negativ für wrong_percentage_base-Fehler.

Bedeutung und Behauptungen

Das Paper behauptet, dass probe-basiertes Monitoring eine notwendige Ergänzung zu verbalisierter Konfidenz ist, nicht ein Ersatz. Die zentrale Erkenntnis ist, dass die Annahme, der interne Zustand eines Modells sei über seine verbalen Outputs zugänglich, im Kontext kaskadierender Fehler falsch ist.

Dekodierbarkeit, nicht Kausalität: Die Autoren betonen, dass das Fehlersignal zwar linear aus dem Residual-Stream dekodierbar ist, dies aber nicht impliziert, dass die Generierungspolitik dieses Signal konsultiert. Interventionen, die den korrumpierten Wert entfernen (replace-prior), reduzieren zwar die Rate der Probe-Aktivierung, verbessern aber nicht proportional die Genauigkeit, was darauf hindeutet, dass die detektierte Richtung nicht die unmittelbare Ursache der falschen Antwort ist.
Implikationen für den Einsatz: Es gibt keine „Einheitslösung“. Die einsetzbare Lösung ist ein modell- und fehlertyp-bewusstes Routing. Da keine einzelne Intervention dominiert, müssen Systeme zu spezifischen Korrekturstrategien routen, basierend auf dem vorhergesagten Modell und Fehlertyp.
Limitierungen: Die Autoren merken an, dass ihre Interventionen nicht strikt sicher sind (sie können korrekte Spuren beschädigen) und dass branch-and-pick hohe Rechenkosten verursacht. Das Paper rahmt die Routing-Strategie eher als Richtung für zukünftige Arbeit ein, statt als vollständig einsatzbereite Lösung, da es derzeit keinen robusten Klassifikator für Fehlertypen besitzt.

Zusammenfassend stellt das Paper fest, dass es für agentische Systeme unzureichend ist, sich darauf zu verlassen, dass das Modell „erzählt“, dass es einen Fehler macht. Internes Zustandsmonitoring via linearer Sonden bietet einen hochpräzisen Detektionsmechanismus, aber die Überbrückung der Lücke zwischen Detektion und erfolgreicher Korrektur erfordert nuancierte, kontextspezifische Interventionsstrategien.