💬 NLP

Decodable but Not Corrected by Fixed Residual-Stream Linear Steering: Evidence from Medical LLM Failure Regimes

Diese Arbeit zeigt, dass zwar ein spezifischer „Überdenkungs"-Fehlermodus in medizinischen LLMs linear aus den versteckten Zuständen decodierbar ist, er jedoch aufgrund einer repräsentationalen Verschränkung mit aufgabenkritischen Berechnungen nicht durch feste lineare Steuerung korrigiert werden kann, wobei dieselbe Sonde dennoch wirksam bleibt, um Fehler zur Ermöglichung einer selektiven Enthaltung zu erkennen.

Ursprüngliche Autoren: Ming Liu

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ming Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Frage: Können wir ein intelligentes Gehirn zurück auf den richtigen Kurs lenken?

Stellen Sie sich vor, Sie haben einen brillanten Medizinstudenten (das KI-Modell). Manchmal beantwortet er eine Frage richtig. Aber manchmal fängt er an, zu viel nachzudenken. Er schreibt einen langen, detaillierten Aufsatz, verwirrt sich durch seine eigene Logik und gibt am Ende die falsche Antwort.

Die Forscher stellten sich die Frage: Können wir einen Blick in das Gehirn des Studenten werfen, während er nachdenkt, den genauen Moment finden, in dem er beginnt, „zu viel nachzudenken", und ihn sanft zurück zur richtigen Antwort lenken?

Dies wird als „Aktivierungssteuerung" (activation steering) bezeichnet. Es ist wie eine Fernbedienung für die Gedanken der KI.

Die Entdeckung: Wir können das Problem sehen, aber nicht beheben

Die Forscher entdeckten eine faszinierende Lücke zwischen dem Sehen eines Problems und dem Beheben desselben.

1. Das Signal des „Überdenkens" ist sichtbar (Der Detektiv)
Das Team fand heraus, dass sich die Gehirnaktivität der KI, wenn sie beginnt, zu viel nachzudenken, auf eine sehr spezifische und nachweisbare Weise verändert.

Analogie: Stellen Sie sich die KI als Auto vor. Wenn sie beginnt, von einer Klippe zu fahren (Überdenken), geht eine spezifische Warnleuchte am Armaturenbrett an. Die Forscher bauten einen Detektor, der dieses Licht in 71,6 % der Fälle sehen kann. Sie wissen genau, wann das Auto kurz vor dem Absturz steht.

2. Der Versuch der „Lenkung" scheitert (Der Mechaniker)
Also versuchten sie, dieses Wissen zu nutzen, um das Auto zu reparieren. Sie versuchten, das Lenkrad in die entgegengesetzte Richtung des „Überdenkungs"-Signals zu drücken, um das Auto auf der Straße zu halten.

Das Ergebnis: Es funktionierte nicht. Tatsächlich machte es die Dinge schlimmer.
Die Analogie: Es ist wie der Versuch, ein undichtes Rohr zu reparieren, indem man es mit einem Hammer schlägt. Sie wissen genau, wo das Leck ist (Sie können es sehen!), aber das Schlagen bricht das Rohr nur weiter. Die Forscher probierten 29 verschiedene Möglichkeiten aus, die KI zu „schubsen", und in fast jedem Fall blieb die Genauigkeit der KI gleich oder verschlechterte sich.

Warum scheiterte es? Das „verstrickte" Gehirn

Warum konnten sie es nicht beheben, wenn sie das Problem sehen konnten? Das Papier legt nahe, dass das Gehirn der KI verstrickt ist.

Die Metapher: Stellen Sie sich das Gehirn der KI als einen riesigen, verwickelten Wollknäuel vor.
- Ein Faden des Knäuels repräsentiert „Medizinisches Wissen" (das Gute).
- Ein anderer Faden repräsentiert „Überdenken" (das Schlechte).
- In einer perfekten Welt wären dies zwei separate Fäden. Man könnte am „Überdenken"-Faden ziehen, um das schlechte Verhalten zu stoppen, ohne den „Medizinischen Wissen"-Faden zu berühren.
- Die Realität: In dieser KI ist der „Überdenken"-Faden fest innerhalb des „Medizinischen Wissen"-Fadens verknotet. Man kann nicht an dem einen ziehen, ohne den anderen mitzuziehen.
- Die Konsequenz: Als die Forscher versuchten, die KI vom „Überdenken" wegzudrücken, zogen sie versehentlich auch am „Medizinischen Wissen", wodurch die KI die richtige Antwort vergaß.

Beweis für den Knoten:

Spezifität: Das „Überdenken"-Signal teilt etwa 88 % seines Raums mit dem „Richtige Antwort"-Signal. Es ist keine separate Richtung; es ist eine chaotische Überlappung.
Der Schaden: Als sie versuchten, die „Überdenken"-Richtung vollständig zu löschen, sank die Genauigkeit der KI erheblich. Dies beweist, dass das „Überdenken"-Signal nicht nur nutzloses Rauschen ist; es ist mit dem eigentlichen Denkprozess vermischt.

Der Lichtblick: Wissen, wann man aufhört

Obwohl sie die KI während des Denkens nicht reparieren konnten, fanden sie einen nützlichen Weg, diese „Warnleuchte" zu nutzen.

Die Analogie: Wenn Sie das Auto nicht zurück auf die Straße lenken können, können Sie dem Fahrer zumindest sagen: „Hey, du fährst von einer Klippe! Halt!"
Das Ergebnis: Die Forscher bauten ein System, das die Antwort der KI nachdem sie fertig ist, überprüft. Wenn das „Überdenken"-Licht an ist, sagt das System: „Ich vertraue dieser Antwort nicht", und verweigert die Ausgabe.
Der Vorteil: Indem sie einfach die Fragen verweigern, bei denen die KI verwirrt ist, steigt die Gesamtgenauigkeit der Antworten, die gegeben werden. Es ist besser, „Ich weiß es nicht" zu sagen, als falsch zu raten.

Zusammenfassung der Ergebnisse

Wir können Fehler erkennen: Wir können mit hoher Zuverlässigkeit sehen, wann eine KI „zu viel nachdenkt" und kurz davor ist, einen Fehler zu machen.
Wir können es nicht mit einfachen Schubs reparieren: Der Versuch, einen „Korrektur"-Vektor zum Gehirn der KI hinzuzufügen, funktioniert nicht, weil der „Fehler" und das „Denken" zu stark verstrickt sind. Das Reparieren des einen zerstört das andere.
Wir können es filtern: Selbst wenn wir den Fehler nicht beheben können, können wir das Erkennungssignal nutzen, um schlechte Antworten herauszufiltern und die KI zuverlässiger zu machen, indem wir nur ihre beste Arbeit zeigen.

Das Fazit: Nur weil man ein Problem in einem komplexen System sehen kann, bedeutet das nicht, dass man leicht einen Knopf drücken kann, um es zu reparieren. Manchmal ist das Beste, was man tun kann, das Problem zu erkennen und zu beschließen, das Ergebnis nicht zu verwenden.

Technische Zusammenfassung: Entzifferbar, aber nicht durch feste lineare Steuerung im residualen Datenstrom korrigierbar

Problemstellung

Dieser Artikel untersucht eine kritische Lücke in der Interpretierbarkeit und Steuerung von Large Language Models (LLMs): die Klassifizierungs-Korrektur-Lücke. Während frühere Arbeiten gezeigt haben, dass spezifische Verhaltenszustände (z. B. Ablehnung, Sentiment) linear aus verborgenen Zuständen entzifferbar und über Aktivierungssteuerung korrigierbar sind, bleibt unklar, ob dies auch für komplexe, mehrstufige Reasoning-Fehler gilt. Die Autoren konzentrieren sich auf ein spezifisches Fehlerregime in der medizinischen Fragebeantwortung (MedQA), das als Überdenken (Overthinking, OT) bezeichnet wird, bei dem Modelle bei Resampling häufig korrekte Antworten liefern, aber beim Generieren erweiterter Chain-of-Thought (CoT)-Spuren versagen. Die zentrale Frage lautet: Wenn ein Fehlermodus linear in den verborgenen Zuständen entzifferbar ist, können feste lineare Steuerungsvektoren zur Korrektur eingesetzt werden?

Methodik

1. Identifikation des Verhaltensregimes (Überdenken)

Die Autoren definieren Überdenken (OT) als ein Verhaltenskonstrukt, bei dem:

Das Modell in $\ge$ 60 % der Stichprobenpfade korrekt antwortet (was darauf hindeutet, dass das Wissen vorhanden ist).
Das Modell in langen Reasoning-Pfaden (>200 Tokens) eine falsche Antwort liefert.
Dieses Regime unterscheidet sich von Wissensdefizit (KD) (faktische Fehler) und Reasoning-Chain-Bruch (RCB) (gültige Fakten, ungültige Logik).
OT wird mit hoher Stabilität identifiziert (Jaccard $\ge$ 0,81 unter Schwellenwert-Perturbation, 94 % Übereinstimmung zwischen Annotatoren).

2. Geometrische Analyse

Unter Verwendung von Llama-3.1-8B-Instruct und Qwen2.5-7B-Instruct extrahierten die Autoren verborgene Zustände aus 12.000 Spuren (2.000 pro Fehlermodus + 6.000 abgestimmte korrekte Spuren).

Kontrastive Vektoren: Berechnet als normalisierte Differenz zwischen den mittleren verborgenen Zuständen korrekter Spuren und spezifischer Fehlermodi ( $v = \bar{h}_{correct} - \bar{h}_{mode}$ ).
Klassifizierung: Lineare Proben wurden trainiert, um OT von nicht-OT-Spuren zu unterscheiden.
Spezifitätszerlegung: Die Autoren berechneten das Spezifitätsverhältnis, um zu bestimmen, wie viel des kontrastiven Vektors einzigartig für den Fehlermodus ist im Vergleich zu den allgemeinen „falsch-gegen-korrekt"-Richtungen.
Querschnittsarchitektur & Querschnittsdomäne: Die Validierung wurde an Qwen2.5-7B und der Domäne MMLU-STEM durchgeführt, um die Generalisierbarkeit zu testen.

3. Experimente zur Aktivierungssteuerung

Die Autoren testeten fünf Familien von festen linearen Steuerungs-Interventionen auf dem Llama-3.1-8B-Testset ( $n=1.273$ ) und Qwen2.5-7B ( $n=1.273$ ):

Kontrastive Steuerung: Hinzufügen von $\alpha \cdot v$ in den Spitzen-Schichten.
Proben-gesteuerte Steuerung: Verwendung von Proben-Gewichtsvektoren anstelle von kontrastiven Vektoren.
Mehrschichtige Steuerung: Anwendung von Vektoren in 1, 3 oder 5 Schichten.
Rank-k-Unterraum-Steuerung: Steuerung innerhalb von Unterräumen, die von den wichtigsten Singulärvektoren aufgespannt werden.
Prompt-End-Steuerung: Verwendung von Vektoren, die vom Prompt abgeleitet sind (vor der Generierung), um eine Kontamination der Antwort zu vermeiden.

Konzept-Erasure: Eine ergänzende Intervention, die die Fehlerrichtung herausprojiziert, um die kausale Verstrickung zu testen.
Kontrollen: Eine Ablehnungs-Steuerungskontrolle verifizierte die Infrastruktur; Temperatur-Sweeps und Auswertungen bei gleicher Temperatur schlossen Verteilungsverschiebungen als primäre Fehlerursache aus.

4. Zuverlässigkeit nach der Generierung

Die Autoren bewerteten, ob die entzifferbare Struktur selektive Enthaltung (Verweigerung der Antwort, wenn die Probe eine geringe Konfidenz vorhersagt) als Alternative zur Korrektur unterstützen könnte.

Wichtige Ergebnisse

1. Die Klassifizierungs-Korrektur-Lücke

Entzifferbarkeit: OT ist auf Llama-3.1-8B mit 71,6 % ausgeglichener Genauigkeit ( $p \approx 10^{-16}$ ) linear entzifferbar. Dieses Signal ist gegenüber Längenregression und Schwellenwert-Perturbationen robust.
Steuerungsversagen: Trotz hoher Entzifferbarkeit erzielten alle 29 Konfigurationen fester linearer Steuerung über fünf Methodenfamilien $\Delta \approx 0$ $Δ \approx 0$ (keine signifikante Verbesserung der Genauigkeit).
- Modusspezifische Steuerung: $\Delta = -0,2$ pp.
- Mehrschichtige Steuerung: $\Delta \approx 0$ .
- Prompt-End-Steuerung: $\Delta \approx 0$ .
Konsistenz über Architekturen: Das Nullergebnis galt auch für Qwen2.5-7B (9 Konfigurationen) und MMLU-STEM (4 Konfigurationen).

2. Nachweise für repräsentationale Verstrickung

Das Scheitern der Steuerung wird auf repräsentationale Verstrickung zwischen dem Fehlersignal und der aufgabenkritischen Berechnung zurückgeführt:

Geringe Spezifität: Das OT-spezifische Spezifitätsverhältnis beträgt nur 0,119 (Llama) und 0,152 (Qwen). Dies bedeutet, dass ~88 % des kontrastiven Signals mit der gemeinsamen „falsch-gegen-korrekt"-Richtung übereinstimmen.
Kausale Schädigung:
- Steuerung in geteilter Richtung (Anwendung der gemeinsamen falschen Richtung) beeinträchtigte die Genauigkeit erheblich ( $\Delta = -12,1$ pp).
- Konzept-Erasure: Das Entfernen der OT-Richtung durch Mittelwertdifferenz-Projektion beeinträchtigte die Genauigkeit ( $\Delta = -3,6$ pp, $p=0,01$ ), wohingegen 10 zufällige Richtungen keine Schädigung verursachten ( $\Delta = +0,3$ pp). Dies bestätigt, dass die OT-Richtung kausal mit korrektem Reasoning verstrickt ist und nicht nur korrelativ.
Intra-Instanz-Unkorreliertheit: Die Korrelation zwischen Probenkonfidenz und Steuerungseffekt beträgt $r = -0,002$ ( $p=0,97$ ), was darauf hindeutet, dass das Wissen darüber, wann ein Modell überdenkt, nicht vorhersagt, wie es gesteuert werden soll.

3. Positiver Befund: Selektive Enthaltung

Während die Steuerung versagte, ermöglichte die entzifferbare Struktur eine Zuverlässigkeitsschätzung nach der Generierung:

Eine Korrektur-Probe erreichte eine AUROC von 0,610 auf dem zurückgehaltenen Testset und übertraf signifikant fünf Unsicherheits-Baselines für einzelne Durchläufe (beste Baseline-AUROC = 0,569, $\Delta = 0,041$ , $p=0,009$ ).
Selektive Enthaltung: Durch Enthaltung bei Vorhersagen mit geringer Konfidenz erzielte das Modell einen Genauigkeitsgewinn von +5,5 pp bei 60 % Abdeckung.
Vergleich mit Selbstkonsistenz: Während Mehrheitsvoting (Selbstkonsistenz) 100 % der OT-Fehler korrigiert, erfordert es 10-fache Generierungskosten. Die Probe bietet eine kosteneffiziente Alternative für einzelne Durchläufe zur Zuverlässigkeitsschätzung.

4. Nicht-lineare Interventionen

Ein vorläufiges Experiment mit einem gelernten nicht-linearen MLP (residualer Adapter) erzielte eine bescheidene, aber signifikante Verbesserung ( $\Delta = +2,8$ pp, $p=0,025$ ). Dies legt nahe, dass die Lücke nicht absolut ist, sondern spezifisch für feste lineare Interventionen; nicht-lineare Transformationen können den gemeinsamen Unterraum möglicherweise teilweise entwirren.

Bedeutung und Behauptungen

Der Artikel behauptet, mechanistische Beweise dafür zu liefern, warum Aktivierungssteuerung in mehrstufigen Reasoning-Regimen versagt, und geht über die bloße Dokumentation des Phänomens hinaus.

Geometrische Erklärung: Die Autoren argumentieren, dass die Klassifizierungs-Korrektur-Lücke entsteht, weil Fehlersignale in Reasoning-Aufgaben mit aufgabenrelevanter Berechnung verstrickt sind. Im Gegensatz zur Ablehnung (die ein Spezifitätsverhältnis von 0,999 hat und steuerbar ist), teilt das OT-Signal ~88 % seiner Richtung mit dem korrekten Reasoning-Pfad.
Asymmetrie zwischen Beobachtung und Intervention: Die Studie zeigt, dass Entzifferbarkeit keine Steuerbarkeit impliziert. Ein Signal kann statistisch von einer Probe lesbar sein (Beobachtung), ohne kausal durch additive Perturbation handlungsrelevant zu sein (Intervention), da die Perturbation zwangsläufig die gemeinsame Aufgabeberechnung stört.
Operativer Wert des Probings: Selbst wenn die Steuerung versagt, hat die entzifferbare Struktur einen Nutzen für die Zuverlässigkeitsschätzung (selektive Enthaltung) und bietet ein praktisches Werkzeug für den Einsatz, wo eine Korrektur unmöglich ist.
Diagnostisches Framework: Die Autoren schlagen ein Linear Accessibility Profile (LAP) und das Spezifitätsverhältnis als prä-interventionelle Diagnostik vor. Sie schlagen vor, dass, wenn eine Richtung eine geringe Spezifität (<0,21) und eine hohe Überlappung mit der Aufgabeberechnung aufweist, eine feste lineare Steuerung wahrscheinlich nicht erfolgreich sein wird.

Der Artikel schließt, dass die „Klassifizierungs-Korrektur-Lücke" zwar ein robustes empirisches Phänomen im medizinischen Reasoning ist, aber möglicherweise durch gelernte nicht-lineare Interventionen, die gemeinsame Richtungen entwirren können, teilweise geschlossen werden kann – eine Richtung für zukünftige Arbeiten.