🤖 machine learning

Do Models Read What They Write? Causal Registers in Scratchpad Reasoning

Diese Arbeit zeigt, dass große Sprachmodelle, die darauf trainiert wurden, Zwischenzustände in einem Scratchpad zu schreiben, diese geschriebenen Zustände tatsächlich als kausale Eingaben für nachfolgende Denkschritte nutzen, anstatt sie lediglich für die menschliche Lesbarkeit zu generieren.

Ursprüngliche Autoren: Benjamin Shih, John Winnicki, Eric Darve

Veröffentlicht 2026-06-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Benjamin Shih, John Winnicki, Eric Darve

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Frage: Redet das Modell nur oder denkt es wirklich?

Stellen Sie sich vor, Sie beobachten einen Schüler bei einer Mathearbeit. Der Schüler schreibt seine Rechenschritte auf ein Blatt Papier (den „Schreibblock“) und schreibt dann das Endergebnis auf.

Die Hoffnung: Wir hoffen, dass der Schüler dieses Papier tatsächlich nutzt, um die Mathematik zu lösen. Wenn man eine Zahl, die er aufgeschrieben hat, magisch ändern würde, sollte sich sein Endergebnis passend zur neuen Mathematik ändern.
Die Befürchtung: Wir befürchten, dass der Schüler nur „vortäuscht“. Er könnte die Aufgabe bereits im Kopf gelöst haben, und das Papier ist nur eine Geschichte, die er Ihnen erzählt, um klug zu wirken. Wenn Sie die Zahl auf dem Papier ändern würden, bliebe sein Endergebnis gleich, weil er das Papier nie wirklich benutzt hat, um die Arbeit zu erledigen.

Diese Arbeit fragt: Wenn KI-Modelle ihre Gedankengänge aufschreiben, nutzen sie diese Schritte tatsächlich, um den nächsten Teil des Problems zu lösen, oder schreiben sie nur eine Geschichte?

Das Experiment: Der „Zaubereraseder“-Test

Um die Antwort zu finden, entwickelten die Forscher ein sehr spezifisches, einfaches Spiel für die KI.

Das Spiel:
Stellen Sie sich einen Roboter vor, der sich auf einem winzigen 2x2-Gitter bewegt.

Der Roboter startet an einem Punkt (z. B. oben links).
Er erhält einen Befehl zur Bewegung (z. B. „bit flippen“).
Der Roboter schreibt auf, wo er sich gerade befindet.
Er erhält einen weiteren Befehl, schreibt seinen neuen Standort auf, und so weiter.

Der knifflige Teil ist, dass der Roboter ein verborgenes „Phasen-Bit“ hat (wie einen geheimen Schalter), das sich je nach der Reihenfolge der Bewegungen ändert. Zwei verschiedene Pfade können am selben sichtbaren Ort enden, aber mit einer unterschiedlichen Einstellung des geheimen Schalters.

Der Test (Der „Zaubereraseder“):
Die Forscher ließen die KI das Spiel spielen und ihre Schritte aufschreiben. Dann führten sie eine „chirurgische“ Operation durch:

Sie ließen den geschriebenen Text exakt gleich. Auf dem Papier stand immer noch: „Ich bin an Punkt A mit Schalter AN.“
Sie änderten im Stillen den internen Gehirnzustand der KI. Sie kippten den „geheimen Schalter“ im Gedächtnis der KI auf „AUS“, obwohl auf dem Papier immer noch „AN“ stand.
Sie baten die KI, den nächsten Schritt auszuführen.

Die Frage:

Wenn die KI nur eine Geschichte schrieb, würde sie die interne Änderung ignorieren. Sie würde sehen, dass auf dem Papier „Schalter AN“ steht, und würde den nächsten Schritt basend auf „Schalter AN“ berechnen.
Wenn die KI tatsächlich den Zustand nutzte, würde sie die interne Änderung spüren. Sie würde realisieren: „Warte, mein interner Schalter ist eigentlich AUS“, und würde den nächsten Schritt basierend auf „Schalter AUS“ berechnen, obwohl das Papier etwas anderes sagt.

Die Ergebnisse: Wer hat den Test bestanden?

Die Forscher testeten drei Arten von KI-Modellen:

Das vortrainierte Modell: Ein Modell, das aus dem Internet gelernt hat, aber nicht speziell für dieses Spiel trainiert wurde.
Das „Endergebnis“-Modell: Ein Modell, das darauf trainiert wurde, das Spiel zu lösen, aber nur das Endergebnis schreibt, nicht die Schritte.
Das „Laufender Zustand“-Modell: Ein Modell, das darauf trainiert wurde, jeden einzelnen Schritt während des Prozesses aufzuschreiben.

Die Erkenntnisse:

Die „Geschichtenerzähler“ (Vortrainierte & Endergebnis-Modelle): Als die Forscher heimlich den internen Schalter umlegten, war es den Modellen egal. Sie sagten den nächsten Schritt basierend auf dem geschriebenen Text voraus. Sie ignorierten ihre eigene interne Realität.
Die „echten Denker“ (Laufender Zustand-Modelle): Als die Forscher heimlich den internen Schalter umlegten, änderten diese Modelle ihre Vorhersage. Sie berechneten den nächsten Schritt basierend auf dem neuen internen Schalter und ignorierten den Text auf dem Papier.

In den „Laufender Zustand“-Modellen war der geschriebene Text nicht nur ein Bericht; er war zu einer arbeitenden Variable geworden. Das Modell nutzte seine eigenen Notizen tatsächlich, um die Mathematik zu betreiben.

Die „Warum es wichtig ist“-Analogie

Denken Sie an ein Computerprogramm.

Schlechte Aufsicht: Ein Programm druckt auf den Bildschirm: „Ich speichere die Datei“, aber im Hintergrund löscht es die Datei tatsächlich. Wenn Sie den Text auf dem Bildschirm in „Ich lösche die Datei“ ändern, ist das dem Programm egal, da der Text nur eine Anzeige ist.
Gute Aufsicht: Ein Programm hat eine echte Variable namens dateistatus. Wenn Sie diese Variable im Code ändern, ändert sich das Verhalten des Programms sofort.

Diese Arbeit beweist, dass wir durch das Training der KI, ihre Zwischenschritte aufzuschreiben (den „Laufenden Zustand“), diese Schritte in echte Variablen verwandeln können, die die KI tatsächlich nutzt.

Der „kausale“ Beweis

Die Forscher hörten dort nicht auf. Sie stellten sicher, dass die KI nicht nur rät oder ein anderes Beispiel kopiert. Sie führten zusätzliche Tests durch:

Der „Bewegungs-Tausch“-Test: Sie änderten den Befehl (z. B. „nach links bewegen“ statt „nach rechts bewegen“), während der interne Zustand editiert blieb. Die KI änderte ihre Antwort korrekt basierend auf dem neuen Befehl, was bewies, dass sie den Zustand und den Befehl kombinierte.
Der „Nachahmer“-Test: Sie versuchten, die KI dazu zu bringen, eine zukünftige Antwort aus einem anderen Beispiel zu kopieren. Die KI kopierte nicht, sondern rechnete basierend auf der aktuellen Situation neu.

Das Fazit

Die Arbeit kommt zu dem Schluss, dass für die KI-Sicherheit und -Aufsicht nicht nur darauf gehofft werden darf, dass die KI ihre Gedanken aufschreibt. Wir müssen sie auf eine bestimmte Weise trainieren, damit diese geschriebenen Gedanken zu einem echten Teil ihres Berechnungsprozesses werden.

Wenn wir dies tun, ist der „Schreibblock“ nicht mehr nur ein Transkript (ein Protokoll dessen, was passiert ist), sondern wird zu einem Kontrollpanel (einem Ort, an dem wir tatsächlich eingreifen und beeinflussen können, wie die KI denkt).

Kurz gesagt: Die Arbeit zeigt, dass man KI-Modelle mit dem richtigen Training lehren kann, „zu lesen, was sie schreiben“, wodurch ihr geschriebenes Denken zu einem echten, nutzbaren Teil ihres Gehirns wird.

Technisches Resümee: Kausale Register in der Scratchpad-Argumentation

Problemstellung

Prozess-Supervision zielt darauf ab, Modelle durch die Belohnung von Zwischenschritten der Argumentation (z. B. Scratchpads, Chain-of-Thought) auszurichten, anstatt nur die finalen Antworten zu bewerten. Es besteht jedoch eine kritische Lücke zwischen Lesbarkeit und Kausalität: Ein Modell kann plausible Zwischenzustände schreiben, die mit der korrekten Antwort korrelieren, ohne dass diese Zustände tatsächlich als Eingaben für nachfolgende Berechnungen genutzt werden. Wenn der geschriebene Text lediglich eine post-hoc Rechtfertigung oder ein korreliertes Signal ist, kann er nicht effektiv auditiert oder manipuliert werden.

Die zentrale Frage lautet: Berechnet ein Modell tatsächlich aus den von ihm geschriebenen Zwischenzuständen? Konkret: Wenn eine interne Repräsentation eines geschriebenen Zustands verändert wird, während der sichtbare Text unverändert bleibt, ändert sich dann der nächste Schritt des Modells in Übereinstimmung mit der bekannten Aktualisierungsregel dieses Zustands?

Methodik

1. Kontrollierte Zustandsverfolgung-Aufgabe

Die Autoren nutzen ein endliches Übergangssystem mit bekannten Aktualisierungsregeln, um einen eindeutigen kausalen Test zu erstellen.

Aufgabenstruktur: Dem Modell wird ein Startzustand und eine Sequenz von Bewegungen gegeben. Es muss den Zustand nach jeder Bewegung verfolgen.
Zustandsrepräsentation: Der Zustand ist definiert als $v | p$ , wobei $v$ eine sichtbare Koordinate (eine von vier Gitternestern) und $p$ ein „Phasen-Bit“ ($0$ oder $1$) ist.
Ordnungssensitivität: Das Phasen-Bit $p$ wird nicht allein durch die sichtbare Koordinate $v$ bestimmt; es hängt von der Historie der Bewegungen ab (der Reihenfolge der Operationen). Dies erzeugt übereinstimmende Zustände (z. B. $11|0$ und $11|1$ ), die denselben sichtbaren Text teilen, sich aber im internen Phasen-Bit unterscheiden.
Modelle: Die Studie verwendet Qwen2.5-Coder-7B als primäres Modell und Mistral-7B-v0.3 zur Replikation.
Trainingsbedingungen:
1. Pretrained Base: Kein Fine-Tuning.
2. Final-Answer Only: Fine-Tuning, um nur den finalen Zustand auszugeben.
3. Running-State: Fine-Tuning, um nach jeder Bewegung den vollständigen laufenden Zustand vor dem finalen Ergebnis zu schreiben.

2. Intervention: Kontrafaktische Zustands-Editierung

Die zentrale experimentelle Intervention umfasst das Activation Patching (speziell die Modifikation des KV-Caches) an der Token-Position, die dem aktuellen Zustand entspricht.

Die Editierung: Die Repräsentation des Phasen-Bits im internen Residualstrom am aktuellen Zustands-Token wird von $p$ zu $1-p$ geändert.
Die Einschränkung: Die sichtbare Token-ID und der gedruckte Scratchpad-Text bleiben unverändert. Der dem Modell bereitgestellte Präfix ist in beiden Fällen (Clean und Patched) identisch.
Der Test: Das Modell wird gebeten, den nächsten Zustand unter Berücksichtigung der anstehenden Bewegung $m$ $m$ vorherzusagen.
- Erfolgsbedingung: Das Modell sagt das Phasen-Bit voraus, das durch Anwendung der Bewegung $m$ auf den editierten Zustand $\tilde{s} = (v, 1-p)$ entsteht.
- Fehlbedingung: Das Modell ignoriert die interne Editierung und sagt das Ergebnis basierend auf dem ursprünglichen Zustand $s = (v, p)$ voraus oder folgt einem generischen Bias.

3. Kontrollen und Selektivität

Um alternative Erklärungen (z. B. generisches Next-Token-Steering oder Kopieren von Fortsetzungen) auszuschließen, verwenden die Autoren zwei spezifische Kontrollen:

Move-Swap-Kontrolle: Der editierte Zustand wird fix gehalten, aber die anstehende Bewegung wird geändert. Ein valider Zustands-Update-Mechanismus sollte seine Vorhersage basierend auf der neuen Bewegung ändern; ein fixer Bias würde dies nicht tun.
Conflicting-Continuation-Kontrolle: Ein kontrafaktischer Zustand aus einem anderen Kontext wird injiziert, dessen zukünftiger Verlauf der aktuellen Bewegung widerspricht. Wenn das Modell die aktuelle Bewegung befolgt, berechnet es aus dem editierten Zustand neu; wenn es der injizierten Fortsetzung folgt, kopiert es lediglich eine Fortsetzung.

Zentrale Ergebnisse

1. Kausale Nutzung von Scratchpad-Zuständen

In den Running-State-Modellen (die darauf feinjustiert wurden, Zwischenzustände zu schreiben) lenkt die interne Editierung die Berechnung des nächsten Zustands erfolgreich um:

Qwen2.5-Coder-7B: Das Modell sagt das durch den editierten Zustand implizierte nächste Phasen-Bit in 80 % der Testbeispiele (Q8-Aufgabe) und in 91 % (D8-Aufgabe) voraus.
Kontrollen: Die Pretrained- und Final-Answer-only-Modelle verbleiben nahe am Baseline-Niveau (Zufall), was zeigt, dass sie den geschriebenen Zustand nicht als computationalen Input nutzen.
Random/Orthogonal Edits: Zufällige Patches oder Patches in orthogonalen Subräumen ergeben Übereinstimmungsraten nahe 0,02, was bestätigt, dass der Effekt spezifisch für den Phasen-Bit-Subraum ist.

2. Selektivität und Rekompensation

Die Running-State-Modelle zeigen eine hohe Selektivität, was beweist, dass sie nicht einfach nur Tokens steuern oder kopieren:

Bewegungsspezifität: Die Vorhersage ändert sich signifikant, wenn sich die Bewegung ändert (Selektivitätslücken: +0,57 für Q8, +0,68 für D8).
Rekompensation vs. Kopieren: Wenn das Modell mit einer widersprüchlichen Fortsetzung konfrontiert wird, folgt es der aktuellen Bewegung (und damit dem editierten Zustand) anstatt der injizierten Quelle (Selektivitätslücken: +0,59 für Q8, +0,81 für D8).

3. Mechanistische Analyse

Kompakte Repräsentation: Die Information des Phasen-Bits wird durch einen Low-Rank-Subraum erfasst. In Q8 reicht eine Rank-1-Editierung aus, in D8 ist Rank-2 ausreichend – weit unter den 3584 Dimensionen des Residualstroms.
Routing:
- Q8: Das Update fließt primär durch eine einzige Attention-Verbindung (vom aktuellen Phasen-Token zur nächsten Vorhersage-Schicht). Die Ablation dieser Verbindung entfernt 94 % des Effekts.
- D8: Das Update nutzt einen verteilten, vierseitigen Pfad. Die Ablation dieses spezifischen Pfades entfernt ~69 % des Effekts, was zeigt, dass kompakte Zustandsvariablen über verteilte Mechanismen verarbeitet werden können.
Replikation: Diese kausalen Muster replizieren sich in Mistral-7B-v0.3, wobei die Running-State-Modelle eine Übereinstimmung mit dem editierten Zustand von 0,93–0,94 erreichen.

4. Generierte Präfixe

Wenn das Modell den Präfix selbst generiert (anstatt dass er bereitgestellt wird), bleibt der Effekt bestehen, ist aber in Q8 etwas weniger stabil (0,66 One-Step-Use) im Vergleich zu D8 (0,90 One-Step-Use), bleibt jedoch signifikant über der Baseline.

Bedeutung und Behauptungen

Das Paper behauptet, dass Running-State-Supervision (das Fine-Tuning zur Ausgabe von Zwischenzuständen) ein Scratchpad von einem bloßen Transkript in ein kausales Register innerhalb der Berechnung des Modells verwandelt.

Operationale Semantik: Ein nützlicher Zwischenschritt für das Alignment muss innerhalb des Modells über operationale Semantik verfügen. Die Ergebnisse zeigen, dass für die trainierten Modelle das Ändern des internen Wertes, der mit einem geschriebenen Zustand assoziiert ist, den nächsten Schritt kausal in einer Weise verändert, die konsistent mit der Übergangsregel ist.
Auditierbarkeit: Dies etabliert ein „schärferes Ziel für die Scratchpad-Überwachung“. Überwachung bedeutet nicht nur, das Denken für Menschen lesbar zu machen, sondern Modelle darauf zu trainieren, geschriebene Zustände als tatsächliche Inputs für ihre eigene Berechnung zu nutzen. Dies ermöglicht „Evidence-Distortion-Audits“, bei denen ein Aufseher theoretisch einen Zustand ändern und verifizieren kann, ob das darauffolgende Verhalten des Modells mit dieser Änderung übereinstimmt.
Differenzierung der Konzepte: Die Arbeit trennt erfolgreich drei oft verwechselte Ideen:
1. Ob ein Zustand geschrieben wird.
2. Ob ein Zustand intern repräsentiert wird.
3. Ob das Modell tatsächlich aus diesem Zustand rechnet.
  Die Ergebnisse zeigen, dass Supervision erforderlich ist, um die Lücke zwischen Repräsentation und Berechnung zu schließen.

Die Autoren kommen zu dem Schluss, dass diese Struktur zwar in einer kontrollierten, synthetischen Umgebung demonstriert wurde, das Ziel für zukünftige Prozess-Supervision jedoch darin besteht, Aufgaben und Trainingsmethoden zu entwickeln, bei denen Modelle ähnlich nutzbare, kausal aktive Zustandsvariablen in reicheren Domänen (z. B. Programmazustände, Theorembeweise, Werkzeugnutzung) offenlegen.