🤖 machine learning

Where's the Plan? Locating Latent Planning in Language Models with Lightweight Mechanistic Interventions

Dieser Beitrag untersucht, wo und wie Sprachmodelle während der Planung interne Repräsentationen zukünftiger Constraints ausbilden, und zeigt, dass zwar zukünftige Reiminformationen über mehrere Modellfamilien und -skalen hinweg linear dekodierbar sind, jedoch nur Gemma-3-27B kausal auf einen spezifischen Übergangsmechanismus in späteren Schichten angewiesen ist, um diese Informationen zu nutzen, während andere Modelle trotz starker Probesignale direkt auf das Reimwort selbst konditionieren.

Ursprüngliche Autoren: Nicole Ma, Nick Rui

Veröffentlicht 2026-05-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nicole Ma, Nick Rui

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie beobachten einen Magier bei einem Trick. Sie sehen, wie er ein Kaninchen aus einem Hut zieht, aber Sie wissen nicht, wie er es geschafft hat. Hatte er das Kaninchen die ganze Zeit in seinem Ärmel versteckt? Oder hat er es im Moment, als er in den Hut griff, magisch beschworen?

Dieser Artikel ist wie ein Paar Röntgenbrillen für KI-Modelle. Die Forscher wollten wissen: Wenn eine KI ein Gedicht schreibt, plant sie das Ende heimlich, bevor sie überhaupt die nächste Zeile schreibt?

Hier ist die Geschichte ihrer Entdeckung, aufgeteilt in einfache Teile.

Der Test: Die Reim-Herausforderung

Um dies zu testen, gaben die Forscher den KI-Modellen eine einfache Aufgabe: Einen gereimten Verspaar zu vervollständigen.

Der Prompt: „Sie spürte plötzlich eine große Angst,"
Das Ziel: Die KI muss eine zweite Zeile schreiben, die mit einem Wort endet, das auf „Angst" reimt (wie „Nacht" oder „Licht").

Die Frage war: Hat die KI eine geheime interne Notiz, die besagt „Ich muss auf ‚Angst' reimen", bevor sie beginnt, die zweite Zeile zu tippen? Oder findet sie es Wort für Wort im Laufe des Prozesses heraus?

Die zwei Werkzeuge: Der „Spion" und der „Zeitreisende"

Die Forscher nutzten zwei verschiedene Methoden, um in das Gehirn der KI (seine „versteckten Zustände") zu blicken.

Der Spion (Lineare Abtastung):
Stellen Sie sich einen Spion vor, der in die Notizen der KI schauen und fragen kann: „Hey, weißt du, welches Wort als Nächstes kommt?"
- Was sie fanden: In fast jedem getesteten KI-Modell (Qwen, Llama und Gemma) fand der Spion die Antwort! Im exakten Moment, als die KI die erste Zeile beendete (das Zeilenumbruchzeichen), enthielten die internen Notizen der KI tatsächlich die Information über den Reim.
- Der Haken: Nur weil der Spion die Notiz fand, bedeutet das nicht, dass die KI sie tatsächlich nutzt. Es ist, als hätte man eine Karte in der Tasche, ignoriert sie aber einfach und läuft ziellos herum.
Der Zeitreisende (Aktivierungs-Patching):
Dies ist der eigentliche Test. Stellen Sie sich vor, Sie sind die KI. Sie sind im Begriff, die zweite Zeile zu schreiben. Die Forscher „reisen in die Zeit" und tauschen Ihren aktuellen Gehirnzustand mit dem Gehirnzustand einer anderen KI aus, die versuchte, auf ein anderes Wort zu reimen (z. B. auf „Furcht" statt auf „Angst").
- Die Frage: Wenn Sie den Gehirnzustand tauschen, beginnt die KI dann plötzlich, Wörter zu schreiben, die auf „Furcht" reimen?
- Wenn ja: Die KI plante tatsächlich und nutzte diese Information.
- Wenn nein: Die KI tat nur so, als hätte sie einen Plan, oder sie fand es später heraus.

Die große Überraschung: Nur ein Modell plante tatsächlich

Hier wird die Geschichte interessant. Die Ergebnisse waren für verschiedene Modelle sehr unterschiedlich:

Die „Fake-Planer" (Qwen und Llama):
Diese Modelle waren großartig beim „Spion"-Test. Sie hatten die Reiminformation am Ende der ersten Zeile in ihren Gehirnen gespeichert. Aber als die Forscher den „Zeitreisenden"-Test durchführten, passierte nichts. Das Tauschen des Gehirnzustands veränderte die Ausgabe nicht.
- Analogie: Es ist wie ein Koch, der eine Rezeptkarte auf der Theke hat (die Information ist da), sie aber ignoriert und einfach nach Geruch und Instinkt kocht. Sie nutzten den Plan tatsächlich nicht, um ihr Kochen zu steuern; sie schauten einfach weiter auf das letzte Wort, das sie geschrieben hatten („Angst"), um das nächste zu finden.
Der „echte Planer" (Gemma-3-27B):
Dieses spezifische Modell war anders.
- Frühe Schichten: Am Anfang der zweiten Zeile verließ es sich auf das letzte Wort („Angst").
- Die Übergabe: Etwa bei Schicht 30 (eine bestimmte Tiefe im Gehirn der KI) geschah etwas Magisches. Die „Planungsaufgabe" verlagerte sich vom letzten Wort auf den Zeilenumbruch (den leeren Raum nach der ersten Zeile).
- Das Ergebnis: Als die Forscher den Gehirnzustand beim Zeilenumbruch tauschten, begann die KI sofort, auf das neue Wort zu reimen.
- Analogie: Dieses Modell ist wie ein Dirigent. Zu Beginn des Songs schaut er auf die Noten (das letzte Wort). Aber auf halber Strecke legt er die Noten weg und dirigiert das Orchester basierend auf einer mentalen Karte, die er in der Pause (beim Zeilenumbruch) erstellt hat. Er nutzte den Plan tatsächlich, um die Musik zu leiten.

Die „Wer hat es getan?"-Untersuchung

Für das Gemma-Modell wollten die Forscher genau wissen, welche Teile des Gehirns diese Planung durchführten. Sie grenzten es auf ein winziges, spezifisches Team ein: fünf Aufmerksamkeitsköpfe (denken Sie an diese als fünf spezifische Neuronen oder „Arbeiter" im Gehirn der KI).

Als sie nur diese fünf Arbeiter manipulierten, verlor die KI ihre Fähigkeit zu planen. Als sie sie in Ruhe ließen, plante die KI perfekt. Es war kein chaotischer, allgemeiner Prozess; es war eine präzise, chirurgische Operation, durchgeführt von einem winzigen Team.

Die Hauptaussage

Die Studie kommt zu dem Schluss, dass nur weil eine KI Informationen hat, das nicht bedeutet, dass sie plant.

Viele Modelle können die Idee eines zukünftigen Reims speichern (sie haben die Karte).
Aber nur ein Modell (Gemma-3-27B) nutzt diese gespeicherte Karte tatsächlich, um seine zukünftigen Handlungen zu steuern (es folgt der Karte).
Bei den anderen reagieren sie nur auf die unmittelbare Vergangenheit und planen nicht für die Zukunft, obwohl die zukünftigen Informationen technisch gesehen in ihren Gehirnen sitzen.

Das ist wichtig, weil es zeigt, dass „Intelligenz" oder „Planung" nicht nur darum geht, Daten zu haben; es geht darum, wie diese Daten aktiv genutzt werden, um zu gestalten, was als Nächstes passiert. Und überraschenderweise ist diese Fähigkeit zu „planen" nicht nur ein allgemeines Merkmal aller großen KIs; es ist eine spezifische Eigenart, die nur einige Modelle entwickelt haben.

Technisches Fazit: Wo ist der Plan? Lokalisierung latenter Planung in Sprachmodellen mit leichten mechanistischen Eingriffen

Problemstellung
Autoregressive Sprachmodelle generieren Text Token für Token, produzieren jedoch häufig Ausgaben, die eine langreichweitige strukturelle Kohärenz erfordern, wie etwa reimende Paare. Dies wirft eine fundamentale Frage bezüglich latenter Planung auf: Bilden Modelle interne Repräsentationen zukünftiger Ausgaben, die die Generierung kausal antreiben, selbst wenn diese Prozesse für eine externe Verhaltensbewertung unsichtbar sind? Während frühere Arbeiten nachgewiesen haben, dass planungs-kompatible Informationen in einigen Modellen existieren, bleibt unklar, wo genau diese Informationen während des Vorwärtsdurchlaufs verortet sind und ob sie wandern (ein Phänomen, das die Autoren als Bildung von Planungsstellen bezeichnen). Darüber hinaus ist die Unterscheidung zwischen Information, die lediglich kodiert (passiv) ist, und Information, die kausal genutzt (aktiv) wird, für ein genaues mechanistisches Verständnis und eine Sicherheitsbewertung entscheidend.

Methodik
Die Autoren verwenden einen sauberen Testfall: Vervollständigung reimender Paare. Gegeben eine erste Zeile, die mit einem Reimwort $r_1$ endet, muss das Modell eine zweite Zeile generieren, die mit einem reimenden Wort $r_2$ endet. Die Studie nutzt zwei leichte mechanistische Eingriffsmethoden über drei Open-Source-Modellfamilien (Qwen3, Gemma-3, Llama-3) in verschiedenen Skalierungen (bis zu 70 Milliarden Parameter):

Lineare Abtastung (Nachweis der Kodierung): Lineare Klassifikatoren werden trainiert, um das zukünftige Reim-Token $r_2$ aus versteckten Zuständen $h_{\ell,i}$ in verschiedenen Schichten $\ell$ und Positionen $i$ vorherzusagen. Dies bestimmt, ob planungs-kompatible Informationen an bestimmten Stellen (z. B. beim letzten Wort-Token versus beim Zeilenumbruch-Token) decodierbar sind.
Aktivierungs-Patching (Kausaler Nachweis): Der versteckte Zustand an einer spezifischen Position und Schicht aus einem „korrupten" Lauf (der auf eine andere Reimfamilie abzielt) wird in einen „sauberen" Lauf substituiert. Wenn diese Eingriff die Generierung in Richtung des korrupten Reims umlenkt, wird die Stelle als kausal aktive Planungsstelle identifiziert.

Die Studie vergleicht spezifisch das letzte Wort-Token (Position $i \approx -1$ oder $-2$) mit dem Zeilenumbruch-Token (Position $i = 0$ ), um die Migration des kausalen Einflusses zu verfolgen.

Hauptergebnisse

Dissociation von Kodierung und Kausalität:
- Abtastung: In allen drei Modellfamilien decodieren lineare Sonden erfolgreich zukünftige Reiminformationen am Zeilenumbruch-Token. Die Stärke dieses Signals nimmt im Allgemeinen mit der Modellskalierung zu, was darauf hindeutet, dass planungs-kompatible Repräsentationen eine emergente Eigenschaft größerer Modelle sind.
- Aktivierungs-Patching: Trotz starker Sondensignale zeigt nur Gemma-3-27B eine kausal aktive Planungsstelle am Zeilenumbruch. In diesem Modell wandert der kausale Treiber der Generierung von der letzten Wort-Token-Position zur Zeilenumbruch-Position um Schicht 30 herum.
- Andere Modelle: Qwen3 (bis zu 32B) und Llama-3 (bis zu 70B) konditionieren während der gesamten Generierung auf das letzte Wort-Token. Trotz der Kodierung von Reiminformationen am Zeilenumbruch (wie durch Sonden gezeigt), hat das Patchen des Zeilenumbruchs in diesen Modellen einen nahezu null kausalen Effekt auf die Ausgabe.
Lokalisierung der Übergabe (Gemma-3-27B):
- Die „Übergabe" des kausalen Einflusses vom letzten Wort zum Zeilenumbruch wird durch eine sparse Menge von fünf Aufmerksamkeitsköpfen in den Schichten 28 und 30 vermittelt.
- Mithilfe von zweistufigem Pfad-Patching demonstrieren die Autoren, dass das gleichzeitige Patchen dieser fünf spezifischen Köpfe etwa 90 % der Reim-Routing-Kapazität wiederherstellt, die normalerweise durch das Überschreiben des gesamten Residualstroms am Zeilenumbruch erreicht wird.
- Der Mechanismus ist spezifisch für die Aufmerksamkeit; das Patchen der entsprechenden MLPs hat keinen Effekt.

Hauptbeiträge

Definition der Bildung von Planungsstellen: Die Arbeit formalisiert die Unterscheidung zwischen planungs-kompatiblen Repräsentationen (nachweisbar durch Abtastung) und kausal aktiven Planungsstellen (etabliert durch Eingriffe) und hebt hervor, dass das Ersteres das Letztere nicht garantiert.
Skalierbares mechanistisches Framework: Die Autoren schlagen ein Framework vor, das lineare Abtastung und Aktivierungs-Patching verwendet, kein Training von Transkodern erfordert und deutlich weniger Daten benötigt als Steuerungsvektor-Ansätze, wodurch es auf große, Open-Source-Architekturen anwendbar ist.
Empirische Entdeckung einer Divergenz: Die Studie zeigt, dass verschiedene Modellarchitekturen (selbst im gleichen Skalierungsbereich) strukturelle Zwänge durch grundlegend unterschiedliche Mechanismen lösen: einige verlassen sich auf eine statische „letzte-Wort"-Kondition, während andere (wie Gemma-3-27B) eine dynamische „Übergabe" an den Zeilenumbruch implementieren.
Identifikation sparscher Schaltkreise: Die Arbeit lokalisiert erfolgreich ein komplexes Planungsverhalten in Gemma-3-27B auf einen spezifischen, kleinen Satz von Aufmerksamkeitsköpfen und zeigt damit, dass solche emergenten Phänomene strukturiert und nicht diffus sein können.

Bedeutung und Behauptungen
Die Arbeit argumentiert, dass ein Sondensignal allein kein ausreichender Nachweis für eine Planungsstelle ist. Standard-Verhaltensbewertungen oder einfache Abtastungen können die Planungsfähigkeiten eines Modells systematisch unterschätzen oder fehlcharakterisieren, wenn sie nicht zwischen passiver Kodierung und aktiver kausaler Nutzung unterscheiden.

Die Autoren behaupten, dass die Bildung von Planungsstellen ein distinctes emergentes Phänomen ist, das an spezifische Modellskalierung und -architektur gebunden ist, und nicht eine universelle Konsequenz starker planungs-kompatibler Repräsentationen. Die Identifizierung eines sparsamen, kausalen Schaltkreises (der fünf Aufmerksamkeitsköpfe) legt nahe, dass latente Planung ein hochstrukturiertes Rechenprozess sein kann.

Die Studie schließt mit bescheidenen Einschränkungen: Die Erkenntnisse sind derzeit auf drei Modellfamilien und eine einzige strukturierte Aufgabe (Reimen) beschränkt. Die Autoren stellen fest, dass es eine offene Frage bleibt, ob dieser „Übergabe"-Mechanismus ein allgemeines Planungsprimitive ist oder spezifisch für phonologische Zwänge, und ob das Fehlen dieser Übergabe in Qwen- und Llama-Modellen auf architektonische Unterschiede oder Trainingsdaten zurückzuführen ist.