🤖 machine learning

Task Structure Reverses Layerwise State Encoding in Sequence Models

Diese Arbeit zeigt, dass die schichtweise Verteilung der Zustandskodierung in Sequenzmodellen kein festes architektonisches Merkmal ist, sondern sich basierend auf der computationalen Struktur der Aufgabe umkehrt, was offenbart, dass algebraische Eigenschaften wie Kommutativität weniger prädiktiv für mechanistische Signaturen sind als die zugrunde liegenden computationalen Anforderungen wie Präfix-Updates gegenüber Stack-Operationen.

Ursprüngliche Autoren: Yuhang Jiang

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yuhang Jiang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen zu verstehen, wie verschiedene Arten von „Denkmaschinen“ (KI-Modellen) Informationen speichern, während sie eine Geschichte lesen. Lange Zeit glaubten Forscher, dass der „Denkstil“ einer Maschine feststehend sei, wie die Persönlichkeit eines Menschen. Sie glaubten:

Transformer (der aktuelle Standard der KI) verteilen ihre Gedanken gleichmäßig über ihr gesamtes Gehirn.
Rekurrente Modelle (ältere, schleifenbasierte KIs) bewahren ihre Hauptgedanken im äußersten Teil ihres Gehirns auf.

Dieses Paper sagt: „Nicht so schnell.“

Die Autoren entdeckten, dass diese Maschinen keine feste Persönlichkeit haben. Stattdessen ändern sie die Art und Weise, wie sie ihre Gedanken organisieren, je nachdem, welche Aufgabe sie gerade erledigen. Es ist wie ein Koch, der ein anderes Messer benutzt, um Gemüse zu schneiden als um einen Fisch zu filetieren. Das Werkzeug ändert sich basierend auf der Aufgabe, nicht nur basierend auf der Identität des Kochs.

Hier ist die Aufschlüsselung ihrer Entdeckung unter Verwendung einfacher Analogien:

1. Die zwei Arten von Aufgaben

Die Forscher gaben den Maschinen drei verschiedene Rätsel:

Die „Laufende Summe“-Aufgabe (Parität & S3): Stellen Sie sich vor, Sie zählen, wie oft Sie eine Münze geworfen haben. Sie müssen nur den aktuellen Stand (0 oder 1) im Gedächtnis behalten und ihn bei jedem Schritt aktualisieren. Dies ist eine einfache, lineare Aktualisierung.
Die „Stack“-Aufgabe (Dyck): Stellen Sie sich vor, Sie prüfen, ob ein Satz mit ausgewogenen Klammern ist, wie (( )). Sie können nicht einfach nur zählen; Sie müssen sich merken, welche öffnende Klammer zu welcher schließenden gehört. Sie müssen einen mentalen „Stack“ (wie einen Stapel Teller) aufbauen, um die Verschachtelung zu verfolgen.

2. Die große Umkehrung

Das Paper fand heraus, dass die Maschinen ihre Strategie je nach Aufgabe ändern:

Bei der „Laufenden Summe“-Aufgabe:
- Rekurrente Modelle (wie Mamba) agieren wie ein Geheimnisträger. Sie leisten viel Arbeit in der frühen Phase, aber die endgültige Antwort wird erst im allerletzten Teil des Gehirns deutlich. Es ist wie ein Magier, der die ganze Zauberei im Schatten vollbringt und den Trick erst ganz am Ende enthüllt.
- Transformer agieren wie eine Team-Besprechung. Sie bauen die Antwort schrittweise auf, Schicht für Schicht, vom Anfang bis zum Ende. Jeder trägt ein kleines Stück dazu bei.
Bei der „Stack“-Aufgabe:
- Die Rollen kehren sich um!
- Transformer werden plötzlich zu den Geheimnisträgern. Sie finden die Antwort fast sofort (in den ersten Schichten heraus) und halten sie dann einfach fest.
- Rekurrente Modelle werden zur Team-Besprechung. Sie müssen die Lösung langsam, Schicht für Schicht aufbauen, um die Antwort richtig zu erhalten.

Das Fazit: Man kann nicht sagen: „Ein Transformer verteilt Informationen immer“ oder „Mamba versteckt sie immer“. Die Strategie hängt völlig davon ab, ob es sich um eine einfache Aktualisierung oder einen komplexen Stack handelt.

3. Der „Nicht-Kommutative“-Test (Das S3-Rätsel)

Um zu beweisen, dass dies nicht nur an mathematischen Regeln lag (wie etwa, ob die Reihenfolge bei der Addition wichtig ist), fügten sie ein drittes, schwierigeres Rätsel namens S3 hinzu. Dies war eine „Laufende Summe“-Aufgabe, bei der die Reihenfolge tatsächlich eine Rolle spielte (wie Socken anzuziehen vor Schuhe anzuziehen ist etwas anderes als Schuhe vor Socken).

Die Vorhersage: Wenn der Unterschied nur an den mathematischen Regeln läge, sollte diese schwierige Aufgabe wie die „Stack“-Aufgabe aussehen.
Die Realität: Die Maschinen behandelten diese schwierige Aufgabe exakt wie die einfache „Laufende Summe“-Aufgabe. Sie nutzten dieselben „Geheimnisträger“- oder „Team-Besprechungs“-Strategien wie zuvor.
Schlussfolgerung: Die Maschinen reagieren nicht auf mathematische Regeln; sie reagieren auf die komputationale Struktur (ist es eine einfache Aktualisierung oder ein komplexer Stack?).

4. Die Falle: „Lesbar“ vs. „Wichtig“

Die Forscher untersuchten auch, wo die Informationen gespeichert sind. Sie fanden eine überraschende Diskrepanz, insbesondere bei größeren, vortrainierten Modellen:

Die „Lesbare“ Schicht: Dies ist der Ort, an dem man die Antwort leicht aus dem Gehirn der Maschine „lesen“ kann (wie das Finden eines Klebezettels, auf dem die Antwort steht).
Die „Wichtige“ Schicht: Dies ist der Teil des Gehirns, der dazu führen würde, dass die Maschine versagt, wenn man ihn beschädigen würde.

Die Entdeckung:

In kleinen, einfachen Modellen sind die „Lesbare“ Schicht und die „Wichtige“ Schicht meistens identisch.
In großen, vortrainierten Modellen stimmen sie oft nicht überein.
- Beispiel: Bei der „Stack“-Aufgabe könnte ein großes Modell die Antwort klar auf einem Klebezettel in der Mitte des Gehirns (Schicht 7) stehen haben, aber wenn man das Ende des Gehirns (Schicht 11) beschädigt, funktioniert das Modell trotzdem weiter. Wenn man jedoch die Mitte beschädigt, stürzt es ab.
- Beispiel: Bei der „Laufenden Summe“-Aufgabe ist die Antwort vielleicht am Ende deutlich sichtbar, aber das Beschädigen dieser spezifischen Stelle stoppt das Modell nicht, da die Information überall anders verteilt ist.

Die Lektion: Nur weil man die Antwort in einem bestimmten Teil des Gehirns „sehen“ kann, bedeutet das nicht, dass dieser Teil auch der einzige ist, der die Maschine am Leben erhält. Die Maschine hält die Antwort möglicherweise an vielen verschiedenen Orten gleichzeitig.

Zusammenfassung

Dieses Paper lehrt uns, dass KI-Architekturen nicht starr sind. Sie sind flexibel.

Die Aufgabe zählt: Die interne Strategie einer Maschine ändert sich, je nachdem, ob sie eine einfache Aktualisierung oder einen komplexen Stack durchführt.
Die Struktur zählt: Die „Form“ des Problems (Aktualisierung vs. Stack) bestimmt die Strategie stärker als die mathematischen Regeln.
Sichtbarkeit $\neq$ Notwendigkeit: In großen Modellen zu finden, wo die Antwort „geschrieben“ steht, verrät nicht immer, welcher Teil der Maschine am fragilsten ist.

Die Autoren kommen zu dem Schluss, dass wir nicht fragen können: „Wie funktioniert diese KI?“ Wir müssen fragen: „Wie funktioniert diese KI für diese spezifische Aufgabe?“

Technisches Resümee: Aufgabenstruktur kehrt schichtweise Zustandskodierung in Sequenzmodellen um

Problemstellung

Die mechanistische Interpretierbarkeit von Sequenzmodellen behandelt die schichtweisen Zustandskodierungen oft als feste architektonische Merkmale. Die vorherrschende Annahme ist, dass rekurrenten Modellen (z. B. LSTMs, GRUs) und State-Space-Modellen (SSMs wie Mamba) den lesbaren Zustand in späten Schichten konzentrieren, während Attention-basierte Modelle (Transformer) die Zustandsakkumulation über die Tiefe verteilen. Dieses Paper stellt die Ansicht infrage, dass diese Kodierungsstrategien stabile architektonische Invarianten sind. Es postuliert, dass dieselbe Architektur ihr schichtweises Zustandskodierungsprofil ändert, wenn sich die rechnerische Struktur der Aufgabe ändert. Darüber hinaus vermengen die Literatur oft zwei potenzielle Treiber für diese Muster: algebraische Struktur (speziell Kommutativität) versus rechnerische Struktur (Präfix-Updates vs. Stack-Verfolgung). Die Autoren zielen darauf ab, diese Faktoren zu entwirren und zu bestimmen, ob die Zustandskodierung eine Eigenschaft der Architektur allein oder eine Interaktion zwischen Architektur und Aufgabe ist.

Methodik

Die Studie verwendet eine kontrollierte experimentelle Suite über fünf Architekturfamilien hinweg: Transformer, Mamba, Mamba-2, LSTMs und GRUs.

Aufgaben:
Die Autoren nutzen drei formale Zustandsverfolgungsaufgaben und einen semi-realen Benchmark:

Parity (Parität): Eine kommutative, Single-Bit-Präfix-Update-Aufgabe.
$S_3$ Permutationskomposition: Eine nicht-kommutative, 6-Klassen-Präfix-Update-Aufgabe. Diese dient als entscheidendes Unterscheidungsmerkmal: Wenn die algebraische Kommutativität das Kodierungsprofil treibt, sollte $S_3$ sich wie Dyck verhalten; wenn die rechnerische Struktur es treibt, sollte $S_3$ sich wie Parity verhalten.
Dyck- $k$ : Eine Aufgabe zur Verfolgung eines Stapels (Stack) mit begrenzter Tiefe (Klammer-Matching) und einer maximalen Tiefe von 10.
Code-Depth: Eine Token-basierte Verschachtelungstiefe-Aufgabe, abgeleitet aus Python-Code in CodeSearchNet, die als semi-realer Validierungsbenchmark dient.

Experimentelles Setup:

Formale Aufgaben: Die Experimente verwenden 4-Schicht-Modelle mit $d_{model}=128$ . Die Architekturen sind, wo möglich, parameter-gematcht (ca. 830K Parameter). Das Training erfolgt bei einer Sequenzlänge von $L=40$ , die Evaluierung bei $L \in \{40, 60, 80, 100, 120\}$ .
Vortrainierte Skalierung: Das Fine-Tuning wird auf Mamba-130M (24 Schichten) und Pythia-160M/410M (12/24 Schichten) durchgeführt.
Messungen:
- Lineares Probing: Training von logistischen Regressionsklassifikatoren auf gefrorenen Hidden States, um die Lesbarkeit des Zustands in jeder Schicht zu messen.
- Kausale Interventionen: Zero-Ablation (Projektion der Probe-Richtungen heraus) und Subspace-Ablation (Entfernen der obersten PCA- oder Singular-Richtungen), um die funktionale Notwendigkeit zu testen.
- OOD-Generalisierung: Anwendung von Ablationen, die bei $L=40$ trainiert wurden, auf ungesehene Längen ( $L=80, 100, 120$ ).
- Komponenten-Attribution: Ablation der Conv1D-Komponente von Mamba unter einem gematchten reinen PyTorch-Backend, um deren Beitrag isoliert über verschiedene Aufgaben hinweg zu messen.
- Activation Patching: Patching von Aktivierungen aus der mittleren Position in vortrainierten Mamba-Modellen von sauberen Inputs in korrumpierte Inputs, um die Logit-Wiederherstellung zu messen.

Zentrale Beiträge

Aufgabenabhängige Umkehrung: Das Paper zeigt, dass das Muster „konzentriert spät“ vs. „verteilt aufgebaut“ keine architektonische Invariante ist. Es kehrt sich je nach der rechnerischen Struktur der Aufgabe um:
- Präfix-Update-Aufgaben (Parity, $S_3$ ): Rekurrente Modelle und SSMs konzentrieren den lesbaren Zustand in der letzten Schicht, während Transformer ihn graduell über die Schichten aufbauen.
- Begrenztes Stack-Tracking (Dyck): Das Muster kehrt sich um. Transformer erreichen eine nahezu perfekte Lesbarkeit sofort (frühe Schichten), während rekurrenten Modelle und SSMs die Repräsentation progressiv aufbauen.
Entwirrung von Algebra und Berechnung: Durch die Einführung der nicht-kommutativen $S_3$ -Aufgabe zeigen die Autoren, dass das Kodierungsprofil die rechnerische Struktur (Präfix-Update vs. Stack) verfolgt und nicht die algebraische Struktur (Kommutativität). $S_3$ gruppiert sich über alle Architekturen hinweg mit Parity, was die Hypothese widerlegt, dass Kommutativität der primäre Treiber des Kodierungsprofils ist.
Entkopplung von Lesbarkeit und Kausalität: Die Studie zeigt auf, dass die Schicht, in der der Zustand am besten linear lesbar ist (beste Probe-Schicht), nicht immer mit der Schicht übereinstimmt, die kausal für die Aufgabe notwendig ist. Diese Entkopplung ist besonders ausgeprägt in vortrainierten Modellen, in denen Repräsentationen redundanter und verteilter sind.
Komponenten-Ebene der Aufgabenabhängigkeit: Selbst innerhalb einer einzigen Architektur (Mamba) variiert die Bedeutung spezifischer Komponenten je nach Aufgabe. Beispielsweise ist die Conv1D-Komponente entscheidend für $S_3$ und Parity, hat aber keinen signifikanten Effekt auf die Dyck-Leistung, was die Vorstellung eines einzelnen „Mechanismus“ für eine Architektur infrage stellt.

Zentrale Ergebnisse

Verhaltensniveau: Rekurrente Baselines generalisieren perfekt auf Parity und $S_3$ und übertreffen SSMs und Transformer bei Dyck. Die Leistungsordnung von $S_3$ (Rekurrent > SSM > Transformer) spiegelt Parity wider, nicht Dyck.
Probing-Profile:
- Parity/ $S_3$ : Mamba und LSTMs zeigen einen scharfen Sprung in der Probe-Genauigkeit in der finalen Schicht ( $L_3$ in 4-Schicht-Modellen). Transformer zeigen einen graduellen Anstieg von $L_1$ bis $L_3$ .
- Dyck: Transformer erreichen eine hohe Genauigkeit bei $L_0$ oder $L_1$ . Mamba und LSTMs zeigen einen graduellen Anstieg und erreichen die Sättigung erst in späteren Schichten.
- $S_3$ -Bestätigung: $S_3$ folgt dem Parity-Profil (späte Konzentration für RNNs/SSMs, gradueller Aufbau für Transformer), was die Hypothese der rechnerischen Struktur bestätigt.
Kausale Interventionen:
- In 4-Schicht-Formalmodellen verursacht die Ablation der besten Probe-Richtung signifikante Genauigkeitsverluste, und diese Richtungen bleiben auch bei längeren Sequenzen (OOD) notwendig.
- In vortrainierten Modellen tritt eine Spaltung auf:
  - Pythia (Dyck): Es existiert ein starker Engpass in den mittleren Schichten (Ablation bei $L_6$ – $L_7$ senkt die Genauigkeit bei 160M um ~81%). Die beste Probe-Schicht ( $L_{11}$ ) ist nicht die kausal kritischste.
  - Mamba (Parity/Dyck/ $S_3$ ): Die letzte Schicht ist hochgradig lesbar, aber eine Ablation einzelner Richtungen verursacht vernachlässigbare Einbußen (<0,2%). Jedoch stellt das Activation Patching der mittleren Position in der finalen Schicht ~97–98% der Logit-Differenz wieder her, was darauf hindeutet, dass der Zustand ausreichend, aber über viele Richtungen verteilt ist und nicht durch eine einzige lineare Probe erfasst wird.
Conv1D-Attribution: Das Entfernen von Conv1D von Mamba verursacht einen großen Abfall bei $S_3$ (-12,64 pp) und Parity (-6,83 pp), aber keinen signifikanten Abfall bei Dyck (+4,04 pp, nicht signifikant). Dies zeigt, dass die Wichtigkeit der Komponenten aufgabenabhängig ist.

Bedeutung und Behauptungen

Das Paper argumentiert, dass die Frage „Wie kodiert Architektur X den Zustand?“ unvollständig ist, ohne die rechnerische Struktur der Aufgabe zu spezifizieren. Die Autoren behaupten:

Mechanistische Signaturen sind gemeinsame Eigenschaften: Zustandskodierungsstrategien sind keine festen architektonischen Merkmale, sondern entstehen aus der Interaktion zwischen den induktiven Biases des Modells und den rechnerischen Anforderungen der Aufgabe (Präfix-Update vs. Stack).
Methodische Vorsicht: Die Extrapolation mechanistischer Befunde von einem Aufgabenregime (z. B. Präfix-Updates) auf ein anderes (z. B. begrenztes Stack-Tracking) birgt das Risiko, aufgabenbezogene Signaturen fälschlicherweise für architektonische Invarianten zu halten.
Lesbarkeit vs. Kausalität: Probing identifiziert, wo Informationen linear verfügbar sind, aber dies bildet nicht immer ab, wo die Berechnung einen Engpass (Bottleneck) hat, insbesondere in großen vortrainierten Modellen, in denen Redundanz hoch ist.
Algebra vs. Berechnung: Im Kontext dieser formalen Aufgaben ist die rechnerische Struktur (sequentielles Präfix-Update vs. hierarchischer Stack) ein besserer Prädiktor für die schichtweisen Kodierungsprofile als algebraische Eigenschaften wie Kommutativität.

Die Autoren kommen zu dem Schluss, dass ihre Ergebnisse über formale Aufgaben, vortrainierte Skalen (bis zu 410M Parameter) und semi-reale Code-Benchmarks hinweg Bestand haben, was auf eine robuste Interaktion zwischen Architektur und Aufgabenstruktur in der Sequenzmodellierung hindeutet.