🤖 machine learning

Geometric and Behavioral Stratification in Transformer Residual Streams

Diese Arbeit identifiziert die Vorhersagerichtung als einen privilegierten, inhaltlich definierten Anker in Transformer-Residualströmen, der die hochdimensionale Komputation geometrisch und verhaltensweise in eine schmale, strukturierte, vorhersagenähe Schnittstelle und ein weites, skalenabhängiges Komplement stratifiziert und somit offenlegt, wie lineares Auslesen mit komplexen internen Repräsentationen koexistiert.

Ursprüngliche Autoren: Nelson Guda

Veröffentlicht 2026-08-14

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nelson Guda

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen zu verstehen, wie das Gehirn eines riesigen, superintelligenten Robotergehirns funktioniert. Dieses Gehirn wurde mit einer Technologie namens „Transformer“ gebaut, die der Motor hinter vielen der KI-Chatbots und Schreibwerkzeuge ist, die wir heute verwenden. Diese Roboter denken nicht wie Menschen; statstattdessen verarbeiten sie Informationen durch einen massiven, hochdimensionalen „Residual Stream“ (Reststrom). Stellen Sie sich diesen Strom als einen riesigen, wirbelnden Fluss aus Zahlen vor, der durch die Schichten des Roboters fließt. An jedem Schritt fügt der Roboter neue Informationen zu diesem Fluss hinzu, und ganz am Ende muss er entscheiden, welches Wort er als Nächstes sagen wird.

Lange Zeit glaubten Wissenschaftler, wenn man den Roboter größer machen würde (indem man mehr Parameter hinzufügt oder den Fluss breiter macht), würde die Art und Weise, wie er Entscheidungen trifft, auf die gleiche Weise größer und komplexer werden. Sie nahmen an, dass sich der „Entscheidungsfindungsteil“ des Gehirns ausdehnen würde, um den gesamten neuen Raum auszufüllen. Diese neue Forschung stellt jedoch eine andere Frage: Was wäre, wenn der Roboter seinen Entscheidungskanal eigentlich schmal und fest hält und den zusätzlichen Platz für etwas ganz anderes verwendet? Der Autor versucht im Wesentlichen, die Geografie dieses Flusses zu kartieren, um zu sehen, wo das „echte“ Denken stattfindet und wo der Roboter lediglich seine Notizen speichert. Er möchte wissen, ob die interne Karte des Roboters zufällig organisiert ist oder ob sie einer verborgenen, speziellen Regel folgt.

Die große Entdeckung des Papers: Der „Vorhersage-Anker“ (Prediction Anchor)

In dieser Studie untersuchten die Forscher Nelson Guda und Kollegen 18 verschiedene KI-Modelle, die von kleinen (7 Milliarden Parameter) bis hin zu massiven (120 Milliarden Parameter) Modellen reichen. Sie wollten sehen, wie diese Modelle ihren internen „Fluss“ der Daten organisieren. Sie entdeckten, dass die Modelle nicht einfach zufällig herumschweben; sie organisieren alles um ein sehr spezifisches, sich bewegendes Ziel: die Vorhersagerichtung (prediction direction).

Stellen Sie sich vor, der Roboter versucht, das nächste Wort in einem Satz zu erraten. Er hat ein „Ziel“ in seinem Geist – die spezifische Richtung in seinem Gehirn, die auf dieses Wort zeigt. Die Forscher fanden heraus, dass der Roboter dieses Ziel als einen speziellen Anker behandelt. Alles in seinem Gehirn wird relativ zu diesem Anker gemessen.

Die „enge Tür“ vs. das „riesige Lagerhaus“

Die überraschendste Erkenntnis ist, dass der Teil des Gehirns, der tatsächlich das nächste Wort entscheidet, unglaublich klein ist und die gleiche Größe beibehält, egal wie groß der Roboter wird. Der Autor nennt dies das Vorhersage-Interface (prediction interface).

Die Analogie: Stellen Sie sich ein massives, mehrstöckiges Lagerhaus (das Gehirn des Modells) vor. In diesem Lagerhaus gibt es eine winzige, schmale Tür (das Vorhersage-Interface), die in die Außenwelt (das nächste Wort) führt.
Die Erkenntnis: Egal, ob das Lagerhaus so groß wie ein Haus oder so groß wie eine Stadt ist, diese Tür bleibt exakt dieselbe Größe. Die Forscher fanden heraus, dass diese „Tür“ nur etwa 4 bis 10 Dimensionen nutzt (einen winzigen Ausschnitt des gesamten Raums des Gehirns).
Der Rest des Gehirns: Der Rest des Lagerhauses – das „Vorhersage-distale Komplement“ (prediction-distal complement) – ist riesig. Wenn die Modelle größer werden, wird dieses Lagerhaus immer größer, aber die Tür wird es nicht. Der zusätzliche Platz wird nicht dazu verwendet, die Tür breiter zu machen; er wird dazu verwendet, ein massives Speichergebiet um die Tür herum zu bauen.

Warum dies wichtig ist: Das „Signal vs. Rauschen“-Spiel

Warum würde ein Roboter eine so winzige Tür behalten? Das Paper legt nahe, dass es darum geht, das Signal klar zu halten. Wenn die Tür breit und chaotisch wäre, würde das gesamte Rauschen aus dem riesigen Lagerhaus mit der Entscheidung vermischt werden. Indem der Roboter die Tür schmal und das Lagerhaus riesig hält, kann er all seine komplexen Berechnungen im Lagerhaus durchführen, lässt aber nur das saubere, klare „Signal“ durch die winzige Tür passieren, um seine Wahl zu treffen.

Die Forscher fanden heraus, dass das „Lagerhaus“ (das Komplement) tatsächlich viel schwere Arbeit leistet. Selbst wenn es weit entfernt von der Entscheidungstür liegt: Wenn man die Richtung der Daten im Lagerhaus verändert, spielt die Ausgabe des Roboters sofort verrückt. Wenn man jedoch die Daten im Lagerhaus nur kleiner macht (ohne ihre Richtung zu ändern), ist der Roboter völlig in Ordnung. Dies deutet darauf hin, dass der Roboter sich darum kümmert, worauf die Daten zeigen, nicht darum, wie groß sie sind.

Das „Anti-Clumping“-Rätsel

Hier ist eine seltsame Wendung, die die Forscher fanden. Als sie untersuchten, wie der Roboter ähnliche Prompts gruppiert (wie Fragen zu Mathematik vs. Fragen zu Geschichte), erwarteten sie, dass das „Lagerhaus“ chaotisch und unorganisiert wäre. Stattdessen fanden sie etwas Seltsames: Das Lagerhaus macht tatsächlich das Gegenteil dessen, was man erwarten würde.

Die Tür (Vorhersage-Interface): Dieser Teil ist sehr gut darin, verschiedene Gruppen von Prompts voneinander zu unterscheiden. Er hält Mathefragen weit weg von Geschichtsfragen.
Das Lagerhaus (Komplement): Dieser Teil ist „antidiskriminatorisch“. Er drückt Prompts aus der gleichen Gruppe tatsächlich weiter auseinander und zieht Prompts aus verschiedenen Gruppen näher zusammen.

Stellen Sie es sich wie eine Party vor. Die „Tür“ ist der Türsteher, der Ausweise kontrolliert und die VIPs von den Stammgästen trennt. Das „Lagerhaus“ ist die Tanzfläche. Auf der Tanzfläche tanzen die VIPs vielleicht in einem chaotischen Kreis, während die Stammgäste eng zusammenstehen. Das Lagerhaus scheint eine spezielle Art von Balanceakt zu vollziehen, um sicherzustellen, dass selbst wenn die „Tür“ unterschiedliche Dinge sieht, das Endergebnis (das nächste Wort) immer noch Sinn ergibt.

Der „Task Frame“ vs. die „Storyline“

Die Forscher testeten auch, was passiert, wenn man verschiedene Teile des Gehirns „durcheinanderbringt“. Sie fanden eine klare Hierarchie darin, wie der Roboter sich verhält:

Die „Stance“-Schicht (Closest to the door – am nächsten zur Tür): Wenn man den Teil des Gehirns manipuliert, der der Entscheidungstür am nächsten liegt, vergisst der Roboter sofort, was er eigentlich tun soll. Er könnte aufhören, eine Geschichte zu schreiben, und statettdessen Grammatiktipps geben, oder vom hilfreichen Assistenten zu einem griesgrämigen Kritiker wechseln. Er ändert den Rahmen (Frame) des Gesprächs augenblicklich.
Die „Trajectory“-Schicht (Ein Stück weiter draußen): Wenn man die nächste Schicht manipuliert, behält der Roboter denselben Rahmen bei (er bleibt ein hilfreicher Assistent), aber er ändert den Inhalt der Geschichte. Er könnte anfangen, über eine Katze statt über einen Hund zu sprechen, aber er erzählt immer noch eine Geschichte.
Die „Dynamic“-Schicht (Der bewegliche Teil): Die Forscher fanden auch, dass das riesige Lagerhaus einen „statischen“ Teil (wie ein permanentes Gerüst) und einen „dynamischen“ Teil (wie ein bewegliches Kuvert, das sich jede Sekunde aktualisiert) hat. Wenn man den dynamischen Teil einfriert und ihn nicht aktualisieren lässt, stürzt der Roboter sofort ab. Er braucht dieses ständige Update, um Text generieren zu können.

Was dies für die Zukunft bedeutet

Das Paper legt nahe, dass, wenn KI-Modelle größer und intelligenter werden, sie nicht unbedingt in ihrer Entscheidungsfindung „breiter“ werden. Stattdessen werden sie besser darin, mehr komplexe Berechnungen in das massive Lagerhaus rund um diese winzige, feste Tür zu packen.

Dies verändert die Art und Weise, wie wir diese Modelle bewerten könnten. Wenn wir nur auf die endgültige Antwort schauen (was aus der Tür kommt), übersehen wir vielleicht 99 % dessen, was das Modell tatsächlich im Lagerhaus macht. Das Modell könnte unglaublich komplexe Schlussfolgerungen in diesem riesigen, verborgenen Raum ziehen, aber weil die Tür so schmal ist, können wir es nicht sehen. Der Autor legt nahe, dass wir, um KI wirklich zu verstehen, in das Lagerhaus schauen müssen, nicht nur durch die Tür.

Kurz gesagt: Das Paper enthüllt, dass diese riesigen KI-Gehirne wie eine Festung mit einem winzigen, unveränderlichen Tor organisiert sind. Die Magie geschieht im weiten, verborgenen Innenhof hinter dem Tor, wo die eigentliche Arbeit geleistet wird, und das Tor selbst stellt nur sicher, dass die endgültige Nachricht rein und klar ankommt.

Technisches Resümee: Geometrische und behaviorale Stratifizierung in Transformer-Residualströmen

Problemstellung

Jüngste Forschungen haben etabliert, dass trainierte Transformer-Modelle „privilegierte Basen“ entwickeln – spezifische Koordinatenachsen mit statistischen Eigenschaften, die sich vom Rest des Residualstroms unterscheiden. Die funktionale Rolle und die geometrische Natur dieser privilegierten Richtungen bleiben jedoch unklar. Während vorangegangene Arbeiten diese Achsen als anomale Koordinatensätze identifizierten, erklärten sie nicht, welche spezifische Richtung sie auswählen oder wie sie die hochdimensionale Komputation des Modells organisieren.

Dieses Paper adressiert die Lücke zwischen der hochdimensionalen Natur der Transformer-Komputation (tausende Dimensionen) und der niedrigdimensionalen Natur des linearen Readouts (eine einzige Projektion auf die Vokabular-Logits). Der Autor untersucht, ob die Vorhersagerichtung (prediction direction) – der Unembedding-Vektor des Tokens, den das Modell aktuell vorhersagt – als inhaltsdefinierter privilegierter Anker dient, der die Geometrie und das Verhalten des Residualstroms organisiert.

Methodik

Der Autor führt PDSF (Prediction-anchored Decomposition of Subspace Features) ein, ein Koordinatensystem, das den Zustand des Residualstroms ( $h$ ) in jeder Schicht in vier streng orthogonale Komponenten unterteilt, geordnet nach ihrer Nähe zur aktuellen Vorhersagerichtung des Modells ( $\hat{u}$ ):

P (Predictive): Die Rang-1-Projektion von $h$ auf den normalisierten Unembedding-Vektor $\hat{u}$ des aktuellen Argmax-Tokens.
D (Discriminative): Die Top- $k$ PCA-Richtungen des Residuals nach Entfernung von $P$ .
S (Situational): Die Top- $k$ PCA-Richtungen des Residuals nach Entfernung von sowohl $P$ als auch $D$ .
F (Framework/Complement): Der orthogonale Rest, der den weitaits größten Teil der Dimensionen des Residualstroms repräsentiert.

Die kombinierte Region $P + D + S$ wird als Vorhersage-Interface (prediction interface) bezeichnet, während $F$ das vorhersagedistale Komplement (prediction-distal complement) darstellt.

Experimentelles Setup:

Testbett: 18 Transformer-Modelle aus 6 Architekturfamilien (Llama, Gemma, Mistral, Mixtral, Qqun, GPT-OSS), die von 7B bis 120B Parametern reichen, einschließlich Base- und Instruction-tuned Varianten.
Prompt-Sets: Drei strukturierte Sets, die darauf ausgelegt sind, verschiedene Variationen zu untersuchen:
- SpecA: Eingeschränkte Prompts mit festen Antworten, aber variierenden Oberflächenformen (224 Prompts).
- SpecB: Offen endige narrative Fortsetzungen (80 Prompts).
- Diverse: Prompts über 8 linguistische Regime hinweg (narrativ, Code, Mathematik, etc.) (84 Prompts).
Interventionen: Der Autor setzt gezielte Interventionen ein, einschließlich Single-Pass-Perturbationen, persistenter rotatorischer Skrammierung (Haar-Maß-Rotationen angewendet bei ca. 70 % Tiefe) und Magnituden-Attenuierung, um kausale Rollen zu testen.

Zentrale Beiträge und Ergebnisse

1. Ein skaleninvariantes Vorhersage-Interface

Die effektive Dimensionalität der vorhersagenähen Subräume ( $D$ und $S$ ) ist niedrig und skaleninvariant.

Bei eingeschränkten Prompts ist der effektive Rang von $D$ konsistent einstellig (Mittelwert $\approx 4$ ) über alle Modelle hinweg, unabhängig von der Hidden Dimension ( $d_{model}$ von 2.880 bis 8.192).
Die Dimensionalität des Interfaces wird durch die semantische Komplexität des Prompts bestimmt, nicht durch die Breite des Modells.
Instruction Tuning schärft die interne Organisation des Interfaces (erhöht die Diskriminierung und reduziert die Paraphrase-Sensitivität), erweitert es jedoch nicht.
Fazit: Skalierung vergrößert die Größe des vorhersagedistalen Komplements ( $F$ ), nicht das Vorhersage-Interface.

2. Geometrische Stratifizierung: Orthogonalität und Manifold-Komplexität

Orthogonalität: Die Vorhersagerichtung ist nahezu orthogonal (mittlerer Winkel $\approx 84^\circ$ – $86^\circ$ ) zu den Hauptvarianzachsen des Residualstroms. Hochvariante Richtungen sind von der Readout-Achse weg verschoben.
Manifold-Komplexitätsgradient: Es gibt einen steilen Gradienten der Manifold-Komplexität entlang der Vorhersage-Proximitätsachse.
- Vorhersage-proximal ( $D$ ): Hochgradig gefaltete, strukturierte Geometrie (hohe Informationsdichte).
- Vorhersage-distal ( $F$ ): Flache, uniforme Geometrie.
- Dieser Gradient ist signifikant steiler, wenn er relativ zur Vorhersagerichtung gemessen wird, im Vergleich zu Standard-Varianz-geordneten PCA-Kontrollen, insbesondere bei linguistisch heterogenen Prompts.

3. Anti-Diskriminierung im Komplement

Entgegen der Erwartung, dass die Gruppen-Diskriminierung mit der Distanz zur Vorhersagerichtung abnimmt, zeigt das Komplement ( $F$ ) Anti-Diskriminierung.

Prompts aus derselben semantischen Gruppe liegen im $F$ -Raum systematisch weiter auseinander als Prompts aus unterschiedlichen Gruppen.
Dies deutet darauf hin, dass $F$ eine prompt-spezifische Konfiguration trägt, die Variationen in den vorhersage-proximalen Zuständen kompensiert, um ähnliche Readout-Ergebnisse zu erzielen.

4. Richtung über Magnitude (Thin-Shell-Hypothese)

Das Paper validiert die „Thin-Shell“-Hypothese: Die Variation im Residualstrom wird durch die Richtung, nicht die Magnitude getrieben.

Die Störung der Richtung des Komplements ( $F$ ) mittels Rotation verursacht eine sofortige und schwere Divergenz der Ausgabe.
Die Reduzierung der Magnitude von $F$ (Attenuierung) bei gleichbleibender Richtung hat einen vernachvernachlässigbaren Effekt.
Dies bestätigt, dass das Komplement als gerichtetes Substrat essenziell für die Komputation ist, trotz seiner schwachen Ausrichtung auf das Readout.

5. Behaviorale Stratifizierung

Persistente rotatorische Interventionen offenbaren eine behaviorale Hierarchie, die mit der Vorhersage-Proximitätsachse korreliert:

Subraum $D$ (Unmittelbares Framing): Eine Störung verursacht sofortige Divergenz (mittlerer erster Divergenz-Token $\approx 1,2$ ) und häufige Task-Frame-Shifts (z. B. Wechsel von einer Antwort zu Meta-Kommentaren).
Subräume $S$ und $F$ -topK (Trajektorie): Eine Störung verursacht verzögerte Divergenz (mittlerer erster Divergenz-Token $\approx 5,6$ für $S$ , $\approx 6,5$ für $F$ -topK) und Inhalts-Substitution innerhalb eines erhaltenen Task-Frames.
Dies indiziert, dass $D$ das initiale Framing der Antwort kontrolliert, während $S$ und der hochvariante Teil von $F$ die anschließende Trajektorie steuern.

6. Statische/Dynamische Partition des Komplements

Das Komplement $F$ ist weiter nach zeitlicher Dynamik organisiert:

Es unterteilt sich in ein statisches Gerüst (static scaffold, zeitlicher Mittelwert) und eine dynamische Hülle (dynamic envelope, Token-zu-Token Updates).
Die dynamische Hülle ist kausal belastbar: Das Injizieren von „veraltetem“ (einen Schritt verzögertem) $F$ führt durch die erste Token-Divergenz zu universeller Output-Divergenz.
Das Rotieren der Richtungen der dynamischen Hülle verursacht katastrophales Versagen (92,3 % Fehlerrate), was sich deutlich von der Umleitung unterscheidet, die durch das Rotieren von $D$ oder $S$ verursacht wird.

Signifikanz und Behauptungen

Das Paper beansprucht, die Vorhersagerichtung als eine privilegierte, inhaltsdefinierte Anker-Achse etabliert zu haben, die die Geometrie des Residualstroms auf eine Weise organisiert, die sich von zuvor beschriebenen koordinatenbasierten Achsen unterscheidet.

Architektonische Beschränkung: Die Ergebnisse legen nahe, dass das lineare Readout eine „Signal-zu-Rauschen“-Beschränkung auferlegt, die das Modell dazu zwingt, die vorhersagerelevante Struktur in ein schmales, skaleninvariantes Interface zu isolieren und gleichzeitig ein orthogonales, computationales Substrat ( $F$ ) zu expandieren.
Evaluations-Blindheit: Da der Großteil des Residualstroms (das Komplement) nur schwach mit dem Readout korreliert, messen output-basierte Evaluationsmetriken (Logits, Next-Token-Accuracy) die interne Komputation und die strukturellen Veränderungen im Modell bei der Skalierung wahrscheinlich unter.
Interpretierbarkeit: Die geometrische Stratifizierung bietet einen Rahmen für die Feature-Level-Interpretierbarkeit und legt nahe, dass das Task-Framing in $D$ residiert, während Trajektorie und Zustandsaufrechterhaltung in $S$ und $F$ liegen.
Geometrie vs. Varianz: Das Paper argumentt, dass die geometrische Organisation nicht bloß ein Schatten der Varianzstruktur ist; die Verankerung an der Vorhersagerichtung offenbart Organisationsprinzipien (wie die Anti-Diskriminierung von $F$ und die behaviorale Hierarchie), die durch rein varianzbasierte Analysen nicht erfasst werden können.

Der Autor schließt, dass Transformer-Residualströme am besten nicht als diffuse hochdimensionale Aktivierungen, sondern als stratifizierte Geometrien verstanden werden sollten, die ein festes Vorhersage-Interface in einem dynamisch aufrechterhaltenen, kausal belastbaren Substrat enthalten.