🤖 machine learning

Trajectory Geometry of Transformer Representations Across Layers

Dieses Paper führt ein probenfreies, geometrisches Framework für mechanistische Interpretierbarkeit ein, das Transformer-Repräsentationen als diskrete Trajektorien über Schichten hinweg charakterisiert und dadurch eine universelle dreiphasige Dynamik aufzeigt sowie demonstriert, wie Krümmung, Konvergenz und Bifurkation computergestützte Komplexität, semantische Ähnlichkeit und Ambiguität über diverse Modellfamilien hinweg kodieren.

Ursprüngliche Autoren: Vishal Pandey, Gopal Singh

Veröffentlicht 2026-06-09

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Vishal Pandey, Gopal Singh

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Transformer-KI (wie jene, die Chatbots antreiben) nicht als eine Blackbox vor, die magisch Text in Antworten verwandelt, sondern als einen Wanderer, der durch eine riesige, unsichtbare Landschaft wandert.

Dieses Paper schlägt eine neue Art und Weise vor, diesen Wanderer zu beobachten. Anstatt bei jedem Schritt anzuhalten, um zu fragen: „An welches spezifische Wort denkst du gerade?“ (so wie es die meisten Forscher normalerweise tun), haben sich die Autoren dazu entschieden, den gesamten Pfad abzubilden, den der Wanderer vom Anfang des Weges bis zum Ende nimmt. Sie nennen diesen Pfad eine „Trajektorie“.

Hier ist das, was sie über die Form dieses Pfades herausgefunden haben, unter Verwendung einfacher Analogien:

1. Der „Magnet“-Effekt (Semantische Konvergenz)

Die Analogie: Stellen Sie sich vor, Sie werfen drei verschiedenfarbige Bälle (die drei verschiedene Sätze über „Hunde“ repräsentieren) in einen Trichter. Am oberen Ende liegen sie weit auseinander. Während sie fallen, werden sie zur Mitte des Trichters gezogen, bis sie alle in einem engen Haufen am Boden zusammenkommen.
Das Ergebnis: Die Forscher fanden heraus, dass die internen „Pfade“ der KI, wenn sie Sätze mit ähnlichen Bedeutungen verarbeitet, weit auseinander starten, aber in den mittleren und späten Stadien des Netzwerks allmählich zu demselben Punkt in der Mitte krümmen. Sie nennen diese Punkte „Attraktoren“. Es ist, als hätte die KI einen eingebauten Magneten, der ähnliche Ideen zusammenzieht, während sie tiefer nachdenkt.

2. Die „Windung der Straße“ vs. die „Gerade Linie“ (Krümmung)

Die Analogie: Denken Sie an zwei Fahrer.

Fahrer A ändert nur die Farbe seines Autos (z. B. „Die Katze“ vs. „Der Hund“). Er fährt in einer perfekt geraden, langweiligen Linie.
Fahrer B löst ein komplexes Rätsel oder eine Matheaufgabe. Er muss ausweichen, scharf abbiegen und eine windige, kurvenreiche Straße navigieren.
Das Ergebnis: Das Paper fand heraus, dass „windige Straßen“ (hohe Krümmung) auftreten, wenn die KI schwierige Schlussfolgerungen oder Analogien zieht. „Gerade Linien“ (geringe Krümmung) treten auf, wenn die KI nur kleine oberflächliche Änderungen an Wörtern vornimmt. Die „Windigkeit“ des Pfades ist ein direktes Maß dafür, wie schwer die KI denkt.

3. Die „Gabelung im Weg“ (Ambiguität auflösen)

Die Analogie: Stellen Sie sich einen Wanderer vor, der an einer Weggabelung steht. Zuerst steht er einfach am Fuß der Gabelung und ist sich unsicher, welchen Weg er einschlagen soll. Während er ein paar Schritte geht, entscheidet er sich langsam für den linken Pfad, und der Abstand zwischen dem „linken Pfad“ und dem „rechten Pfad“ wird immer größer, bis sie meilenweit voneinander entfernt sind.
Das Ergebnis: Wenn die KI auf ein Wort mit zwei Bedeutungen stößt (wie „Bank“ im Sinne eines Flussufers vs. „Bank“ als Geldinstitut), starten die beiden möglichen Bedeutungen exakt am selben Punkt. Aber während die KI den Satz verarbeitet, teilt sich der Pfad auf. Etwa 2-25 % des Weges durch das Netzwerk beginnt sich der Pfad klar zu trennen, und am Ende sind sie völlig verschieden. Die KI entscheidet nicht sofort; sie legt sich erst allmählich auf eine Bedeutung fest, während sie den Pfad hinunterwandert.

4. Die drei Phasen der Reise (Drei-Phasen-Struktur)

Die Analogie: Die Reise ist nicht zufällig; sie findet immer in drei deutlichen Kapiteln statt, egal welches KI-Modell verwendet wird:

Kapitel 1: Die Karte (Kodierung): Der Wanderer betrachtet das Gelände und findet heraus, wo er sich befindet. Der Pfad ändert schnell die Richtung.
Kapitel 2: Der Marsch (Elaboration): Der Wanderer wandert stetig durch die Mitte des Waldes. Hier finden der „Magnet“-Effekt und die „windigen Straßen“ für schwierige Probleme statt. Der Pfad ist stabil, leistet aber die Schwerstarbeit.
Kapitel 3: Das Ziel (Ausgabe-Vorbereitung): Der Wanderer sieht die Ziellinie und passt seinen Schritt an, um sich bereit zu machen, anzuhalten. Der Pfad ändert sich ein letztes Mal, um die endgültige Antwort vorzubereiten.

Wie sie wissen, dass dies real ist

Die Autoren haben nicht nur geraten. Sie führten „Kontroll-Experimente“ durch, um sicherzustellen, dass sie nicht Dinge sehen, die gar nicht existieren:

Wenn sie die Reihenfolge der Schichten vertauscht hätten (wie das Durchmischen der Kapitel eines Buches), wären die Muster verschwunden.
Wenn sie ein Modell mit zufälligen, ungetrainierten Gewichten verwendet hätten (wie ein Wanderer ohne Karte), wären die Muster verschwunden.
Wenn sie zufällig Bedeutungen zu Wörtern zugewiesen hätten, wäre der „Magnet“-Effekt verschwunden.

Das Fazit

Dieses Paper argumentiert, dass wir verstehen können, wie eine KI denkt, indem wir die Geometrie ihrer Reise betrachten. Wir müssen nicht anhalten und die KI bei jedem Schritt fragen, was sie denkt. Stattdessen können wir einfach die Form ihres Pfades beobachten:

Gerade Linien = Leichte Aufgaben.
Windige Straßen = Schweres Denken.
Zusammenklumpende Pfade = Ähnliche Ideen kommen zusammen.
Sich teilende Pfade = Entscheidung zwischen Bedeutungen.

Es ist eine neue Linse, die es uns ermöglicht, den „Fluss“ der Intelligenz zu sehen, ohne zusätzliche Werkzeuge installieren oder die KI bitten zu müssen, sich selbst zu erklären.

Technisches Resümee: Trajektorien-Geometrie von Transformer-Repräsentationen über Schichten hinweg

Problemstellung

Die aktuelle mechanistische Interpretierbarkeit von Transformer-Modellen operiert weitgehend in zwei Regimen: entweder dem Verfolgen spezifischer computationaler Schaltkreise (z. B. Induction Heads, MLP-Schichten) oder dem Probing von Schicht-weisen Embeddings auf vorab spezifizierte linguistische Merkmale. Beide Paradigmen behandeln die Netzwerkschichten als unabhängige Schnappschüsse und vernachlässigen dabei die kontinuierliche geometrische Struktur, wie sich Repräsentationen über die Tiefe des Netzwerks entwickeln. Diese Arbeit adressiert das offene Problem, wie sich Transformer-Repräsentationen über die Schichten hinweg entwickeln, anstatt lediglich zu untersuchen, was sie zu einem statischen Zeitpunkt kodieren.

Methodik

Die Autoren formulieren den Forward-Pass eines Transformers als diskrete Populations-Trajektorie durch eine hochdimensionale Repräsentations-Mannigfaltigkeit ( $\mathbb{R}^d$ ) um. Inspiriert von Analysen von Populations-Trajektorien in der computergestützten Neurowissenschaft, vermeidet die Studie die Dimensionsreduktion für die Metrik-Berechnung und operiert vollständig im vollen Ambient-Raum, um Projektionsartefakte zu vermeiden.

Kern-Framework

Extraktion der Trajektorie: Für eine Eingabesequenz werden die Hidden States an jeder Schicht $l$ (von den Input-Embeddings $h^{(0)}$ bis zu den finalen Outputs $h^{(L)}$ ) extrahiert. Sequenz-weite Repräsentationen werden durch Mean-Pooling über die Non-Padding-Token gewonnen.
Geometrische Metriken: Fünf Metriken werden direkt in $\mathbb{R}^d$ $R^{d}$ definiert:
- Trajektorienlänge ( $L$ ): Die gesamte euklidische Verschiebung über die Schichten hinweg.
- Krümmung ( $\kappa$ ): Der Winkel zwischen aufeinanderfolgenden Verschiebungsvektoren; die mittlere Krümmung ( $\bar{\kappa}$ ) misst die Nicht-Linearität.
- Semantischer Konvergenz-Index (CI): Misst die Kompression semantisch verwandter Prompts im Vergleich zu unverbundenen Prompts ( $D_{between} - D_{within}$ ).
- Schichtweise Kosinus-Ähnlichkeit (SIM): Winkelähnlichkeit zwischen benachbarten Schichten zur Detektion von Phasenübergängen.
- Repräsentations-Stabilität: Ähnlichkeit zwischen einem Prompt und seiner lexikalischen Perturbation, um die Abstraktion der Oberflächenform zu messen.
Experimentelles Design:
- Modelle: Drei Decoder-only-Familien (GPT-2 Small, TinyLlama-1.1B, Qwen2.5-1.5B).
- Prompts: 150 semantisch kontrollierte Prompts aus fünf Familien: Semantische Kategorien, Lexikalische Variationen, Analogie-Schlussfolgerungen, Mehrstufige Argumentation und Ambivalente Konzepte.
- Kontrollgruppen: Vier rigorose Kontrollen (Random Labels, Random Embeddings, Shuffled Layer Ordering, Multiple Projection Methods), um gelernte Computation von geometrischen Artefakten zu unterscheiden.

Zentrale Beiträge

Die Arbeit führt ein trajektorien-geometrisches Framework für die Transformer-Interpretierbarkeit ein, das probe-frei und modell-agnostisch ist. Sie definiert fünf hochdimensionale Metriken, um die Dynamik von Repräsentationen zu charakterisieren, ohne Klassifikatoren oder Fine-Tuning zu benötigen. Die Autoren stellen eine Open-Source-Pipeline zur Verfügung, die diese Analyse für jedes kausale Sprachmodell ermöglicht.

Hauptergebnisse

Über alle drei Architekturen hinweg und validiert gegen die Kontrollgruppen berichtet die Studie vier zentrale Befunde:

Semantische Konvergenz in Attraktor-Becken: Semantisch verwandte Prompts erfahren eine statistisch signifikante Konvergenz in den mittleren bis späten Schichten. Der Konvergenz-Index steigt steil von nahezu Null in den frühen Schichten auf Spitzenwerte von 0,41–0,58 in späteren Schichten an ( $p < 0,001$ ). Dieser Effekt verschwindet unter den Random-Label-Kontrollen, was auf Attraktor-ähnliche Dynamiken hindeutet, die durch gelernte Semantik getrieben werden.
Krümmung als Komplexitäts-Indikator: Aufgaben der Argumentation und Analogie erzeugen Trajektorien mit einer signifikant höheren mittleren Krümmung als lexikalische Variationen.
- Argumentation (Mehrstufig/Analogie): 0,71–0,83 rad.
- Lexikalische Variationen: 0,27–0,31 rad.
- Dieser Unterschied ist über alle Modelle konsistent ( $p < 0,001$ ) und legt nahe, dass die mittlere Krümmung die computationale Komplexität kodiert. Krümmungsspitzen treten in einer „computationalen Inflektionszone“ (ca. 20–45 % der Netzwerk-Tiefe) auf, was mit bekannten Induction Heads und MLP-Retrieval-Schichten korreliert.
Disambiguierung als Trajektorien-Bifurkation: Ambivalente Token (z. B. „Bank“ in verschiedenen Kontexten) zeigen eine messbare Trajektorien-Bifurkation. Die Repräsentationen für verschiedene Kontexte starten bei Schicht 0 nahezu identisch und driften progressiv auseinander, wobei sie bis zur finalen Schicht ein 5,6-faches Separationsverhältnis erreichen. Der Beginn dieser Bifurkation ist konsistent bei ~20–25 % der Netzwerk-Tiefe über verschiedene Architekturen hinweg, was auf einen universellen Zeitplan für die progressive Disambiguierung statt einer instantanen Auflösung hindeutet.
Universelle dreiphasige computationale Struktur: Die schichtweise Kosinus-Ähnlichkeit offenbart eine konsistente dreiphasige Struktur über alle Modelle hinweg:
- Phase I (Kodierung): Schnelle Veränderung der Repräsentation (geringe Ähnlichkeit).
- Phase II (Elaboration): Stabilisierte Ähnlichkeit, einhergehend mit semantischer Konvergenz und hoher Krümmung.
- Phase III (Output-Vorbereitung): Ein sekundärer Abfall der Ähnlichkeit, während die Repräsentationen auf das Output-Vokabular rekalkibriert werden.
- Diese Struktur bricht unter den Random-Embedding-Kontrollen zusammen, was bestätigt, dass sie ein Produkt trainierter Computation ist.

Signifikanz und Ansprüche

Die Arbeit argumentiert, dass der Forward-Pass eines Transformers nicht eine beliebige Sequenz von Zuständen, sondern ein geometrisch strukturierter Fluss ist. Die Bedeutung dieser Arbeit liegt in:

Probe-freier Interpretierbarkeit: Bereitstellung einer Linse zur Analyse des Modellverhaltens, ohne Features vorab zu spezifizieren oder Klassifikatoren zu trainieren.
Brücke zur Dynamischen Systemtheorie: Verbindung von Konzepten der computergestützten Neurowissenschaft (Mannigfaltigkeiten, Attraktoren, Krümmung) mit Deep Learning, um eine einheitliche Sichtweise darauf zu bieten, wie sich Repräsentationen entwickeln.
Handlungsorientierte Erkenntnisse: Die Ergebnisse legen nahe, dass Interventionen zur Disambiguierung oder Steuerung (Steering) auf spezifische Trajektorien-Phasen abzielen sollten (z. B. vor dem Beginn der Bifurkation) anstatt auf arbiträre Schichten.
Universalität: Die Konsistenz dieser geometrischen Muster über Modelle mit unterschiedlichen Skalen, Architekturen und Trainings-Korpora hinweg deutet darauf hin, dass die Geometrie der Trajektorie durch die Struktur der Sprache selbst getrieben sein könnte.

Die Autoren bleiben hinsichtlich der Kausalität bescheiden und merken an, dass die geometrische Struktur zwar mit semantischen und computationalen Eigenschaften korreliert, die Arbeit jedoch Korrelation und keine Kausalität etabliert. Sie identifizieren die kausale Verifizierung via Activation Patching als notwendigen nächsten Schritt.