On the Geometric Structure of Layer Updates in Deep Language Models

Die Studie zeigt, dass Layer-Updates in tiefen Sprachmodellen geometrisch in eine dominante tokenweise Komponente und einen funktional signifikanten, geometrisch distincten Residualanteil zerlegt werden können, wobei der Approximationsfehler des Residuals stark mit Output-Perturbationen korreliert.

Das Wesentliche

Stellen Sie sich einen sehr tiefen, modernen Sprachcomputer (ein "Large Language Model") wie eine riesige Fabrik vor, in der ein Satz (ein Text) durch viele verschiedene Abteilungen (Schichten) wandert. In jeder Abteilung wird der Text ein wenig verändert, um ihn schlauer, genauer oder verständlicher zu machen.

Die Forscherin Jun-Sik Yoo hat sich gefragt: Wie genau passiert diese Veränderung in jeder Abteilung?

Bisher haben Wissenschaftler oft versucht zu erraten, was in den Zwischenschritten gespeichert ist (wie ein Detektiv, der versucht, die Gedanken eines Verdächtigen zu lesen). Diese Arbeit macht etwas anderes: Sie schaut sich an, wie sich die Daten von einer Etage zur nächsten bewegen.

Hier ist die Entdeckung, einfach erklärt:

1. Die Hauptstraße und die Seitenstraße

Stellen Sie sich vor, jedes Wort in einem Satz ist ein Reisender, der durch die Fabrik läuft. Wenn er eine Etage hochgeht, passiert meist Folgendes:

• Der Hauptteil (Die Hauptstraße): Der Reisende bewegt sich fast genau in die Richtung, die für ihn persönlich geplant war. Es ist eine sehr vorhersehbare, gerade Linie. In der Forschung nennen sie das die "tokenweise Komponente". Das bedeutet: Jedes Wort wird hauptsächlich nur von sich selbst beeinflusst, als würde es einen eigenen, geraden Weg gehen.
• Der Rest (Die Seitenstraße): Es gibt aber noch einen winzigen, aber wichtigen Rest der Bewegung. Das ist der Teil, der nicht auf dieser geraden Hauptstraße liegt. Die Forscher nennen das das "Residuum".

Die Überraschung: Man könnte denken, dieser "Rest" ist nur ein kleiner Fehler oder eine winzige Korrektur, wie ein Wackeln beim Gehen. Aber die Forscher haben entdeckt: Das ist nicht nur ein Wackeln. Dieser Rest ist eine völlig andere Art von Bewegung. Er läuft in eine ganz andere Richtung als die Hauptstraße.

2. Ein kreatives Bild: Der Dirigent und das Orchester

Stellen Sie sich das Orchester (das Sprachmodell) vor.

• Die Hauptstraße ist wie der Taktstock des Dirigenten, der das Orchester im Takt hält. Das passiert bei fast jedem Wort gleichmäßig.
• Der Rest ist wie ein plötzlicher, komplexer Akkord oder eine improvisierte Solopassage, die nur dann passiert, wenn wirklich etwas Wichtiges geschehen muss.

Die Studie zeigt: Wenn man versucht, den gesamten Prozess nur mit dem einfachen Taktstock (der Hauptstraße) zu beschreiben, funktioniert das für 90% der Zeit gut. Aber wenn man den Rest ignoriert, passiert etwas Schlimmes: Das Orchester spielt die falsche Musik.

3. Warum ist dieser "Rest" so wichtig?

Das ist der wichtigste Teil der Entdeckung:

• Wenn die Bewegung eines Wortes gut durch die einfache Hauptstraße beschrieben werden kann, ändert sich das Endergebnis (die Antwort des Computers) kaum. Alles bleibt stabil.
• Wenn die Bewegung schlecht durch die Hauptstraße beschrieben werden kann (also wenn der "Rest" groß ist), dann ändert sich die Antwort des Computers dramatisch.

Die Analogie: Stellen Sie sich vor, Sie bauen ein Haus.

• Die meisten Steine werden einfach gerade aufeinandergelegt (das ist die Hauptstraße). Das ist langweilig, aber notwendig.
• Aber wenn Sie eine Tür einbauen oder ein Fenster setzen müssen, müssen Sie einen Stein schräg legen oder eine spezielle Form verwenden. Das ist der "Rest".
• Wenn Sie diesen speziellen, schrägen Stein (den Rest) weglassen oder falsch machen, stürzt das ganze Haus nicht zusammen, aber das Haus hat keine Tür mehr. Es funktioniert nicht mehr so, wie es soll.

Die Studie sagt also: Die wirklich wichtigen, kreativen und entscheidenden Berechnungen finden nicht in der langweiligen, geraden Hauptstraße statt, sondern in diesem speziellen, schrägen "Rest".

4. Was bedeutet das für uns?

Bisher dachten viele, die ganze Komplexität der KI liege in den riesigen, verschachtelten Verbindungen zwischen allen Wörtern. Diese Arbeit sagt: "Nein, eigentlich ist der Großteil der Arbeit sehr einfach und vorhersehbar."

Die wahre Magie – das, was die KI wirklich "denkt" und entscheidet – ist in diesen kleinen, geometrisch andersartigen Resten versteckt.

Zusammengefasst:
Die KI bewegt sich meistens auf einer geraden, vorhersehbaren Autobahn. Aber wenn sie eine echte Entscheidung treffen muss, weicht sie auf eine schmale, verwinkelte Feldstraße aus. Und genau dort, auf dieser Feldstraße, passiert die eigentliche Intelligenz. Wenn man diese Feldstraße ignoriert, versteht man nicht, wie die KI wirklich funktioniert.

Diese Erkenntnis hilft Forschern, die KI besser zu verstehen, ohne sich in den Millionen von Details zu verlieren. Sie wissen jetzt, wo sie suchen müssen, um zu verstehen, was die KI eigentlich "denkt".

Technische Zusammenfassung

1. Problemstellung

Bisherige Forschungsarbeiten zur Interpretierbarkeit von Deep Language Models (z. B. Transformer, State-Space-Modelle) konzentrieren sich hauptsächlich darauf, welche Informationen in den Zwischenrepräsentationen kodiert sind (mittels Probing, Logit Lens oder mechanistischer Analyse). Es fehlt jedoch ein klares Verständnis dafür, wie sich diese Repräsentationen von einer Schicht zur nächsten transformieren.

Die zentrale Frage des Papers lautet: Wie ist die Struktur der Transformation, die eine Repräsentation einer Schicht in die nächste überführt? Die Autoren stellen die Hypothese auf, dass die beobachteten Änderungen entweder reine Koordinaten-Neuparametrisierungen (reparameterizations) oder funktional bedeutsame Updates sein könnten, wobei bestehende Methoden diese Unterscheidung oft nicht treffen.

2. Methodik

Die Autoren führen einen neuen, architekturunabhängigen Rahmen ein, der die Schicht-Updates (Layer Updates) in zwei Komponenten zerlegt:

A. Funktionale Zerlegung
Die Transformation einer Schicht $l$ zu $l+1$ wird als Summe zweier Terme modelliert:
$$h_{l+1} = T(h_l) + r(h_l)$$

• $T(h_l)$ (Tokenweise Komponente): Eine dominante, tokenweise Transformation. Sie wirkt unabhängig auf jedes Token und wird als lokal linearer, input-konditionierter Abbildung definiert ($T(x_i) = A(x_i)x_i$). Die Parameter $A(x_i)$ variieren basierend auf der Eingabe, erlauben aber keine Interaktion zwischen verschiedenen Tokens (keine Cross-Token-Interaktion).
• $r(h_l)$ (Residual): Der Restterm, der die Komponenten der Transformation erfasst, die nicht durch die eingeschränkte Klasse der tokenweisen Funktionen erklärt werden können.

B. Implementierung und Anpassung

• Lokale Anpassung: Für jede Repräsentation wird eine lokale Nachbarschaft (k-nearest neighbors im Repräsentationsraum) gebildet. Innerhalb dieser Nachbarschaft wird eine tokenweise Abbildung $T$ angepasst, um den Rekonstruktionsfehler $\|h_{l+1} - T(h_l)\|^2$ zu minimieren.
• Funktionsklassen: Es werden verschiedene Klassen getestet, darunter diagonale positiv-semidefinite Matrizen, orthogonale Transformationen, Low-Rank-Linearabbildungen und kleine MLPs.

C. Evaluationsmetriken

• Geometrische Analyse: Messung der Ausrichtung (Cosine Similarity) und des Winkels zwischen dem vollen Update ($\Delta_{full}$), dem tokenweisen Update ($\Delta_{tok}$) und dem Residual ($r$).
• Funktionale Analyse: Interventionstests, bei denen die originale Schichttransition durch die approximierte tokenweise Transformation $T(h_l)$ ersetzt wird. Die Änderung der Modellvorhersage wird als KL-Divergenz gemessen.
• Korrelation: Spearman-Korrelation zwischen dem Approximationsfehler (Residualgröße) und der Störung der Ausgabe (Output Perturbation).

3. Wichtige Beiträge

1. Neue Zerlegung: Einführung einer funktionalen Zerlegung von Layer-Updates in eine dominante tokenweise Komponente und ein strukturelles Residual unter eingeschränkten Funktionsklassen.
2. Geometrische Trennung: Nachweis einer starken geometrischen Trennung: Das vollständige Update ist fast perfekt mit der tokenweisen Komponente ausgerichtet, während das Residual eine deutlich schwächere Ausrichtung, größere Winkelabweichung und eine geringere Projektion auf den dominanten Unterraum aufweist.
3. Funktionale Konsequenzen: Demonstration, dass der Approximationsfehler des tokenweisen Modells stark mit der Störung der Modellausgabe korreliert. Das Residual ist also nicht nur „Rauschen", sondern enthält die funktional bedeutsamen Berechnungen.
4. Architekturunabhängigkeit: Die Ergebnisse gelten sowohl für Transformer-Architekturen als auch für State-Space-Modelle (z. B. Mamba), was auf ein allgemeines Prinzip der Repräsentationsdynamik hindeutet.

4. Ergebnisse

Die Experimente wurden an verschiedenen Modellen (Pythia, DistilGPT2, Mamba) durchgeführt:

• Geometrische Struktur:
  • Das vollständige Layer-Update ist fast perfekt mit der tokenweisen Approximation ausgerichtet (Cosine Similarity nahe 1).
  • Das Residual zeigt eine breite Winkelverteilung (oft > 60 Grad Abweichung) und liegt nicht im dominanten Unterraum der tokenweisen Updates. Dies bestätigt, dass das Residual eine geometrisch distincte Komponente ist.
• Funktionale Korrelation:
  • Es besteht eine starke monotone Beziehung zwischen dem Approximationsfehler und der Ausgabe-Störung.
  • Die Spearman-Korrelation liegt oft über 0,7 und erreicht in größeren Modellen Werte bis zu 0,95.
  • Tokens mit einem großen Residual (schlechte Approximation durch tokenweise Maps) führen zu signifikanten Änderungen in der Modellvorhersage.
• Schichtabhängigkeit:
  • Die Stärke der Korrelation variiert über die Schichten hinweg. Mittlere Schichten zeigen oft höhere Residuen und schwächere Ausrichtung, was auf Regime hinweist, in denen tokenweise Approximationen versagen.
• Architektur-Vergleich:
  • Kleinere Modelle (z. B. DistilGPT2) lassen sich gut durch einfache diagonale Transformationen approximieren.
  • Größere Modelle profitieren von Low-Rank-Maps, was auf reichhaltigere, aber dennoch strukturierte tokenweise Dynamiken hindeutet.
  • Mamba-Modelle zeigen ein ähnliches Zerlegungsmuster wie Transformer, obwohl sie keinen Attention-Mechanismus nutzen.

5. Bedeutung und Schlussfolgerung

Das Paper liefert ein neues Verständnis der inneren Arbeitsweise von Sprachmodellen:

• Strukturierte Neuparametrisierung: Die meisten Schicht-Updates verhalten sich wie strukturierte Neuparametrisierungen entlang einer dominanten, tokenweisen Richtung. Dies bedeutet, dass ein Großteil der Transformation lokal und unabhängig pro Token erfolgt.
• Konzentration der Berechnung: Die funktional signifikante Berechnung (die das Modellverhalten tatsächlich ändert) ist in dem geometrisch getrennten Residual-Komponenten konzentriert.
• Interpretierbarkeit: Das Residual dient als Signal dafür, wo im Modell „wichtige" Berechnungen stattfinden. Es ist nicht nur ein kleiner Korrekturterm, sondern ein qualitativ anderer Teil der Transformation.
• Allgemeingültigkeit: Da diese Trennung nicht durch die Architektur (z. B. Attention-Blöcke) vorgegeben ist, sondern aus der funktionalen Dynamik unter eingeschränkten Klassen entsteht, bietet der Ansatz eine robuste, architekturunabhängige Methode zur Analyse von Deep Learning-Modellen.

Zusammenfassend schlägt das Paper vor, dass das Verständnis von Layer-Updates nicht nur durch die Analyse von Inhalten (Probing), sondern durch die Analyse der geometrischen Struktur der Transformationen selbst erfolgen sollte, wobei das Residual als Schlüssel für funktionale Änderungen identifiziert wird.