🤖 machine learning

Analogies between Transformer Layers and Power Method

Dieser Artikel stellt eine Analogie zwischen Transformer-Schichten und der Potenzmethode her und zeigt, dass Tokens mit dem Haupt-Eigenvektor des Produkts aus Wert- und Ausgabe-Gewichtsmatrizen übereinstimmen, ein Phänomen, das in Modellen mit geteilten Gewichten analytisch beweisbar ist und genutzt werden kann, um Transformer-Ausgaben in beliebige Richtungen zu steuern.

Ursprüngliche Autoren: Chenglong Li, Claudio Altafini

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chenglong Li, Claudio Altafini

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Transformer als „Power-Method"-Maschine

Stellen Sie sich einen Transformer (das Gehirn hinter KI-Chatbots) nicht als komplexes neuronales Netzwerk vor, sondern als ein riesiges, mehrstöckiges Gebäude. Jede Etage des Gebäudes ist eine „Schicht". Wenn ein Stück Information (ein „Token", wie ein Wort in einem Satz) das Gebäude betritt, reist es vom untersten Stockwerk zum obersten und wird an jeder Station verarbeitet.

Die Autoren dieses Papers entdeckten ein überraschendes Geheimnis: Die Art und Weise, wie ein Token durch diese Schichten wandert, ist mathematisch fast identisch mit einem klassischen mathematischen Trick, der „Power Method" (Potenzmethode) genannt wird.

Die Analogie: Der magnetische Kompass

Stellen Sie sich die „Power Method" wie einen Kompass vor, der versucht, den Norden zu finden.

Der Aufbau: Sie haben eine Kompassnadel (das Token), die in eine zufällige Richtung zeigt.
Der Prozess: Sie legen den Kompass auf eine Karte, unter der ein riesiger, unsichtbarer Magnet verborgen ist. Der Magnet zieht die Nadel leicht in Richtung „Nord".
Die Normalisierung: Nachdem sich die Nadel bewegt hat, zwingen Sie sie, ihre Länge beizubehalten (sie darf nicht wachsen oder schrumpfen, sie wird nur gedreht).
Das Ergebnis: Wenn Sie dies immer wieder tun, hört die Nadel schließlich auf zu wackeln und zeigt fast perfekt nach Norden.

Das Paper argumentiert, dass jede Schicht eines Transformers genau das tut.

Der „Magnet" ist eine spezifische mathematische Matrix (ein Gitter aus Zahlen), die durch die Gewichte der Schicht erzeugt wird.
Der „Nord" ist der Haupt-Eigenvektor. Dies ist eine spezielle, dominante Richtung im Datenraum.
Die „Normalisierung" ist der Schritt der Layer Normalization, der die Größe des Tokens konstant hält.

Während ein Token also den Transformer hinaufreist, wird es ständig in diese dominante Richtung „gekippt" oder gezogen, genau wie die Kompassnadel.

Zwei Arten von Gebäuden

Das Paper betrachtet zwei verschiedene Arten von Transformer-Gebäuden, die sich unterschiedlich verhalten.

1. Das „Universelle" Gebäude (geteilte Gewichte)

Einige Transformer, wie ALBERT, verwenden für jede einzelne Etage exakt denselben Bauplan. Der „Magnet" ist auf jeder Ebene identisch.

Was passiert: Da der Magnet überall gleich ist, wird das Token bei jedem Schritt in die gleiche Richtung gezogen. Es ist wie das Gehen eine Treppe hinauf, bei der jeder Schritt leicht in Richtung derselben Wand geneigt ist.
Das Ergebnis: Bis das Token die Spitze erreicht, ist es fast perfekt mit dieser einen dominanten Richtung ausgerichtet. Das Paper beweist mathematisch, dass in diesem Fall alle Tokens schließlich dazu konvergieren, in dieselbe Richtung zu zeigen (ein Zustand, der als „Konsens" bezeichnet wird).

2. Das „Individuelle" Gebäude (schichtvariierende Gewichte)

Die meisten populären Transformer, wie GPT-2, BERT und GPT-Neo, haben für jede Etage einen anderen Bauplan. Der „Magnet" ändert sich von Schicht zu Schicht.

Was passiert: Auf Etage 1 zieht der Magnet das Token in Richtung „Nord". Auf Etage 2 ändert sich der Magnet und zieht es in Richtung „Nordost". Auf Etage 3 zieht er in Richtung „Süd".
Das Ergebnis: Da sich das Ziel ständig bewegt, wird das Token nie perfekt mit einer einzigen Richtung ausgerichtet. Das Paper zeigt jedoch, dass bei jedem einzelnen Schritt das Token dennoch versucht, sich mit der dominanten Richtung der aktuellen Etage auszurichten. Es ist wie ein Wanderer, der versucht, einem Führer zu folgen, der ständig seine Meinung darüber ändert, welche Richtung die „beste" ist. Der Wanderer erreicht kein perfektes Ziel, aber er wird in jedem Moment in eine bestimmte Richtung gedrängt.

Der „Steering"-Trick

Der aufregendste Teil des Papers ist eine praktische Anwendung dieser Entdeckung. Die Autoren erkannten, dass wir das System hacken können, da die „Power Method" von der Stärke des Magneten (der spektralen Lücke) abhängt.

Die Analogie:
Stellen Sie sich vor, Sie befinden sich im „Individuellen Gebäude" (wie GPT-2). Die Tokens wandern herum, weil die Magnete auf jeder Etage schwach und widersprüchlich sind. Aber Sie dürfen den Magneten auf der letzten Etage vor dem Austritt des Tokens ändern.

Der Zug: Sie ersetzen den Magneten der letzten Etage durch einen superstarken, maßgeschneiderten Magneten, der genau in die Richtung zeigt, in die Sie wollen, dass das Token geht (z. B. „Sei hilfreich" oder „Sei kreativ").
Die Wirkung: Da dieser neue Magnet viel stärker ist als die anderen (was eine enorme „spektrale Lücke" erzeugt), setzt er sich über alle vorherigen Verwirrungen hinweg. Das Token rast sofort in die von Ihnen gewählte Richtung aus.

Das Paper behauptet, dass dies es uns ermöglicht, die Ausgabe eines großen Sprachmodells in jede gewünschte spezifische Richtung zu lenken, indem wir einfach die Mathematik der letzten Schicht anpassen.

Zusammenfassung der Erkenntnisse

Der Mechanismus: Transformer funktionieren wie eine wiederholte mathematische Übung (die Power Method), die versucht, Daten mit einer „Hauptrichtung" auszurichten.
Geteilte Gewichte (ALBERT): Wenn die Schichten identisch sind, konvergieren die Tokens perfekt in diese Hauptrichtung.
Unterschiedliche Gewichte (GPT/BERT): Wenn die Schichten unterschiedlich sind, konvergieren die Tokens nicht perfekt, aber sie zeigen dennoch bei jedem Schritt eine Tendenz, sich mit der Hauptrichtung der aktuellen Schicht auszurichten.
Der Hack: Indem wir der letzten Schicht einen starken, maßgeschneiderten „Kick" hinzufügen, können wir die Tokens zwingen, sich mit jeder von uns gewählten Richtung auszurichten und so die Ausgabe der KI effektiv steuern.

Wichtiger Hinweis: Das Paper ignoriert spezifisch das „Feed-Forward Network" (den Teil der Schicht, der komplexes nicht-lineares Denken leistet), um diese mathematische Analogie funktionsfähig zu machen. Sie konzentrieren sich nur auf die Attention- und Normalisierungsteile. Sie stellen auch fest, dass in realen Modellen diese Ausrichtung oft schwach ist, weil die „Magnete" nicht stark genug sind, aber das Prinzip gilt dennoch.

Technische Zusammenfassung: Analogien zwischen Transformer-Schichten und der Potenzmethode

Problemstellung
Die Arbeit adressiert das mangelnde Verständnis der spezifischen Vektorrichtung, in die Token-Repräsentationen in tiefen Transformern konvergieren, ein Phänomen, das als „Oversmoothing", „Rank Collapse" oder „Token-Uniformität" bekannt ist. Zwar ist gesichert, dass tiefe Transformer zu einem Konsenszustand neigen, in dem alle Token identisch werden, doch die Natur dieses Konsensvektors und der ihn antreibende Mechanismus bleiben unklar. Die bestehende Literatur modelliert Self-Attention häufig als System in kontinuierlicher Zeit oder konzentriert sich auf Szenarien mit einem einzigen Kopf, wodurch das diskrete, mehrköpfige Verhalten praktischer Modelle (wie GPT2, BERT und ALBERT) weniger erforscht bleibt. Insbesondere sucht die Arbeit herauszufinden, ob der iterative Prozess des Durchlaufens von Token durch Transformer-Schichten einer bekannten numerischen Methode zur Berechnung von Hauptvektoren ähnelt.

Methodik
Die Autoren modellieren einen Transformer als ein diskretes dynamisches System, wobei der Schichtindex $t$ die Zeit darstellt. Sie konzentrieren sich auf das Aktualisierungsgesetz der Token-Vektoren $x_i(t)$ durch eine einzelne Schicht, schließen das Feed-Forward-Netzwerk (FFN) explizit aus und nutzen $L_2$ -Normalisierung (anstelle der standardmäßigen LayerNorm), um die geometrischen Effekte der Attention- und Projektionsmechanismen zu isolieren.

Der Kern der Methodik besteht darin, für jede Schicht $t$ eine „Schichtmatrix" $F_t$ zu definieren, die als Produkt der Ausgabegewichtsmatrix ( $O$ ) und der verketteten Wertegewichtsmatrizen ( $V$ ) der Attention-Köpfe konstruiert wird:
$F_t = O_t V_t$
Die Aktualisierungsregel wird als Schritt in einem dynamischen System analysiert:
$x_i(t+1) = \text{LayerNorm}\left(x_i(t) + \text{AttentionOutput}\right)$
Die Autoren ziehen eine direkte Analogie zwischen dieser Aktualisierung und der Potenzmethode, einem iterativen Algorithmus zur Berechnung des Hauptvektors einer Matrix. Bei der Potenzmethode wird ein Vektor wiederholt mit einer Matrix multipliziert und normalisiert; er konvergiert gegen den dominanten Eigenvektor, sofern eine Spektrallücke existiert.

Die Analyse gliedert sich in zwei Hauptszenarien:

Geteilte Gewichte (Zeit-invariant): Analysiert an ALBERT-Modellen, bei denen die Gewichte über alle Schichten hinweg identisch sind ( $F_t = F$ ). Die Autoren liefern rigorose analytische Charakterisierungen für Fälle, in denen der HauptEigenwert reell und strikt dominant, komplex oder nicht-dominant ist.
Schichtvariierende Gewichte (Zeit-variierend): Analysiert an BERT, GPT2 und GPTNeo. Hier ändert sich $F_t$ in jeder Schicht. Die Autoren untersuchen, ob Token trotz des sich ändernden Ziels weiterhin eine Tendenz zeigen, sich mit dem HauptEigenvektor $v_{1,t}$ der aktuellen Schicht auszurichten.

Zur Validierung der Theorie führen die Autoren numerische Experimente an vortrainierten Modellen durch und messen die Korrelation zwischen Token-Vektoren und den HauptEigenvektoren der Schichtmatrizen. Sie schlagen zudem eine Methode zur „Steuerung" der Ausgabe durch Modifikation der letzten Schicht vor.

Hauptbeiträge

Analogie zur Potenzmethode: Die Arbeit stellt fest, dass die Operation einer Transformer-Schicht (unter Vernachlässigung des FFN) analog zu einem einzelnen Schritt der Potenzmethode wirkt. Token werden projiziert und normalisiert, wobei sie dazu neigen, sich zur HauptEigenvektor-Richtung der Schichtmatrix $F_t$ zu neigen.
Analytische Charakterisierung der Konvergenz:
- Für Transformer mit geteilten Gewichten (z. B. ALBERT) beweisen die Autoren, dass, wenn die Schichtmatrix $F$ einen strikt dominanten reellen Eigenwert besitzt, das System in einen Konsenszustand konvergiert, in dem alle Token mit dem HauptEigenvektor $v_1$ ausgerichtet sind.
- Sie identifizieren Stabilitätsbedingungen und stellen fest, dass, wenn der HauptEigenwert komplex ist, Token gegen einen Grenzzyklus im 2D-Unterraum konvergieren, der von den Real- und Imaginärteilen der Eigenvektoren aufgespannt wird.
- Sie zeigen, dass ein „bipartiter Konsens" (Token spalten sich in zwei Gruppen auf, die mit $\pm v_k$ ausgerichtet sind) theoretisch möglich, aber in mehrköpfigen Settings empirisch selten und instabil ist.
Empirische Validierung an realen Modellen:
- Experimente mit ALBERT bestätigen, dass Token gegen den HauptEigenvektor der geteilten Schichtmatrix konvergieren. Die Konvergenzgeschwindigkeit wird jedoch oft durch kleine Spektrallücken (wo $\lambda_1 \approx \lambda_2$ ) oder komplexe Eigenwerte begrenzt.
- Experimente mit schichtvariierenden Modellen (BERT, GPT2, GPTNeo) zeigen, dass Token zwar keine Akkumulation der Ausrichtung gegenüber einem einzigen globalen Eigenvektor aufweisen (aufgrund sich ändernder $F_t$ ), aber dennoch einen statistisch signifikanten Anstieg der Korrelation mit dem HauptEigenvektor $v_{1,t}$ der aktuellen Schicht in jedem Schritt zeigen. Dies bestätigt, dass das „Potenzmethoden"-Verhalten auch in zeitvariierenden Systemen lokal erhalten bleibt.
Token-Steuerung durch Rang-1-Störung: Die Arbeit schlägt eine konstruktive Methode vor, um Token in eine beliebige gewünschte Richtung zu steuern. Durch das Hinzufügen einer hinreichend großen Rang-1-Störung zur Ausgabematrix der letzten Schicht können die Autoren eine große Spektrallücke erzeugen. Dies zwingt die Matrix der letzten Schicht, einen neuen, benutzerdefinierten HauptEigenvektor zu besitzen, wodurch alle Token mit dieser spezifischen Richtung ausgerichtet werden.

Ergebnisse

ALBERT: In Modellen mit geteilten Gewichten konvergieren Token schnell zum Konsens. Bei ALBERT-base und large ist der HauptEigenwert reell, aber nahe am zweiten, was zu einer Konvergenz innerhalb des Aufspanns der ersten beiden Eigenvektoren führt. Bei xlarge und xxlarge verursachen komplexe Eigenwerte eine Rotation der Token in einem 2D-Unterraum.
Schichtvariierende Modelle: Bei BERT und GPT-Varianten ist die Ausrichtung mit dem HauptEigenvektor der aktuellen Schicht ( $\gamma_t$ ) positiv, aber allgemein schwach. Diese Schwäche wird auf die kleinen Spektrallücken ( $\lambda_{1,t} - \lambda_{2,t}$ ) in realen Transformern zurückgeführt. Dennoch wird konsistent beobachtet, dass die Wahrscheinlichkeit einer Ausrichtung in jedem Schritt zunimmt ( $\rho_t > 0.5$ ), was die Analogie validiert.
Steuerung: Wenn die letzte Schicht mit einer Rang-1-Störung modifiziert wird, wird die Spektrallücke groß, und die Token erreichen eine nahezu perfekte Ausrichtung mit dem neu induzierten HauptEigenvektor, unabhängig von der Modellarchitektur.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass die Betrachtung von Transformern durch die Linse der Potenzmethode eine prinzipielle Erklärung für Token-Oversmoothing und Konsens liefert. Sie legt nahe, dass die „Richtung" des Konsenses nicht willkürlich ist, sondern durch die spektralen Eigenschaften des Produkts der Wert- und Ausgabegewichtsmatrizen bestimmt wird.

Die Autoren betonen, dass, obwohl die natürliche Ausrichtung in Standard-Transformern aufgrund kleiner Spektrallücken schwach ist, der Mechanismus robust genug ist, um ausgenutzt zu werden. Die vorgeschlagene Steuerungsmethode bietet eine prinzipielle Alternative zu bestehenden Techniken (wie Prompt Engineering oder Aktivierungs-Editing) zur Kontrolle der Modellausgabe, da sie direkt die geometrischen Projiziereigenschaften der letzten Schicht manipuliert. Die Arbeit schließt, dass diese Analogie auch dann gilt, wenn das FFN ignoriert wird, was darauf hindeutet, dass der Attention-Mechanismus und die Layer-Normalisierung die primären Treiber dieses Verhaltens der Eigenvektorausrichtung sind.