🤖 machine learning

On the Diverse Dynamical Behaviors Arising in Deep Linear Transformers

Diese Arbeit charakterisiert die vielfältigen langfristigen dynamischen Verhaltensweisen tiefer linearer Transformer in zwei Dimensionen, indem sie Token-Interaktionen als ein verallgemeinertes Kuramoto-System modelliert und dabei intrinsische niedrigdimensionale Dynamiken, verborgene Hamiltonsche Strukturen sowie robuste Phänomene wie Clustering und Oszillationen aufdeckt, die auch in höheren Dimensionen fortbestehen.

Ursprüngliche Autoren: Sixu Li, Thomas Jacob Maranzatto, Jan Peszek, Trevor Teolis, Semih Akkoc, Konstantin Riedl, Sennur Ulukus, Nicolás García Trillos

Veröffentlicht 2026-07-22

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sixu Li, Thomas Jacob Maranzatto, Jan Peszek, Trevor Teolis, Semih Akkoc, Konstantin Riedl, Sennur Ulukus, Nicolás García Trillos

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Welt vor, in der Daten nicht nur statische Zahlen auf einer Seite sind, sondern eine geschäftige Menge winziger Reisender, die sich durch eine riesige, unsichtbare Stadt bewegen. Dies ist das Reich des maschinellen Lernens, speziell der Technologie hinter moderner Künstlicher Intelligenz, bekannt als Transformer. Sie haben wahrscheinlich schon von ihnen gehört; sie sind die Motoren, die Chatbots, Übersetzungswerkzeuge und Bildgeneratoren antreiben. Im Herzen dieser Maschinen steckt ein Mechanismus namens Self-Attention (Selbstaufmerksamkeit). Betrachten Sie dies als ein superstarkes soziales Netzwerk für Datenpunkte (genannt „Tokens“). Wenn ein Transformer einen Satz liest, darf jedes Wort auf jedes andere Wort schauen, um zu entscheiden, wie wichtig es ist. Dieser Prozess geschieht Schicht für Schicht, wie ein Spiel des Stille-Post, bei dem die Nachricht bei jedem Schritt verfeinert wird.

Aber hier liegt das Rätsel: Während wir wissen, dass diese Maschinen unglaublich gut funktionieren, verstehen wir oft nicht, wie sie im Inneren arbeiten. Es ist, als wüsste man, dass ein Auto schnell fährt, aber man versteht den Motor nicht. Wissenschaftler versuchen seit langem, die „Verkehrsmuster“ dieser Daten-Tokens zu kartieren, während sie sich durch die Schichten bewegen. Marschieren sie alle im Gleichschritt? Bilden sie Gruppen? Bleiben sie in einer Schleife stecken? Das Verständnis dessen ist entscheidend, denn wenn wir wissen, wie sich die Daten bewegen, können wir bessere, sicherere und effizientere KI bauen. Diese Arbeit taucht tief in diesen Verkehr ein und behandelt die Daten-Tokens nicht als Computercode, sondern als einen Schwarm von Teilchen, die zu einem mathematischen Rhythmus tanzen.

Der große Token-Tanz: Eine Studie über Chaos und Ordnung

In dieser Arbeit beschloss ein Team aus Mathematikern und Ingenieuren zu beobachten, was passiert, wenn man einen Transformer auf seinen nackten Kern reduziert. Sie konzentrierten sich auf eine vereinfachte Version, den sogenannten Linearen Transformer. Stellen Sie sich eine Tanzfläche vor, auf der die Musik einfach und vorhersehbar ist und die Tänzer „Tokens“ (die Datenpunkte) sind. Die Forscher wollten herausfinden: Wenn wir diese Tänzer Schicht für Schicht interagieren lassen, bleiben sie dann schließlich stehen und bilden eine perfekte Linie? Bilden sie zwei gegensätzliche Gruppen? Oder drehen sie sich einfach ewig im Kreis?

Um dies herauszufinden, nutzten die Autoren einen klugen Trick. Sie erkannten, dass sich die komplexe Mathematik des Transformers in einer spezifischen, zweidimensionalen Umgebung (denken Sie an die Tokens, die sich auf einem flachen Kreis bewegen) exakt wie ein berühmtes Physikmodell namens Kuramoto-Modell verhält. Man kann das Kuramoto-Modell als eine Art Beschreibung dafür sehen, wie Glühwürmchen im Gleichtakt blinken oder wie Pendeluhren schließlich gemeinsam ticken. Die Autoren entdeckten, dass ihre Transformer-Tokens im Wesentlichen „Glühwürmchen“ waren, die nur durch einen spezifischen, zweiten Ordnung-Rhythmus interagierten (einen „Doppel-Schlag“ statt eines einfachen Schlags).

Aufgrund dieser Verbindung konnten sie mächtige mathematische Werkzeuge (die Watanabe–Strogatz-Transformation und den Ott–Antonsen-Ansatz) nutzen, um das Problem zu verkleinern. Anstatt tausende einzelne Tänzer zu verfolgen, konnten sie das Verhalten der gesamten Menge mit nur einer einzigen, einfachen Gleichung beschreiben. Es ist, als würde man erkennen, dass man, anstatt jede einzelne Person in einem Stadion zu verfolgen, nur die „Welle“ verfolgen muss, die durch die Menge zieht.

Die überraschenden Ergebnisse: Nicht nur eine gerade Linie

Das Team fand heraus, dass das Verhalten dieser Tokens vollständig von den „Regeln des Tanzes“ abhängt, die durch drei spezifische Matrizen (Tabellen von Zahlen) namens Key, Query und Value festgelegt werden. Durch die Änderung dieser Zahlen konnten sie die Tokens zu völlig unterschiedlichen Dingen bringen:

Das große Clustering (Das „Zusammenrücken“): In vielen Fällen tun die Tokens genau das, was man erwartet. Sie gruppieren sich. Manchmal rücken sie alle zu einem einzigen Punkt zusammen (perfekte Übereinstimmung). Aber oft teilen sie sich in zwei gegensätzliche Gruppen (antipodale Cluster) auf, die sich auf gegenüberliegenden Seiten des Kreises befinden. Dies ist wie eine Debatte, bei der sich am Ende alle auf eine von zwei extremen Seiten einigen.
Der ewige Spin (Die „Karussellfahrt“): Hier wird es seltsam. Die Forscher fanden spezifische Einstellungen, bei denen die Tokens zwar zwei Gruppen bilden, diese Gruppen sich aber niemals aufhören zu bewegen. Sie rotieren ewig um den Kreis, wie ein Karussell, das niemals stoppt. Die Tokens sind geclustert, aber sie kommen nie zur Ruhe. Dies ist ein Verhalten, das die Autoren in diesem Kontext zuvor nicht vorhergesagt gesehen hatten.
Das verborgene Hamiltonian (Das „Schwingen“): In einem anderen Szenario verhält sich das System wie ein Pendel oder eine Schaukel. Wenn die Parameter genau richtig sind, oszillieren die Tokens in einer perfekten, sich wiederholenden Schleife vor und zurück. Wenn man die Parameter auch nur leicht verändert, kann das System plötzlich von ewigem Schwingen zu einem Stillstand wechseln. Dies wird als Bifurkation bezeichnet, und es zeigt, dass das Verhalten des Transformers extrem empfindlich auf seine Einstellungen reagiert.

Was ist mit der Realität? (Das „Was wäre wenn“ und „Was ist“)

Die Autoren waren vorsichtig darauf hingewiesen, dass ihre detailliertesten Beweise für eine vereinfachte, zweidimensionale Welt gelten. Sie hörten jedoch nicht dort auf. Sie führten numerische Experimente (Computersimulationen) mit viel größeren, realistischeren Modellen (100 Dimensionen und 200 Tokens) durch.

Die Ergebnisse waren aufregend: Die seltsamen Verhaltensweisen, die sie in der einfachen 2D-Welt fanden – wie das ewige Rotieren und die plötzlichen Wechsel zwischen Schwingen und Stillstand – hielten auch in den höherdimensionalen Simulationen an. Dies deutet darauf hin, dass diese komplexen, nicht-linearen Tänze nicht nur mathematische Kuriositäten sind; sie könnten auch in den massiven KI-Modellen geschehen, die wir jeden Tag verwenden.

Sie verglichen ihr „Lineares“ Modell auch mit dem gängigeren „Softmax“-Modell (demjenigen, das in der realen KI verwendet wird). Sie fanden heraus, dass das Softmax-Modell dazu neigt, alle in ein einziges, perfektes Huddle zu zwingen, während das lineare Modell diverser ist und in der Lage ist, zwei distinkte Gruppen zu bilden oder ewig zu rotieren. Dies deutet darauf hin, dass die „lineare“ Vereinfachung nicht nur ein Spielzeug ist; sie offenbart verborgene Dynamiken, die die komplexeren Modelle möglicherweise auch verbergen.

Das Fazit

Diese Arbeit behauptet nicht, das Geheimnis aller KI gelöst zu haben. Stattdessen öffnet sie ein neues Fenster. Indem sie Daten-Tokens als interagierende Teilchen behandelten und die Sprache der Physik nutzten, zeigten die Autoren, dass Transformer zu einer viel reichhaltigeren Vielfalt an Verhaltensweisen fähig sind, als nur „zu einer einzigen Antwort zu konvergieren“. Sie können oszillieren, bifurkieren und rotieren.

Die Autoren bewiesen diese Verhaltensweisen mathematisch für den 2D-Fall und deuteten durch Simulationen an, dass sie auch für größere, komplexere Systeme gelten. Sie fanden nicht nur, dass sich die Tokens bewegen; sie fanden heraus, wie sie sich bewegen, und enthüllten damit, dass die innere Welt eines Transformers eine dynamische, manchmal chaotische und wunderschön strukturierte Tanzfläche ist. Diese Erkenntnis könnte uns helfen zu verstehen, warum KIs manchmal in Schleifen stecken bleiben oder warum sie unvorhersehbar agieren, und so den Weg für eine stabilere und verständlichere künstliche Intelligenz in der Zukunft ebnen.

Technisches Resümee: Diverse dynamische Verhaltensweisen in tiefen linearen Transformern

Problemstellung

Die Arbeit adressiert das mangelnde mathematische Verständnis bezüglich der internen Transformation von Daten innerhalb von Transformer-Architekturen, wobei der Fokus auf der Inferenz-Dynamik von tiefen Encoder-only-Transformern liegt. Während vorangegangene Arbeiten die Token-Synchronisation und den „Rank Collapse“ (Konvergenz zu einem einzelnen Punkt) unter restriktiven Annahmen (z. B. spezifischen Matrixstrukturen und Softmax-Attention) charakterisiert haben, bleibt das Verhalten dieser Systeme unter allgemeineren Parameterwahlungen unklar.

Die Autoren untersuchen das Langzeitverhalten der Token-Repräsentationen $x_k(t)$ , die sich durch aufeinanderfolgende lineare Self-Attention-Layer entwickeln. Die Dynamik wird als ein System gekoppelter gewöhnlicher Differentialgleichungen (ODEs) auf der Einheitssphäre $S^{d-1}$ modelliert:
$\dot{x}_k(t) = P^\perp_{x_k(t)} \left( \frac{1}{n} \sum_{j=1}^n \beta \langle x_k(t), A x_j(t) \rangle V x_j(t) \right)$
wobei $A = Q^\top K$ und $V$ die Key/Query- sowie die Value-Parametermatrizen sind. Die zentrale Frage lautet: Für welche Wahl der Matrizen $A$ und $V$ konvergiert das System zu Konsens (Clustering), und unter welchen Wahlen treten andere Langzeitverhaltensweisen (Oszillationen, Bifurkationen) hervor?

Methodik

Die Autoren nehmen eine Perspektive aus dem Bereich der interagierenden Partikelsysteme ein und modellieren Token als Partikel. Ihre Methodik weicht vom Wasserstein-Gradientenfluss-Ansatz ab, der in der bisherigen Literatur verwendet wurde, indem sie sich auf das lineare Self-Attention-Modell (LSA) ( $h(y)=y$ ) in der Dimension $d=2$ konzentriert.

Kuramoto-Reformulierung: Die Autoren zeigen, dass die LSA-Dynamik in $d=2$ als ein verallgemeinertes Kuramoto-Modell mit reiner Zweitharmonischen-Kopplung reformuliert werden kann. Durch die Darstellung der Token als Winkel $\theta_k$ auf dem Einheitskreis ( $x_k = e^{i\theta_k}$ ) hängt die Dynamik nur von dem zweiten Ordnungsparameter $R_2(t) = \frac{1}{n} \sum e^{i2\theta_j}$ ab.
Dimensionsreduktion: Unter Ausnutzung der reinen Zweitharmonischen-Struktur wenden die Autoren die Watanabe–Strogatz (WS)-Transformation an. Dies zeigt, dass das $n$ -Partikel-System intrinsisch niedrigdimensional ist und von nur zwei makroskopischen Variablen ( $\alpha, \eta$ ) gesteuert wird, unabhängig von $n$ .
Ott–Antonsen (OA) Ansatz: Für eine spezifische Klasse von Initialisierungen, bei denen die Verteilung der Doppelwinkel $\Xi = 2\Theta$ auf der „OA-Mannigfaltigkeit“ liegt (speziell Wrapped-Cauchy-Verteilungen), reduziert sich das WS-System weiter zu einer einzigen komplexwertigen ODE für den Ordnungsparameter $R_2(t)$ .
Stabilitätsanalyse: Um die Einschränkung des OA-Ansatzes (der spezifische Initialisierungen erfordert) zu adressieren, etablieren die Autoren Strukturelle Stabilitätsergebnisse. Sie beweisen, dass für bestimmte Parameterregime die Dynamiken, die nahe der OA-Mannigfaltigkeit initialisiert wurden, dasselbe Langzeitverhalten aufweisen wie jene, die auf der Mannigfaltigkeit initialisiert wurden, wodurch die theoretischen Ergebnisse auf eine breitere Klasse von Anfangsbedingungen ausgeweitet werden.
Numerische Validierung: Die theoretischen Befunde in $d=2$ werden durch numerische Experimente in höheren Dimensionen ( $d=100$ ) sowohl für die lineare Self-Attention als auch für die unnormierte Softmax-Attention (USA) validiert.

Zentrale Beiträge

Die Arbeit leistet vier primäre Beiträge:

Reine Zweitharmonische Kuramoto-Formulierung: Die Autoren zeigen, dass lineare Self-Attention in $d=2$ äquivalent zu einem Kuramoto-Daido-Modell mit reiner Zweitharmonischen-Kopplung für beliebige Matrizen $A$ und $V$ ist. Dies etabliert eine intrinsische niedrigdimensionale Struktur, die unabhängig von den spezifischen Parametern ist und sich vom Wasserstein-Gradientenfluss-Framework unterscheidet.
Diverse Langzeitverhaltensweisen auf der OA-Mannigfaltigkeit: Durch die Analyse der reduzierten ODE für $R_2(t)$ $R_{2} (t)$ identifizieren die Autoren vier distinkte dynamische Regime basierend auf den Eigenschaften von $A$ $A$ und $V$ $V$ :
- Clustering mit Konvergenz: Token clustern in zwei fixen antipodalen Punkten (z. B. wenn $V=I$ und $A$ spezifische Spur/Determinanten-Bedingungen erfüllt).
- Clustering ohne Konvergenz: Token bilden zwei antipodale Cluster, aber die Cluster-Positionen rotieren unendlich weiter (nicht-konvergente Oszillation).
- Oszillationen: Das System zeigt persistente periodische Oszillationen, ohne stabile Cluster zu bilden.
- Bifurkationen: Das System durchläuft Sattel-Knoten-Bifurkationen, bei denen kleine Änderungen in $V$ das Langzeitverhalten drastisch verändern (z. B. Übergang von Oszillation zu Clustering).
- Hinweis: Diese Verhaltensweisen beinhalten Oszillationen und Bifurkationen, welche die Autoren anmerken, bisher nicht charakterisiert worden zu sein in der Transformer-Dynamik.
Strukturelle Stabilität jenseits der OA-Mannigfaltigkeit: Die Autoren beweisen, dass für spezifische Parameterregime (z. B. $V=I$ mit positiv definitem symmetrischem Teil von $A$ , oder $A=I$ mit $\lambda_{\max}(V) > 0$ ) das Langzeitverhalten (Konvergenz zu antipodalen Punkten) robust ist. Dynamiken, die nahe der OA-Mannigfaltigkeit initialisiert wurden, konvergieren zum selben Zustand wie jene auf der Mannigfaltigkeit, sofern die Ausgangsverteilung im Sinne der bounded-Lipschitz-Distanz hinreichend nah an der Gleichverteilung liegt.
Hochdimensionale Persistenz: Numerische Experimente legen nahe, dass die in der 2D-Theorie identifizierten qualitativen Verhaltensweisen (Clustering, nicht-konvergentes Clustering und Oszillationen) in höheren Dimensionen ( $d=100$ ) sowohl für lineare als auch für Softmax-Attention-Modelle persistieren.

Ergebnisse

Die Arbeit kategorisiert das Langzeitverhalten des Ordnungsparameters $R_2(t)$ (und konsequenterweise der Token-Verteilung) in drei Typen:

Typ 1 (Konvergenz): $|R_2| \to 1$ und $\arg(R_2) \to \text{konst}$ . Token konvergieren zu zwei fixen antipodalen Punkten.
Typ 2 (Rotierende Cluster): $|R_2| \to 1$ aber $\arg(R_2)$ konvergiert nicht. Token clustern in zwei antipodalen Punkten, die kontinuierlich rotieren.
Typ 3 (Oszillation): Weder $|R_2|$ noch $\arg(R_2)$ konvergieren. Das System zeigt persistente Oszillationen.

Spezifische Befunde umfassen:

Fall 1 ( $V=I, A$ beliebig): Clustering tritt auf, wenn $\text{tr}(A) > 0$ oder $\det(A) \le 0$ . Wenn der symmetrische Teil von $A$ negativ definit ist, konvergiert das System zu einem inneren Punkt (kein Clustering).
Fall 2 ( $A=I, V$ symmetrisch): Clustering tritt auf, wenn $\lambda_{\max}(V) \ge 0$ . Wenn $\lambda_{\max}(V) < 0$ , konvergiert das System ohne Clustering.
Fall 3 (Nicht-kommutierende $A, V$ ): Die Autoren identifizieren ein Regime, in dem Token zwei antipodale Cluster bilden, die unendlich lange rotieren (Clustering ohne Konvergenz).
Fall 4 (Verborgene Hamilton-Struktur): Für spezifische, skewsymmetrie-ähnliche $V$ zeigt das System eine verborgene Hamilton-Struktur, die zu periodischen Orbits (Oszillationen) führt, wenn $v_{11} < v_{12}$ , und zu Konvergenz, wenn $v_{11} \ge v_{12}$ .

Bedeutung und Ansprüche

Die Arbeit beansprucht, die erste theoretische Charakterisierung zu liefern, die diverse dynamische Verhaltensweisen in Transformer-Modellen (speziell Oszillationen und Bifurkationen) explizit mit den Parameterwahlen der Gewichtmatrizen verknüpft.

Jenseits von Clustering: Die Arbeit stellt die vorherrschende Ansicht infrage, dass Transformer-Dynamiken primär zu Token-Uniformität oder Rank-Collapse führen. Sie demonstriert, dass lineare Transformer je nach $A$ und $V$ komplexe, nicht-konvergente Dynamiken (Oszillationen, rotierende Cluster) aufrechterhalten können.
Analytischer Rahmen: Durch die Verbindung der Transformer-Dynamik mit Kuramoto-Typ-Modellen bietet die Arbeit einen neuen analytischen Rahmen, der vom Wasserstein-Gradientenfluss-Ansatz verschieden und komplementär zu diesem ist. Dieser Rahmen erlaubt die Analyse allgemeiner Matrizen $A$ und $V$ , die unter den Gradientenfluss-Annahmen zuvor unhandhabbar waren.
Robustheit: Die Ergebnisse zur strukturellen Stabilität legen nahe, dass diese diversen Verhaltensweisen keine Artefakte idealisierter Initialisierungen (OA-Mannigfaltigkeit) sind, sondern robuste Merkmale des Systems für eine breite Palette von Anfangsbedingungen darstellen.
Praktische Relevanz: Die Autoren merken an, dass das Verhalten „Clustering ohne Konvergenz“ (rotierende Cluster) qualitativ zyklischen Trajektorien ähnelt, die in „Looped Transformers“ (rekurrent angewendete LLMs) beobachtet werden, was auf potenzielle Implikationen für das Verständnis der Dynamik tiefer oder rekurrenter Transformer-Anwendungen hindeutet. Sie heben zudem die Sensitivität dieser Dynamiken gegenüber Parameterperturbationen hervor, was für die Modellquantisierung relevant sein kann.

Die Autoren bleiben bescheiden hinsichtlich der Erweiterung ihrer Ergebnisse und räumen ein, dass die rigorose niedrigdimensionale Reduktion derzeit spezifisch für $d=2$ und lineare Attention ist; die Erweiterung dieser Techniken auf höhere Dimensionen und nichtlineare (Softmax) Kernels bleibt eine offene Frage.