🤖 machine learning

On the Diverse Dynamical Behaviors Arising in Deep Linear Transformers

Dit artikel karakteriseert de diverse langetermijndynamische gedragingen van diepe lineaire transformers in twee dimensies door tokeninteracties te modelleren als een gegeneraliseerd Kuramoto-systeem, waarbij intrinsieke laagdimensionale dynamica, verborgen Hamiltoniaanse structuren en robuuste fenomenen zoals clustering en oscillaties worden onthuld die standhouden in hogere dimensies.

Oorspronkelijke auteurs: Sixu Li, Thomas Jacob Maranzatto, Jan Peszek, Trevor Teolis, Semih Akkoc, Konstantin Riedl, Sennur Ulukus, Nicolás García Trillos

Gepubliceerd 2026-07-22

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sixu Li, Thomas Jacob Maranzatto, Jan Peszek, Trevor Teolis, Semih Akkoc, Konstantin Riedl, Sennur Ulukus, Nicolás García Trillos

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin data niet slechts statische cijfers op een pagina zijn, maar een bruisende menigte kleine reizigers die zich door een enorme, onzichtbare stad beweegt. Dit is het domein van machine learning, specifiek de technologie achter moderne Artificiële Intelligentie bekend als Transformers. Je hebt er waarschijnlijk wel eens van gehoord; ze zijn de motoren die chatbots, vertaaltools en beeldgeneratoren aandrijven. In het hart van deze machines zit een mechanisme genaamd self-attention (zelf-aandacht). Beschouw het als een superkrachtig sociaal netwerk voor datapunten (genaamd "tokens"). Wanneer een Transformer een zin leest, krijgt elk woord de kans om naar elk ander woord te kijken om te bepalen hoe belangrijk het is. Dit proces vindt laag voor laag plaats, als een spelletje telefoontje waarbij de boodschap bij elke stap wordt verfijnd.

Maar hier zit de mysterie: hoewel we weten dat deze machines ongelooflijk goed werken, begrijpen we vaak niet hoe ze van binnen werken. Het is alsof je weet dat een auto snel rijdt, maar niet begrijpt hoe de motor werkt. Wetenschappers proberen de "verkeerspatronen" van deze datatokens in kaart te brengen terwijl ze door de lagen bewegen. Marcheren ze allemaal in pas? Vormen ze groepen? Raken ze in een lus vast? Het begrijpen hiervan is cruciand omdat als we weten hoe de data beweegt, we betere, veiligere en efficiëntere AI kunnen bouwen. Dit artikel duikt diep in die verkeersstroom en behandelt de datatokens niet als computercode, maar als een zwerm deeltjes die dansen op een wiskundig ritme.

De Grote Tokendans: Een Studie in Chaos en Orde

In dit artikel besloten een team van wiskundigen en ingenieurs te observeren wat er gebeurt als je een Transformer terugbrengt tot de essentie. Ze concentreerden zich op een vereenvoudigde versie die een Lineaire Transformer wordt genoemd. Stel je een dansvloer voor waar de muziek simpel en voorspelbaar is, en de dansers "tokens" (de datapunten) zijn. De onderzoekers wilden weten: als we deze dansers laag na laag met elkaar laten interageren, stoppen ze dan uiteindelijk en blijven ze stilstaan in een perfecte lijn? Vormen ze twee tegenovergestelde groepen? Of blijven ze voor eeuwig rondjes draaien?

Om dit te achterhalen, gebruikten de auteurs een slimme truc. Ze realiseerden zich dat in een specifieke, tweedimensionale setting (denk aan tokens die bewegen op een platte cirkel), de complexe wiskunde van de Transformer exact gedraagt als een beroemd natuurkundig model genaamd het Kuramoto-model. Je kunt het Kuramoto-model zien als een manier om te beschrijven hoe vuurvliegjes synchroon flitsen of hoe pendelklokken uiteindelijk samen tikken. De auteurs ontdekten dat hun Transformer-tokens in essentie "vuurvliegjes" waren die alleen met elkaar interageerden via een specifiek, tweede-orde ritme (een "dubbele slag" in plaats van een eenvoudige slag).

Vanwege deze connectie konden ze krachtige wiskundige instrumenten gebruiken (de Watanabe–Strogatz-transformatie en de Ott–Antonsen-ansatz) om het probleem te verkleinen. In plaats van duizenden individuele dansers te volgen, konden ze het gedrag van de hele menigte beschrijven met slechts één enkele, eenvoudige vergelijking. Het is alsof je beseft dat je, in plaats van elke persoon in een stadion te volgen, alleen de "golf" hoeft te volgen die door de menigte beweegt.

De Verrassende Resultaten: Niet Slechts een Rechte Lijn

Het team kwam tot de conclusie dat het gedrag van deze tokens volledig afhangt van de "regels van de dans", die worden bepaald door drie specifieke matrices (tabellen met getallen) genaamd Key, Query en Value. Door deze getallen te veranderen, konden ze de tokens heel verschillende dingen laten doen:

De Grote Clustering (De "Huddle"): In veel gevallen doen de tokens precies wat we verwachten. Ze vormen groepen. Soms komen ze allemaal samen in één enkel punt (perfecte overeenstemming). Maar vaak splitsen ze zich in twee tegenovergestelde groepen (antipodale clusters) die aan weerszijden van de cirkel zitten. Dit is als een debat waarbij iedereen uiteindelijk instemt met een van de twee extreme zijden.
De Eeuwige Draai (De "Carousel"): Hier wordt het vreemd. De onderzoekers vonden specifieke instellingen waarbij de tokens wel twee groepen vormen, maar deze groepen stoppen nooit met bewegen. Ze draaien voor eeuwig rond de cirkel, als een carrousel die nooit stopt. De tokens zijn geclusterd, maar ze komen nooit tot rust. Dit is een gedrag dat de auteurs nog niet eerder voorspeld hadden gezien in deze context.
De Verborgen Hamiltonian (De "Swing"): In een ander scenario gedraagt het systeem zich als een pendel of een schommel. Als de parameters precies goed zijn, oscilleren de tokens heen en weer in een perfecte, herhalende lus. Als je de parameters zelfs maar een klein beetje aanpast, kan het systeem plotseling overschakelen van eeuwig schommelen naar tot rust komen. Dit wordt een bifurcatie genoemd, en het laat zien dat het gedrag van de Transformer extreem gevoelig is voor zijn instellingen.

Wat Betreft het Echte Leven? (De "Wat als" en "Wat is")

De auteurs merkten er zorgvuldig bij op dat hun meest gedetailleerde bewijzen van toepassing zijn op een vereenvoudigde, tweedimensionale wereld. Echter, ze stopten daar niet. Ze voerden numerieke experimenten (computersimulaties) uit met veel grotere, meer realistische modellen (100 dimensies en 200 tokens).

De resultaten waren opwindend: de vreemde gedragingen die ze vonden in de eenvoudige 2D-wereld — zoals het eeuwige draaien en de plotselinge overgangen tussen schommelen en tot rust komen — bestonden voort in de hogere-dimensionale simulaties. Dit suggereert dat deze complexe, niet-lineaire dansen geen louter wiskundige curiositeiten zijn; ze spelen zich waarschijnlijk ook af in de enorme AI-modellen die we dagelijks gebruiken.

Ze vergeleken hun "Lineaire" model ook met het meer gangbare "Softmax"-model (het model dat in de echte wereld wordt gebruikt). Ze ontdekten dat terwijl het Softmax-model de neiging heeft om iedereen in één enkele, perfecte groep te dwingen, het Lineaire model diverser is en in staat is om twee duidelijke groepen te vormen of eeuwig rond te draaien. Dit suggereert dat de "lineaire" vereenvoudiging niet slechts een speelgoedmodel is; het onthult verborgen dynamieken die de complexere modellen mogelijk ook verbergen.

De Kern van het Verhaal

Dit artikel beweert niet het mysterie van alle AI te hebben opgelost. In plaats daarvan opent het een nieuw venster. Door datatokens te behandelen als interagerende deeltjes en de taal van de natuurkunde te gebruiken, hebben de auteurs aangetoond dat Transformers in staat zijn tot een veel rijker scala aan gedragingen dan alleen "convergeren naar één enkel antwoord". Ze kunnen oscilleren, bifurceren en roteren.

De auteurs bewezen deze gedragingen wiskundig voor de 2D-gevallen en suggereerden via simulaties dat ze ook gelden voor grotere, complexere systemen. Ze vonden niet alleen hoe de tokens bewegen; ze vonden hoe ze bewegen, waarmee ze onthulden dat de innerlijke wereld van een Transformer een dynamische, soms chaotische en prachtig gestructureerde dansvloer is. Dit inzicht kan ons helpen begrijpen waarom AI soms in lussen blijft hangen of waarom het onvoorspelbaar gedrag vertoont, wat de weg vrijmaakt voor een stabielere en beter begrijpelijke kunstmatige intelligentie in de toekomst.

Technische Samenvatting: Diverse Dynamische Gedragingen voortvloeiend uit Diepe Lineaire Transformers

Probleemstelling

Het artikel behandelt het gebrek aan wiskundig begrip met betrekking tot de interne transformatie van data binnen transformer-architecturen, met een specifieke focus op de inferentie-dynamica van diepe encoder-only transformers. Terwijl eerder werk de token-synchronisatie en "rank collapse" (convergentie naar één enkel punt) heeft gekarakteriseerd onder restrictieve aannames (bijv. specifieke matrixstructuren en softmax attention), blijft het gedrag van deze systemen onder meer algemene parametervariaties onduidelijk.

De auteurs onderzoeken het langetermijngedrag van de token-representaties $x_k(t)$ die evolueren door opeenvolgende lineaire zelf-attention lagen. De dynamica wordt gemodelleerd als een systeem van gekoppelde gewone differentiaalvergelijkingen (ODE's) op de eenheidssfeer $S^{d-1}$ :
$\dot{x}_k(t) = P^\perp_{x_k(t)} \left( \frac{1}{n} \sum_{j=1}^n \beta \langle x_k(t), A x_j(t) \rangle V x_j(t) \right)$
waarbij $A = Q^\top K$ en $V$ de respectievelijke key/query en value parameter matrices zijn. De centrale vraag is: Voor welke keuzes van matrices $A$ en $V$ convergeert het systeem naar consensus (clustering), en onder welke keuzes ontstaan andere langetermijngedragingen (oscillaties, bifurcaties)?

Methodologie

De auteurs hanteren het perspectief van een interagerend deeltjessysteem, waarbij tokens worden gemodelleerd als deeltjes. Hun methodologie wijkt af van de Wasserstein gradient flow benadering die in eerdere literatuur werd gebruikt door zich te richten op het lineaire zelf-attention (LSA) model ( $h(y)=y$ ) in dimensie $d=2$ .

Kuramoto Herformulering: De auteurs laten zien dat de LSA-dynamica in $d=2$ kan worden geherformuleerd als een gegeneraliseerd Kuramoto-model met pure tweede-harmonische koppeling. Door tokens te representeren als hoeken $\theta_k$ op de eenheidscirkel ( $x_k = e^{i\theta_k}$ ), hangt de dynamica alleen af van de tweede-orde parameter $R_2(t) = \frac{1}{n} \sum e^{i2\theta_j}$ .
Dimensiereductie: Door gebruik te maken van de pure tweede-harmonische structuur, passen de auteurs de Watanabe–Strogatz (WS) transformatie toe. Dit onthult dat het $n$ -deeltjessysteem intrinsiek laag-dimensionaal is, gestuurd door slechts twee macroscopische variabelen ( $\alpha, \eta$ ), ongeacht $n$ .
Ott–Antonsen (OA) Ansatz: Voor een specifieke klasse initialisaties waar de distributie van dubbele hoeken $\Xi = 2\Theta$ op de "OA-manifold" ligt (specifiek, wrapped Cauchy-distributies), reduceert het WS-systeem zich verder tot een enkele complex-waardige ODE voor de ordeparameter $R_2(t)$ .
Stabiliteitsanalyse: Om de beperking van de OA-ansatz (die specifieke initialisaties vereist) aan te pakken, vestigen de auteurs structurele stabiliteitsresultaten. Ze bewijzen dat voor bepaalde parameterregimes, dynamica geïnitialiseerd nabij de OA-manifold hetzelfde langetermijngedrag vertoont als die geïnitialiseerd op de manifold, waardoor de theoretische resultaten worden uitgebreid naar een bredere klasse van initiële condities.
Numerieke Validatie: Theoretische bevindingen in $d=2$ worden gevalideerd via numerieke experimenten in hogere dimensies ( $d=100$ ) voor zowel lineaire zelf-attention als unnormalized softmax attention (USA).

Belangrijkste Bijdragen

Het artikel levert vier primaire bijdragen:

Pure Tweede-Harmonische Kuramoto Formulering: De auteurs tonen aan dat lineaire zelf-attention in $d=2$ equivalent is aan een Kuramoto-Daido model met pure tweede-harmonische koppeling voor arbitraire matrices $A$ en $V$ . Dit vestigt een intrinsieke laag-dimensionale structuur die onafhankelijk is van de specifieke parametervariatie, verschillend van het Wasserstein gradient flow kader.
Diverse Langetermijngedragingen op de OA-Manifold: Door de gereduceerde ODE voor $R_2(t)$ $R_{2} (t)$ te analyseren, identificeren de auteurs vier verschillende dynamische regimes op basis van de eigenschappen van $A$ $A$ en $V$ $V$ :
- Clustering met Convergentie: Tokens clusteren in twee vaste antipodale punten (bijv. wanneer $V=I$ en $A$ specifieği trace/determinant condities voldoet).
- Clustering zonder Convergentie: Tokens vormen twee antipodale clusters, maar de clusterlocaties roteren oneindig (niet-convergente oscillatie).
- Oscillaties: Het systeem vertoont persistente periodieke oscillaties zonder stabiele clusters te vormen.
- Bifurcaties: Het systeem ondergaat saddle-node bifurcaties waarbij kleine veranderingen in $V$ de langetermijndynamica drastisch veranderen (bijv. de overgang van oscillatie naar clustering).
- Noot: Deze gedragingen omvatten oscillaties en bifurcaties, die de auteurs opmerken niet eerder gekarakteriseerd zijn in transformer-dynamica.
Structurele Stabiliteit buiten de OA-Manifold: De auteurs bewijzen dat voor specifieke parameterregimes (bijv. $V=I$ met positief definitief symmetrisch deel van $A$ , of $A=I$ met $\lambda_{\max}(V) > 0$ ), het langetermijngedrag (convergentie naar antipodale punten) robuust is. Dynamica geïnitialiseerd nabij de OA-manifold convergeren naar dezelfde staat als die op de manifold, mits de initiële distributie voldoende dicht bij uniform is in de bounded-Lipschitz afstand.
Hogere-Dimensie Persistentie: Numerieke experimenten suggereren dat de kwalitatieve gedragingen geïdentificeerd in de 2D theoretische analyse (clustering, niet-convergente clustering en oscillaties) persistent zijn in hogere-dimensionale settings ( $d=100$ ) voor zowel lineaire als softmax attention modellen.

Resultaten

Het artikel categoriseert het langetermijngedrag van de ordeparameter $R_2(t)$ (en consequent de token-distributie) in drie typen:

Type 1 (Convergentie): $|R_2| \to 1$ en $\arg(R_2) \to \text{const}$ . Tokens convergeren naar twee vaste antipodale punten.
Type 2 (Roterende Clusters): $|R_2| \to 1$ maar $\arg(R_2)$ convergeert niet. Tokens clusteren in twee antipodale punten die continu roteren.
Type 3 (Oscillatie): Zowel $|R_2|$ als $\arg(R_2)$ convergeren niet. Het systeem vertoont persistente oscillaties.

Specifieke bevindingen omvatten:

Geval 1 ( $V=I, A$ arbitrair): Clustering vindt plaats als $\text{tr}(A) > 0$ of $\det(A) \le 0$ . Als het symmetrische deel van $A$ negatief definitief is, convergeert het systeem naar een intern punt (geen clustering).
Geval 2 ( $A=I, V$ symmetrisch): Clustering vindt plaats als $\lambda_{\max}(V) \ge 0$ . Als $\lambda_{\max}(V) < 0$ , convergeert het systeem zonder clustering.
Geval 3 (Niet-commuterende $A, V$ ): De auteurs identificeren een regime waar tokens twee antipodale clusters vormen die oneindig roteren (clustering zonder convergentie).
Geval 4 (Verborgen Hamiltoniaanse Structuur): Voor specifieke skew-symmetrische-achtige $V$ , vertoont het systeem een verborgen Hamiltoniaanse structuur die leidt tot periodieke banen (oscillaties) wanneer $v_{11} < v_{12}$ , en convergentie wanneer $v_{11} \ge v_{12}$ .

Betekenis en Claims

Het artikel claimt de eerste theoretische karakterisering te bieden die diverse dynamische gedragingen in transformer-modellen (specifiek oscillaties en bifurcaties) koppelt aan expliciete parametervariaties van de gewichtsmatrices.

Voorbij Clustering: Het werk daagt de heersende visie uit dat transformer-dynamica primair leidt tot token-uniformiteit of rank collapse. Het demonstreert dat lineaire transformers complexe, niet-convergente dynamica (oscillaties, roterende clusters) kunnen ondersteunen, afhankelijk van $A$ en $V$ .
Analytisch Kader: Door de transformer-dynamica te verbinden met Kuramoto-type modellen, bieden de auteurs een nieuw analytisch kader dat onderscheidend en complementair is aan de Wasserstein gradient flow benadering. Dit kader maakt de analyse van algemene matrices $A$ en $V$ mogelijk, die voorheen onhandelbaar waren onder de gradient flow aannames.
Robuustheid: De structurele stabiliteitsresultaten suggereren dat deze diverse gedragingen geen artefacten zijn van geïdealiseerde initialisaties (de OA-manifold), maar robuuste kenmerken van het systeem zijn voor een brede reeks initiële condities.
Praktische Relevantie: De auteurs merken op dat het "clustering zonder convergentie" gedrag (roterende clusters) kwalitatief lijkt op de cyclische trajecten waargenomen in "Looped Transformers" (recurrent toegepaste LLM's), wat wijst op potentiële implicaties voor het begrijpen van de dynamica van diepe of recurrente transformer-toepassingen. Ze benadrukken ook de gevoeligheid van deze dynamica voor parametervariaties, wat relevant kan zijn voor modelkwantisatie.

De auteurs blijven bescheiden over de uitbreiding van deze resultaten, waarbij zij erkennen dat de rigoureuze laag-dimensionale reductie momenteel specifiek is voor $d=2$ en lineaire attention, en dat het uitbreiden van deze technieken naar hogere dimensies en niet-lineaire (softmax) kernels een openstaande vraag blijft.