Large-Step Training Dynamics of a Two-Factor Linear Transformer Model

Technische Samenvatting: Trainingsdynamica met Grote Stappen van een Twee-Factor Lineaire Transformer

Probleemstelling
Hoewel analyse via gradiëntstroom (limieten van oneindig kleine stappen) succesvol heeft aangetoond dat vereenvoudigde lineaire transformers in-context lineaire regressie kunnen leren, falen ze om het gedrag van gradiëntafname (GD) met eindige stappen bij grote leersnelheden te verklaren. Empirische waarnemingen geven aan dat grote leersnelheden trainingsinstabiliteiten veroorzaken, zoals de groei van attention-logits en divergentie van de output, die vaak worden verzacht door technieken zoals warmup en weight decay. Bestaande literatuur over kwadratische regressie suggereert dat GD met grote stappen kan reduceren tot een kubische afbeelding met vijf distincte fasen: monotoon convergentie, catapult-convergentie, periodieke niet-convergentie, chaotische niet-convergentie en divergentie. Het blijft echter onduidelijk of vergelijkbare bifurcatiestructuren bestaan in transformer-training, waar attention-logits bilineair zijn in de geleerde factoren, en hoe deze dynamica zich manifesteren in de volledige parameter ruimte en niet slechts op een gebalanceerde deelruimte.

Methodologie
De auteurs leiden een exact reduceerbaar trainingsprobleem voor een lineaire transformer met één prompt af om deze dynamica te bestuderen.

1. Reductie: Startend vanuit het single-layer lineaire self-attention model met een vaste prompt, tonen de auteurs aan dat gradiëntafname met eindige stappen op de kwadratische voorspellingsfout, na herschaling, reduceert tot een tweedimensionale productafbeelding $\Phi_\mu(a, b)$. Hier vertegenwoordigen $a$ en $b$ de twee scalare factoren van het bilineaire attention-product (bijvoorbeeld query/sleutel of waarde/projectie-componenten), en $\mu$ is een effectieve stapgrootte-parameter die evenredig is met de leersnelheid $\eta$, de schaal van prompt-respons en een geometrie-constante.
2. Coördinatentransformatie: Het systeem wordt geanalyseerd met behulp van coördinaten voor fout ($e = ab - \mu$) en onevenwichtigheid ($w = a - b$). Deze transformatie onthult dat de "gebalanceerde lijn" ($w=0$) invariant is en de bekende scalare kubische afbeelding herstelt die in kwadratische regressie wordt bestudeerd.
3. Analyse van Dynamische Systemen: De auteurs maken gebruik van hulpmiddelen uit discrete dynamische systemen om de volledige tweedimensionale afbeelding te analyseren. Belangrijke concepten zijn invariante sets, Lyapunov-exponenten, transversale stabiliteit en separatrices. Zij onderzoeken specifiek het bestaan van invariante variëteiten (ellipsen) die gebieden met verschillend dynamisch gedrag scheiden en analyseren de stabiliteit van deze variëteiten tegenover verstoringen in de richting van de onevenwichtigheid.
4. Extensie naar Mini-batch: De deterministische analyse wordt uitgebreid naar gradiëntafname met mini-batches, gemodelleerd als een stochastisch dynamisch systeem waarbij de effectieve parameter $\mu$ stochastisch wisselt tussen batches.

Belangrijkste Bijdragen en Resultaten

1. Exacte Reductie tot een Twee-Factor Afbeelding: Het artikel stelt vast dat de training met eindige stappen van een lineaire transformer met één prompt op een specifiek scalair sector exact equivalent is aan de afbeelding:
   $$\Phi_\mu(a, b) = (a - (ab - \mu)b, \, b - (ab - \mu)a)$$
   Deze afbeelding is gradiëntafname met eenheidstap op de fout $\ell_\mu(a, b) = \frac{1}{2}(ab - \mu)^2$.

2. Scalare Dynamica op de Gebalanceerde Lijn (De Kubische Overgang): Op de invariante gebalanceerde lijn ($w=0$) reduceren de dynamica tot de scalare kubische afbeelding $e_{k+1} = F_\mu(e_k)$. De auteurs herstellen en karakteriseren expliciet het fase-diagram met betrekking tot $\mu$:

   • Monotoon Convergentie: $0 < \mu \le 2\sqrt{2}-2 \approx 0,828$.
   • Catapult-Convergentie: $2\sqrt{2}-2 < \mu \le 1$. De fout kan in één stap pieken maar converteert toch.
   • Periodieke Niet-Convergentie: $1 < \mu < \sqrt{5}-1 \approx 1,236$. Het systeem vestigt zich in een stabiele periode-twee-orbit.
   • Chaotische Gebonden Dynamica: $\sqrt{5}-1 < \mu < 2$.
   • Divergentie: $\mu > 2$.

3. Tweedimensionale Structurele Resultaten:

   • Invariante Chebyshev-ellips: Voor $0 < \mu < 2$ bezit het systeem een expliciete invariante ellips $E_\mu$ gedefinieerd door $(a+b)^2/(2+\mu) + (a-b)^2/(2-\mu) = 4$. Op deze ellips volgen de foutdynamica het Chebyshev-polynoom $e_{k+1} = e_k^3 - 3e_k$ (equivalent aan verdrievoudiging van de hoek $\theta \to 3\theta$), wat chaotische dynamica met zich meebrengt.
   • Transversale Stabiliteit: De auteurs bewijzen dat $E_\mu$ een transversaal afstotende separatrix is. Hoewel het chaotische dynamica draagt, worden typische nabije trajecten er niet door aangetrokken; in plaats daarvan fungeert het als een grens die het aanlokkingsgebied voor de nul-fout curve (of periodieke banen) scheidt van het gebied van divergentie.
   • Gebalanceerde Aantrekkers: Omgekeerd zijn voor $1 < \mu < 2$ de gebalanceerde scalare aantrekkers (inclusief de periode-twee-orbit) transversaal aantrekkend. Dit betekent dat zelfs als het systeem start met een factor-onevenwichtigheid, het kan worden getrokken naar de gebalanceerde chaotische of periodieke dynamica, mits het de afstotende separatrix niet overschrijdt.
   • Interne Stijfheid: Het strikte interieur van de ellips ($D < 0$) bevat geen verborgen niet-gebalanceerde recurrente dynamica (cycli of chaos) anders dan die welke worden ondersteund op de nul-fout curve. Elke convergentie naar de nul-fout curve vanuit het interieur moet plaatsvinden via een specifieke algebraïsche "landingsweb" met maat nul.

4. Mini-batch Dynamica: Het artikel modelleert mini-batch GD als willekeurig schakelen tussen afbeeldingen met verschillende effectieve parameters $\nu$. Het toont aan dat een enkele atypische mini-batch een iteratie vanuit het stabiele gebied van de full-batch (binnen de full-batch ellips) naar het instabiele gebied (buiten) kan duwen, zelfs als het full-batch gemiddelde stabiel is. Bovendien kan stochastisch schakelen een deterministisch stabiele gebalanceerde lijn transversaal instabiel maken als de batchgrootte klein genoeg is, wat leidt tot exponentiële groei van factor-onevenwichtigheden.

Betekenis en Aanspraken
Het artikel stelt dat grote constante leersnelheden niet alleen convergentie versnellen of de limiet van gradiëntstroom verstoren; ze veranderen fundamenteel de trainingsaantrekker van de geleerde transformer.

• Nieuwe Aantrekkers: Buiten scherpe stabiliteitsthendels om, kan training met eindige stappen zich vestigen in cycli, gebonden chaos of divergentie in plaats van een enkele oplossing voor in-context lineaire regressie.
• Mechanisme van Instabiliteit: De instabiliteit is niet uitsluitend toe te schrijven aan ruis of hoge kromming in het foutlandschap, maar ontstaat uit de discrete-tijd bifurcatiestructuur die inherent is aan de bilineaire parameterisering van attention.
• Rol van Balans: De stabiliteit van training is zeer gevoelig voor de balans tussen de twee factoren ($a$ en $b$). Onevenwichtigheid verlaagt de maximale stabiele leersnelheid, wat een mechanistische verklaring biedt voor het empirische succes van technieken zoals query/sleutel-normalisatie en weight tying.
• Gevoeligheid voor Mini-batch: De resultaten suggereren dat mini-batch training niet simpelweg full-batch GD plus ruis is. In plaats daarvan gaat het om schakelen tussen verschillende dynamische regimes, waarbij een enkele "instabiele" batch een overgang kan triggeren naar divergentie of chaotisch gedrag, zelfs als het populatiegemiddelde stabiliteit suggereert.

De auteurs handhaven dat deze resultaten specifiek zijn voor het gereduceerde bilineaire model en niet als universele constanten voor moderne, diepe transformers moeten worden gelezen. Het structurele kader—dat laat zien hoe training met eindige stappen van bilineaire factorisaties nieuwe dynamische aantrekkers creëert—biedt echter een precieze mechanistische verklaring voor waargenomen trainingsinstabiliteiten.