Analogies between Transformer Layers and Power Method

Technische Samenvatting: Analogieën tussen Transformerlagen en de Machtsmethode

Probleemstelling
Het artikel behandelt het gebrek aan inzicht in de specifieke vectorrichting waarnaar tokenrepresentaties convergeren in diepe transformers, een fenomeen dat bekendstaat als "oversmoothing", "rank collapse" of "token-uniformiteit". Hoewel is vastgesteld dat diepe transformers neigen naar een consensusstaat waarin alle tokens identiek worden, blijven de aard van deze consensusvector en het mechanisme dat dit aandrijft onduidelijk. Bestaande literatuur modelleert self-attention vaak als een continu-tijdsysteem of richt zich op scenario's met één hoofd, waardoor het discrete-tijd, multi-head-gedrag van praktische modellen (zoals GPT2, BERT en ALBERT) minder is onderzocht. Specifiek streeft het artikel ernaar vast te stellen of het iteratieve proces van het doorgeven van tokens door transformerlagen lijkt op een bekende numerieke methode voor het vinden van principale eigenvectoren.

Methodologie
De auteurs modelleren een transformer als een discrete-tijds dynamisch systeem waarbij de laagindex $t$ de tijd voorstelt. Zij richten zich op de updatewet van tokenvectoren $x_i(t)$ door een enkele laag, waarbij ze expliciet het Feed-Forward Network (FFN) uitsluiten en $L_2$-normalisatie gebruiken (in plaats van standaard LayerNorm) om de geometrische effecten van de attention- en projectiemechanismen te isoleren.

De kern van de methodologie bestaat uit het definiëren van een "laagmatrix" $F_t$ voor elke laag $t$, opgebouwd als het product van de output-gewichtmatrix ($O$) en de samengevoegde value-gewichtmatrices ($V$) van de attention-hoofden:
$$F_t = O_t V_t$$
De updateregel wordt geanalyseerd als een stap in een dynamisch systeem:
$$x_i(t+1) = \text{LayerNorm}\left(x_i(t) + \text{AttentionOutput}\right)$$
De auteurs trekken een directe analogie tussen deze update en de Machtsmethode, een iteratief algoritme dat wordt gebruikt om de principale eigenvector van een matrix te berekenen. Bij de Machtsmethode wordt een vector herhaaldelijk vermenigvuldigd met een matrix en genormaliseerd, waarbij het convergeert naar de dominante eigenvector als er een spectrale kloof bestaat.

De analyse is verdeeld in twee hoofdscenario's:

1. Gedeelde Gewichten (Tijd-invariant): Geanalyseerd met ALBERT-modellen waarbij de gewichten identiek zijn over alle lagen ($F_t = F$). De auteurs bieden rigoureuze analytische karakterisering voor gevallen waarbij de principale eigenwaarde reëel en strikt dominant is, complex, of niet-dominant.
2. Laagvariërende Gewichten (Tijd-variërend): Geanalyseerd met BERT, GPT2 en GPTNeo. Hier verandert $F_t$ bij elke laag. De auteurs onderzoeken of tokens nog steeds de neiging vertonen om uit te lijnen met de principale eigenvector $v_{1,t}$ van de huidige laag, ondanks het veranderende doelwit.

Om de theorie te valideren, voeren de auteurs numerieke experimenten uit op voorgeöordeelde modellen, waarbij ze de correlatie meten tussen tokenvectoren en de principale eigenvectoren van de laagmatrices. Zij stellen ook een methode voor om de output te "sturen" door de laatste laag te modificeren.

Belangrijkste Bijdragen

1. Analogie met de Machtsmethode: Het artikel stelt vast dat de werking van een transformerlaag (zonder inachtneming van FFN) analoog werkt aan een enkele stap van de Machtsmethode. Tokens worden geprojecteerd en genormaliseerd, met de neiging om te kantelen naar de principale eigenvector van de laagmatrix $F_t$.
2. Analytische Karakterisering van Convergentie:
   • Voor transformers met gedeelde gewichten (bijvoorbeeld ALBERT) bewijzen de auteurs dat als de laagmatrix $F$ een strikt dominante reële eigenwaarde heeft, het systeem convergeert naar een consensusstaat waarin alle tokens uitlijnen met de principale eigenvector $v_1$.
   • Zij identificeren voorwaarden voor stabiliteit, waarbij ze opmerken dat als de principale eigenwaarde complex is, tokens convergeren naar een limietcyclus in het 2D-onderruimte opgespannen door de reële en imaginaire delen van de eigenvectoren.
   • Zij tonen aan dat "bipartiete consensus" (tokens die splitsen in twee groepen die uitlijnen met $\pm v_k$) theoretisch mogelijk is, maar empirisch zeldzaam en instabiel is in multi-head-instellingen.
3. Empirische Validatie op Realistische Modellen:
   • Experimenten met ALBERT bevestigen dat tokens convergeren naar de principale eigenvector van de gedeelde laagmatrix. De convergentiesnelheid wordt echter vaak beperkt door kleine spectrale gaten (waarbij $\lambda_1 \approx \lambda_2$) of complexe eigenwaarden.
   • Experimenten met laagvariërende modellen (BERT, GPT2, GPTNeo) tonen aan dat tokens, hoewel ze niet accumulerende uitlijning vertonen naar een enkele globale eigenvector (vanwege veranderende $F_t$), toch een statistisch significant toename in correlatie vertonen met de principale eigenvector $v_{1,t}$ van de huidige laag bij elke stap. Dit bevestigt dat het "Machtsmethode"-gedrag lokaal blijft bestaan, zelfs in tijd-variërende systemen.
4. Tokensturing via Rank-1 Perturbatie: Het artikel stelt een constructieve methode voor om tokens te sturen naar een willekeurige gewenste richting. Door een voldoende grote rank-1 perturbatie toe te voegen aan de outputmatrix van de laatste laag, kunnen de auteurs een grote spectrale kloof creëren. Dit dwingt de laatste laagmatrix om een nieuwe, door de gebruiker gedefinieerde principale eigenvector te hebben, waardoor alle tokens uitlijnen met deze specifieke richting.

Resultaten

• ALBERT: In modellen met gedeelde gewichten convergeren tokens snel naar consensus. Voor ALBERT-base en large is de principale eigenwaarde reëel maar dicht bij de tweede, wat leidt tot convergentie binnen de opspansel van de eerste twee eigenvectoren. Voor xlarge en xxlarge zorgen complexe eigenwaarden ervoor dat tokens roteren in een 2D-onderruimte.
• Laagvariërende Modellen: Bij BERT en GPT-varianten is de uitlijning met de principale eigenvector van de huidige laag ($\gamma_t$) positief maar over het algemeen zwak. Deze zwakte wordt toegeschreven aan de kleine spectrale gaten ($\lambda_{1,t} - \lambda_{2,t}$) in real-world transformers. De kans op uitlijning die bij elke stap toeneemt ($\rho_t > 0.5$) wordt echter consequent waargenomen, wat de analogie valideert.
• Sturing: Wanneer de laatste laag wordt gemodificeerd met een rank-1 perturbatie, wordt de spectrale kloof groot en bereiken de tokens een bijna perfecte uitlijning met de nieuw geïnduceerde principale eigenvector, ongeacht de modelarchitectuur.

Betekenis en Beweringen
Het artikel beweert dat het bekijken van transformers door de lens van de Machtsmethode een principieel verklaring biedt voor token-oversmoothing en consensus. Het suggereert dat de "richting" van de consensus niet willekeurig is, maar wordt bepaald door de spectrale eigenschappen van het product van value- en output-gewichtmatrices.

De auteurs benadrukken dat hoewel de natuurlijke uitlijning in standaard transformers zwak is vanwege kleine spectrale gaten, het mechanisme robuust genoeg is om te worden uitgebuit. De voorgestelde sturingsmethode biedt een principieel alternatief voor bestaande technieken (zoals prompt engineering of activatie-editing) voor het controleren van modeloutput, omdat het direct de geometrische projectie-eigenschappen van de laatste laag manipuleert. Het artikel concludeert dat deze analogie geldt, zelfs wanneer het FFN wordt genegeerd, wat suggereert dat het attention-mechanisme en laagnormalisatie de primaire drijfveren zijn van dit gedrag van eigenvectoruitlijning.