Analogies between Transformer Layers and Power Method

Riepilogo Tecnico: Analogie tra Strati Transformer e il Metodo delle Potenze

Enunciato del Problema
Il lavoro affronta la mancanza di comprensione riguardo alla specifica direzione vettoriale verso cui convergono le rappresentazioni dei token nei transformer profondi, un fenomeno noto come "oversmoothing" (eccessiva lisciatura), "collasso del rango" o "uniformità dei token". Sebbene sia stabilito che i transformer profondi tendano verso uno stato di consenso in cui tutti i token diventano identici, la natura di questo vettore di consenso e il meccanismo che lo guida rimangono poco chiari. La letteratura esistente modella spesso l'attenzione self come un sistema a tempo continuo o si concentra su scenari a testa singola, lasciando meno esplorato il comportamento a tempo discreto e multi-testa dei modelli pratici (come GPT2, BERT e ALBERT). Nello specifico, il lavoro mira a determinare se il processo iterativo di passaggio dei token attraverso gli strati transformer assomigli a un noto metodo numerico per trovare autovettori principali.

Metodologia
Gli autori modellano un transformer come un sistema dinamico a tempo discreto in cui l'indice dello strato $t$ rappresenta il tempo. Si concentrano sulla legge di aggiornamento dei vettori dei token $x_i(t)$ attraverso un singolo strato, escludendo esplicitamente la Feed-Forward Network (FFN) e utilizzando la normalizzazione $L_2$ (sostituendo il LayerNorm standard) per isolare gli effetti geometrici dei meccanismi di attenzione e proiezione.

Il nucleo della metodologia consiste nel definire una "matrice di strato" $F_t$ per ogni strato $t$, costruita come il prodotto della matrice dei pesi di uscita ($O$) e delle matrici dei pesi dei valori ($V$) concatenati delle teste di attenzione:
$$F_t = O_t V_t$$
La regola di aggiornamento è analizzata come un passo in un sistema dinamico:
$$x_i(t+1) = \text{LayerNorm}\left(x_i(t) + \text{OutputAttenzione}\right)$$
Gli autori tracciano un'analogia diretta tra questo aggiornamento e il Metodo delle Potenze, un algoritmo iterativo utilizzato per calcolare l'autovettore principale di una matrice. Nel Metodo delle Potenze, un vettore viene ripetutamente moltiplicato per una matrice e normalizzato, convergendo all'autovettore dominante se esiste un gap spettrale.

L'analisi è divisa in due scenari principali:

1. Pesi Condivisi (Invariante nel Tempo): Analizzato utilizzando modelli ALBERT dove i pesi sono identici attraverso tutti gli strati ($F_t = F$). Gli autori forniscono caratterizzazioni analitiche rigorose per i casi in cui l'autovalore principale è reale e strettamente dominante, complesso o non dominante.
2. Pesi Variabili per Strato (Variabile nel Tempo): Analizzato utilizzando BERT, GPT2 e GPTNeo. Qui, $F_t$ cambia ad ogni strato. Gli autori investigano se i token mostrano ancora una tendenza ad allinearsi con l'autovettore principale $v_{1,t}$ dello strato corrente, nonostante il bersaglio cambi.

Per validare la teoria, gli autori conducono esperimenti numerici su modelli pre-addestrati, misurando la correlazione tra i vettori dei token e gli autovettori principali delle matrici di strato. Propongono inoltre un metodo per "guidare" l'output modificando lo strato finale.

Contributi Chiave

1. Analogia con il Metodo delle Potenze: Il lavoro stabilisce che l'operazione di uno strato transformer (trascurando la FFN) agisce analogamente a un singolo passo del Metodo delle Potenze. I token vengono proiettati e normalizzati, tendendo a inclinarsi verso l'autovettore principale della matrice di strato $F_t$.
2. Caratterizzazione Analitica della Convergenza:
   • Per i transformer a pesi condivisi (es. ALBERT), gli autori dimostrano che se la matrice di strato $F$ ha un autovalore reale strettamente dominante, il sistema converge a uno stato di consenso in cui tutti i token si allineano con l'autovettore principale $v_1$.
   • Identificano le condizioni per la stabilità, notando che se l'autovalore principale è complesso, i token convergono a un ciclo limite nel sottospazio 2D generato dalle parti reale e immaginaria degli autovettori.
   • Dimostrano che il "consenso bipartito" (i token che si dividono in due gruppi allineati con $\pm v_k$) è teoricamente possibile ma empiricamente raro e instabile in contesti multi-testa.
3. Validazione Empirica su Modelli Reali:
   • Gli esperimenti su ALBERT confermano che i token convergono all'autovettore principale della matrice di strato condivisa. Tuttavia, la velocità di convergenza è spesso limitata da piccoli gap spettrali (dove $\lambda_1 \approx \lambda_2$) o autovalori complessi.
   • Gli esperimenti su modelli a pesi variabili per strato (BERT, GPT2, GPTNeo) mostrano che, sebbene i token non accumulino un allineamento verso un singolo autovettore globale (a causa del cambiamento di $F_t$), mostrano comunque un aumento statisticamente significativo della correlazione con l'autovettore principale $v_{1,t}$ dello strato corrente ad ogni passo. Questo conferma che il comportamento del "Metodo delle Potenze" persiste localmente anche nei sistemi variabili nel tempo.
4. Guida dei Token tramite Perturbazione di Rango 1: Il lavoro propone un metodo costruttivo per guidare i token verso una direzione desiderata arbitraria. Aggiungendo una perturbazione di rango 1 sufficientemente grande alla matrice di output dello strato finale, gli autori possono creare un ampio gap spettrale. Questo forza la matrice dello strato finale ad avere un nuovo autovettore principale definito dall'utente, causando l'allineamento di tutti i token con questa specifica direzione.

Risultati

• ALBERT: Nei modelli con pesi condivisi, i token convergono rapidamente al consenso. Per ALBERT-base e large, l'autovalore principale è reale ma vicino al secondo, portando a una convergenza all'interno dell'span dei primi due autovettori. Per xlarge e xxlarge, autovalori complessi causano una rotazione dei token in un sottospazio 2D.
• Modelli a Pesi Variabili per Strato: In BERT e nelle varianti GPT, l'allineamento con l'autovettore principale dello strato corrente ($\gamma_t$) è positivo ma generalmente debole. Questa debolezza è attribuita ai piccoli gap spettrali ($\lambda_{1,t} - \lambda_{2,t}$) nei transformer del mondo reale. Tuttavia, la probabilità che l'allineamento aumenti ad ogni passo ($\rho_t > 0.5$) è osservata costantemente, validando l'analogia.
• Guida: Quando lo strato finale viene modificato con una perturbazione di rango 1, il gap spettrale diventa ampio e i token raggiungono un allineamento quasi perfetto con il nuovo autovettore principale indotto, indipendentemente dall'architettura del modello.

Significato e Affermazioni
Il lavoro afferma che osservare i transformer attraverso la lente del Metodo delle Potenze fornisce una spiegazione fondata per l'oversmoothing e il consenso dei token. Suggerisce che la "direzione" del consenso non è arbitraria, ma è determinata dalle proprietà spettrali del prodotto delle matrici dei pesi dei valori e di output.

Gli autori sottolineano che, sebbene l'allineamento naturale nei transformer standard sia debole a causa di piccoli gap spettrali, il meccanismo è abbastanza robusto da essere sfruttato. Il metodo di guida proposto offre un'alternativa fondata alle tecniche esistenti (come l'ingegneria dei prompt o la modifica delle attivazioni) per controllare l'output del modello, poiché manipola direttamente le proprietà di proiezione geometrica dello strato finale. Il lavoro conclude che questa analogia vale anche trascurando la FFN, suggerendo che il meccanismo di attenzione e la normalizzazione di strato sono i principali driver di questo comportamento di allineamento agli autovettori.