Spectrum-Adaptive Generalization Bounds for Trained Deep Transformers

Sintesi Tecnica: Limiti di Generalizzazione Adattivi allo Spettro per Trasformatori Profondi Addestrati

Enunciato del Problema
Comprendere perché i Trasformatori fortemente sovrapparametrizzati generalizzano bene rimane una sfida fondamentale nella teoria moderna dell'apprendimento automatico. Sebbene i limiti di generalizzazione basati sulle norme esistenti (ad es. Edelman et al., 2022; Trauger e Tewari, 2024) abbiano rimosso con successo la dipendenza polinomiale esplicita dalle dimensioni nascoste e dalle lunghezze dei token, essi soffrono di due limitazioni principali quando applicati a modelli profondi e addestrati:

1. Accumulo di Profondità: Spesso mostrano una dipendenza esponenziale o ad alto polinomio sfavorevole dalla profondità della rete ($L$) dovuta a fattori di propagazione strato per strato (che scalano come $C^L$ o $L^{3/2}$).
2. Vincoli di Norme Fisse: Si basano su raggi di norme fisse (ad es. norme miste $(2,1)$ o $(1,1)$) specificati a priori. Questi raggi tipicamente crescono con la dimensione nascosta ($N$) e non si adattano ai profili spettrali eterogenei osservati nei pesi addestrati, dove le matrici di attenzione spesso esibiscono strutture a basso rango distinte dalle matrici feedforward.

Metodologia
Gli autori derivano limiti di generalizzazione post hoc adattivi allo spettro per Trasformatori multistrato. Le innovazioni metodologiche fondamentali includono:

• Adattività Post Hoc: A differenza dei limiti tradizionali in cui i parametri di complessità sono fissati prima dell'addestramento, questo approccio permette di selezionare gli indici di Schatten ($p$) dopo aver osservato i pesi addestrati. Questi indici possono essere scelti separatamente per ogni tipo di matrice (Query-Key, Value, Feedforward) e per ogni strato.
• Interpolazione Parametrica: Il lavoro estende le tecniche di interpolazione parametrica (Ledent et al., 2025) a classi di funzioni a valori matriciali. Decomponendo le matrici dei pesi in una parte principale a basso rango e una coda controllata dalla norma di Frobenius, gli autori derivano limiti per i numeri di copertura che interpolano tra regimi basati sul rango ($p=0$) e regimi basati sulla norma ($p=2$).
• Misure di Complessità Spettrale: I limiti sono espressi in termini di quantità di Schatten $p$ strato per strato ($\|W\|_{s,p}$) e norme spettrali ($\|W\|_2$). La misura di complessità è definita come un infimo su tutti gli indici di Schatten ammissibili $p \in [0, 2]^{3L}$.
• Analisi dei Numeri di Copertura: La dimostrazione costruisce numeri di copertura per l'architettura del Trasformatore sotto la metrica $\|\cdot\|_{2\to\infty}$. Utilizza un argomento di "peeling" diadico sui raggi delle quantità di Schatten realizzate per garantire che l'evento ad alta probabilità valga uniformemente su tutte le scelte di $p$, consentendo la selezione post hoc.

Contributi Chiave

1. Teorema 3.1 (Limiti Adattivi allo Spettro): Il risultato principale fornisce un limite per il gap di generalizzazione in cui il termine di complessità coinvolge un infimo sugli indici di Schatten. Ciò permette al limite di selezionare automaticamente il compromesso più favorevole tra complessità spettrale, dimensione nascosta e profondità per ciascuna matrice appresa specifica.
2. Teorema 4.1 (Interpolazione Parametrica a Valori Matriciali): Un'estensione tecnica che fornisce limiti per i numeri di copertura per funzioni lineari a valori matriciali sotto vincoli simultanei di norma spettrale e quantità di Schatten. Questo funge da mattone fondamentale per l'analisi dei Trasformatori.
3. Confronto Teorico: Il lavoro dimostra che in regimi rappresentativi (vincoli di norma di Frobenius, Rango e Norma spettrale), i limiti proposti migliorano la dipendenza dalla profondità rispetto alle baseline basate sulle norme esistenti. Nello specifico, la dipendenza dalla profondità migliora da $L^{3/2}$ (in Edelman et al., 2022) a $\sqrt{L}$ o meglio, a seconda della struttura spettrale.
4. Validazione Empirica: Utilizzando checkpoint di BERT Miniature, gli autori costruiscono "proxy adattati a BERT" per i fattori di complessità principali. Osservano che i proxy derivati dai loro limiti adattivi allo spettro crescono significativamente più lentamente all'aumentare della profondità ($L$) e della dimensione nascosta ($N$) rispetto ai proxy derivati da Edelman et al. (2022).

Risultati

• Scalabilità di Profondità e Dimensione: L'analisi teorica mostra che selezionando $p$ più piccoli (più vicini al rango), il fattore di propagazione strato per strato e i fattori polinomiali di profondità vengono ridotti. I risultati empirici sui checkpoint BERT confermano che i fattori di complessità principali dei limiti proposti scalano più favorevolmente rispetto alle controparti basate sulle norme all'aumentare di $L$ e $N$.
• Eterogeneità dei Pesi: L'analisi empirica rivela che, mentre le matrici relative all'attenzione (Query-Key, Value) sono esattamente a basso rango (a causa dei vincoli sulla dimensione delle teste), le matrici feedforward mostrano un decadimento spettrale più lento. Tuttavia, anche per queste matrici, la selezione post hoc di $p=0$ (basata sul rango) spesso produce il limite più stretto perché la riduzione del termine spettrale supera la penalità derivante dai fattori di scalatura architetturale.
• Dipendenza dalla Lunghezza dei Token: I limiti mantengono una dipendenza logaritmica dalla lunghezza dei token ($T$), coerente con i recenti avanzamenti, sebbene il lavoro noti che ciò deriva dall'argomento di copertura di tipo $\ell_2$ utilizzato per l'approccio spettrale, in contrasto con gli argomenti di tipo $\ell_1$ utilizzati per rimuovere la dipendenza dai token in altri lavori.

Significato e Affermazioni
Il lavoro afferma di fornire una prospettiva basata sulla complessità su come la struttura spettrale dei Trasformatori addestrati si rifletta nelle analisi di generalizzazione. La sua importanza risiede in:

• Adattività: Superare i vincoli di norme globali e fisse per permettere misure di complessità che si adattano ai profili specifici dei valori singolari dei pesi addestrati.
• Interpolazione: Offrire un ponte teorico tra regimi basati sul rango e regimi basati sulla norma, dimostrando che la misura di complessità ottimale è dipendente dai dati e può essere selezionata post hoc.
• Limiti più Stretti per Modelli Profondi: Fornire un meccanismo per mitigare i limiti spesso lassi associati alle reti profonde sfruttando la natura a basso rango o comprimibile delle rappresentazioni apprese.

Gli autori notano modestamente che la loro analisi è agnostica rispetto all'addestramento, basandosi solo su quantità spettrali post hoc piuttosto che sulla traiettoria di ottimizzazione o sulla regolarizzazione implicita. Suggeriscono che un lavoro futuro potrebbe integrare strutture di attivazione dipendenti dai dati e dinamiche di ottimizzazione per ottenere limiti ancora più precisi.