Characterizing Optimizer-Dependent Training Dynamics Through Hessian Eigenvector Displacement and Localization

Sintesi Tecnica: Caratterizzazione della Dinamica di Addestramento Dipendente dall'Ottimizzatore attraverso lo Spostamento e la Localizzazione degli Autovettori dell'Essiana

Definizione del Problema
Comprendere l'addestramento delle reti neurali rimane una sfida a causa della natura ad alta dimensionalità e non convessa del panorama della perdita (loss landscape). Sebbene la matrice Essiana (la matrice delle derivate seconde della perdita rispetto ai parametri) sia uno strumento standard per analizzare la dinamica di addestramento, la generalizzazione e la nitidezza (sharpness), la maggior parte del lavoro precedente si concentra sugli autovalori dell'Essiana (magnitudo della curvatura) o sulla stabilità dello spazio proprio top-$k$ nel suo insieme. Esiste un vuoto critico nella comprensione dell'evoluzione dei singoli autovettori principali dell'Essiana, che codificano le specifiche direzioni di curvatura nello spazio dei parametri. Non è chiaro se questi autovettori si stabilizzano, derivano o si riorganizzano durante l'addestramento con mini-batch, e se diversi ottimizzatori inducano traiettorie geometriche qualitativamente distinte attraverso il panorama della perdita.

Metodologia
Gli autori investigano l'evoluzione temporale dei principali autovettori dell'Essiana, $\{v^{(i)}(t)\}$, durante l'addestramento di perceptron multistrato (MLP) su dataset MNIST e FashionMNIST. Lo studio confronta tre ottimizzatori: Stochastic Gradient Descent (SGD), Adam e Sharpness-Aware Minimization (SAM).

Per quantificare la dinamica degli autovettori, il documento impiega due metriche complementari:

1. Spostamento dell'Autovettore: Ispirato alle analisi dei sistemi vetrosi, questa metrica misura la distanza euclidea al quadrato tra un autovettore a un tempo iniziale $t_w$ e il suo stato dopo un tempo di attesa $t$. Funziona come una funzione di correlazione a due tempi per distinguere tra dinamiche stazionarie e comportamenti di "invecchiamento" (dove il tasso di variazione dipende dall'età dell'addestramento). Un modello nullo casuale, basato sull'Essiana atteso sotto una randomizzazione iniziale dei parametri, funge da baseline per la decorrelazione completa.
2. Rapporto di Partecipazione Inversa (IPR): Questa metrica quantifica la localizzazione della massa dell'autovettore. Un valore IPR vicino a $1/N$ (dove $N$ è il numero di parametri) indica delocalizzazione (distribuzione uniforme), mentre valori vicini a $O(1)$ indicano localizzazione (concentrazione su un piccolo sottoinsieme di parametri). In questo contesto, l'IPR misura come la sensibilità alla curvatura sia distribuita tra i pesi della rete.

Gli esperimenti utilizzano un MLP completamente connesso a 3 strati addestrato con mini-batch. L'Essiana viene valutato sull'intero dataset a intervalli, e gli autovettori vengono calcolati tramite iterazione di Lanczos utilizzando prodotti Essiana-vettore per evitare di formare la matrice completa.

Risultati Chiave
Lo studio rivela comportamenti chiari, dipendenti dall'ottimizzatore, sia nello spostamento che nella localizzazione:

• Spostamento e Stabilità:

  • SGD: Esibisce un comportamento di "invecchiamento" dove l'autovettore principale ($v^{(1)}$) cambia rapidamente inizialmente ma si stabilizza progressivamente. Lo spostamento satura al di sotto della baseline casuale, indicando che l'SGD conduce a direzioni di curvatura principale progressivamente più stabili.
  • Adam: Mostra una riorganizzazione sostanzialmente più forte. Lo spostamento dell'autovettore si appiattisce vicino alla baseline casuale, suggerendo una quasi completa decorrelazione e un persistente spostamento delle direzioni di curvatura principale durante tutto l'addestramento.
  • SAM: Mostra un comportamento intermedio con un drift più lento ma persistente rispetto all'SGD.
  • Queste dinamiche sono robuste rispetto alle variazioni di dimensione del batch e learning rate, eccetto nel regime full-batch.

• Localizzazione (IPR):

  • Adam: Induce un forte fenomeno di localizzazione in cui l'autovettore principale diventa concentrato su un piccolo sottoinsieme di parametri (IPR $\approx 0.1$). Ciò suggerisce che, sotto Adam, un piccolo sottoinsieme di pesi contribuisce in modo sproporzionato alle direzioni di curvatura principali.
  • SGD: Mostra una tendenza alla delocalizzazione, con valori IPR che diminuiscono verso la baseline uniforme ($1/N$), indicando che la sensibilità alla curvatura si diffonde più uniformemente tra i parametri.
  • SAM: Esibisce una localizzazione leggermente superiore rispetto all'SGD, ma mantiene una bassa varianza tra le diverse esecuzioni.

• Allineamento: Il documento nota che, sebbene i gradienti si allineino generalmente con i top autovettori, l'allineamento degli aggiornamenti di Adam rimane basso (sotto lo 0.1), probabilmente a causa del suo parametro di momentum, mentre gli aggiornamenti di SGD e SAM si allineano più strettamente con il gradiente.

Significatività e Rivendicazioni
Il documento afferma che il tracciamento della dinamica degli autovettori dell'Essiana cattura le differenze chiave nel comportamento degli ottimizzatori che non sono visibili attraverso l'analisi spettrale da sola. La significatività primaria risiede nel dimostrare che:

1. La Scelta dell'Ottimizzatore Detta la Geometria: Diversi ottimizzatori non si limitano a percorrere lo stesso panorama a velocità diverse; essi inducono forme qualitativamente distinte di esplorazione del panorama. L'SGD stabilizza le direzioni di curvatura, mentre Adam le riorganizza continuamente.
2. La Localizzazione come Statistica Stabile: Nonostante il mescolamento degli autovettori sotto Adam, la metrica di localizzazione (IPR) rimane una statistica stabile durante l'addestramento. Ciò suggerisce che, anche quando le specifiche direzioni di curvatura ruotano, la natura della curvatura (se guidata da pochi parametri o distribuita) rimane coerente per un dato ottimizzatore.
3. Implicazioni per l'Analisi: Questi risultati suggeriscono che le instabilità degli autovettori possono facilitare l'ottimizzazione permettendo l'esplorazione di nuove regioni del panorama della perdita. Inoltre, la localizzazione osservata sotto Adam potrebbe avere implicazioni pratiche per il pruning mirato e la quantificazione dell'incertezza, poiché identifica sottoinsiemi specifici di pesi che dominano le direzioni più convesse.

Gli autori concludono che queste dinamiche sono robuste alle variazioni degli iperparametri (all'interno dei regimi mini-batch) e che il lavoro futuro potrebbe sfruttare queste osservazioni per migliorare le dinamiche degli ottimizzatori ed esplorare la ridondanza dei parametri.