Why Adam Works Better with $\beta_1 = \beta_2$: The Missing Gradient Scale Invariance Principle

Sintesi Tecnica: Perché Adam Funziona Meglio con $\beta_1 = \beta_2$

Enunciato del Problema
Nonostante Adam sia l'ottimizzatore predefinito per l'addestramento di reti neurali su larga scala da quasi un decennio, un'osservazione empirica persistente rimane inspiegata: la stabilità dell'addestramento e le prestazioni di validazione migliorano spesso quando i parametri di momento sono impostati uguali ($\beta_1 = \beta_2$). Sebbene studi recenti (ad es. Orvieto e Gower [2025]) abbiano documentato questo fenomeno attraverso varie architetture, non è stata fornita alcuna spiegazione teorica rigorosa sul perché questa specifica configurazione produca un comportamento migliore o su come si relazioni alle dinamiche interne dell'ottimizzatore. Inoltre, una tendenza parallela nella progettazione di ottimizzatori moderni (ad es. Lion, Muon, Scion) prevede l'imposizione esplicita di aggiornamenti robusti alla scala, eppure la connessione tra questi nuovi metodi e il regime "bilanciato" di Adam è rimasta poco chiara.

Metodologia
Gli autori introducono una proprietà strutturale denominata invarianza di scala del gradiente per analizzare le dinamiche di Adam. Formalizzano questo concetto come segue: un ottimizzatore è invariante di scala del gradiente se il riscalamento del gradiente corrente per un fattore positivo $\lambda$ (mantenendo lo stato interno fisso) lascia il vettore di aggiornamento essenzialmente invariato.

Per indagare ciò, gli autori impiegano un'analisi nel limite a tempo continuo dell'algoritmo Adam. Modellano Adam come la discretizzazione temporale di un sistema dinamico governato da Equazioni Differenziali Ordinarie (ODE). Introducendo tempi di rilassamento $\tau_1$ e $\tau_2$ corrispondenti ai parametri discreti $\beta_1$ e $\beta_2$ (tramite $\beta_i = e^{-\Delta t/\tau_i}$), derivano un flusso a tempo continuo per il primo e il secondo momento ($m(t)$ e $v(t)$).

Il nucleo dell'analisi consiste nel decomporre il vettore di aggiornamento normalizzato $R(t) = m(t)/\sqrt{v(t)}$ in componenti dipendenti dalla deriva logaritmica di scala del gradiente, definita come $\delta(t) = \frac{d}{dt} \log |g(t)|$. Gli autori dimostrano che l'aggiornamento può essere decomposto in una componente di segno invariante di scala, un termine esplicito di "ritardo di scala" proporzionale a $(\tau_2 - \tau_1)\delta(t)$, e termini di resto di ordine superiore.

Contributi Chiave

1. Formalizzazione dell'Invarianza di Scala del Gradiente: Il documento definisce l'invarianza di scala del gradiente del primo ordine, in cui la risposta lineare esplicita alle variazioni della scala del gradiente si annulla.
2. Caratterizzazione Teorica di Adam: Gli autori dimostrano che Adam raggiunge l'invarianza di scala del gradiente del primo ordine se e solo se $\beta_1 = \beta_2$ (o equivalentemente $\tau_1 = \tau_2$).
   • Quando $\beta_1 \neq \beta_2$, l'aggiornamento contiene un termine del primo ordine proporzionale alla deriva di scala del gradiente, rendendo l'aggiornamento sensibile alle fluttuazioni dell'ampiezza del gradiente.
   • Quando $\beta_1 = \beta_2$, questo termine del primo ordine si annulla esattamente, spostando la sensibilità al secondo ordine. Di conseguenza, l'aggiornamento si comporta più come un metodo basato sul segno, che è intrinsecamente invariante di scala.
3. Validazione Sintetica ed Empirica:
   • Esperimenti Sintetici: Esperimenti controllati con segnali di gradiente riscalati dimostrano che quando $\beta_1 = \beta_2$, la norma del vettore di aggiornamento rimane stabile sotto variazioni di scala, mentre $\beta_1 \neq \beta_2$ comporta deviazioni significative del primo ordine.
   • Addestramento Reale: Esperimenti estesi su compiti di visione (EfficientNet, ResNet, ViT) e linguaggio (NanoGPT, T5) mostrano che l'oscillazione della norma di aggiornamento ($\|R_k\|$) è minimizzata quando $\beta_1 = \beta_2$. Gli autori definiscono una metrica di oscillazione $\omega$ per quantificare questa stabilità, rilevando che le configurazioni diagonali producono coerentemente traiettorie di aggiornamento più lisce.
   • Significatività Statistica: Un test binomiale su più coppie modello-dataset conferma che il $\beta_2$ minimizzante per la stabilità dell'aggiornamento coincide con $\beta_1$ con alta significatività statistica.

Risultati
Gli esperimenti confermano che l'annullamento teorico del termine di ritardo di scala si traduce direttamente nelle dinamiche pratiche di addestramento.

• Stabilità della Norma di Aggiornamento: In tutte le architetture testate (NanoGPT, EfficientNet-B0, ResNet18, ViT-B16, T5), la norma di aggiornamento $\|R_k\|$ presenta un'oscillazione significativamente inferiore quando $\beta_1 = \beta_2$ rispetto alle impostazioni fuori diagonale.
• Analisi di Decomposizione: Una riproduzione diagnostica su gradienti di sonda su dati fissi rivela che quando $\beta_1 \neq \beta_2$, il termine esplicito di ritardo di scala rappresenta circa il 50% del budget assoluto dell'aggiornamento normalizzato. Quando $\beta_1 = \beta_2$, questo termine si annulla e l'aggiornamento diventa dominato dalla componente di segno invariante di scala.
• Robustezza: I risultati valgono per diversi semi casuali, programmi di apprendimento (learning rate schedules) e famiglie architettoniche, suggerendo che il fenomeno è una proprietà fondamentale della struttura dell'ottimizzatore piuttosto che un artefatto di specifici iperparametri.

Significato e Affermazioni
Il documento afferma di fornire una spiegazione teorica coerente per il successo empirico del regime bilanciato ($\beta_1 = \beta_2$) in Adam. Sostiene che questa configurazione non è meramente un'euristica conveniente, ma un allineamento strutturale che conferisce ad Adam invarianza di scala del gradiente del primo ordine.

Gli autori argomentano che questa proprietà colloca il regime bilanciato di Adam nella stessa classe concettuale degli ottimizzatori all'avanguardia recenti (come Lion e Muon) che progettano esplicitamente la robustezza alla scala. Identificando che questa proprietà desiderabile è latente nella formulazione standard di Adam, il lavoro colma il divario tra i metodi adattivi tradizionali e i moderni design invarianti di scala.

Il documento conclude che la riduzione della sensibilità alla scala del gradiente è un principio strutturale per l'ottimizzazione adattiva stabile. Sebbene il lavoro non proponga un nuovo ottimizzatore, offre un principio guida per la progettazione futura di ottimizzatori e suggerisce che impostare $\beta_1 = \beta_2$ è una scelta fondata per migliorare la stabilità dell'addestramento, in particolare nei regimi in cui l'ampiezza del gradiente fluttua. Gli autori rimangono modesti, notando che la loro analisi è locale e per coordinate, e che il valore ottimale del comune $\beta$ lungo la diagonale rimane una questione aperta dipendente dalle specifiche dinamiche di addestramento.