Sintesi Tecnica: Oltre una singola spiegazione del divario Adam–SGD

Definizione del Problema

Per oltre un decennio, la disparità di prestazioni tra l'ottimizzatore adattivo Adam e lo Stochastic Gradient Descent (SGD) è stata una questione centrale nel deep learning, in particolare nel contesto dei modelli linguistici di grandi dimensioni (LLM) basati su Transformer. Sebbene Adam sia lo standard de facto per i moderni modelli fondativi, la letteratura esistente offre spiegazioni frammentate per questo "divario Adam–SGD". Tali spiegazioni vengono tipicamente studiate isolatamente e attribuiscono il divario a fattori specifici:

1. Proprietà dei Dati: Distribuzioni del vocabolario a coda pesante (Zipfiane) nei dati testuali che creano paesaggi di ottimizzazione anisotropi.
2. Architettura: Eterogeneità dei componenti nei Transformer (ad es. softmax-attention, strati di embedding, strati di normalizzazione).
3. Dinamiche di Ottimizzazione: Effetti della dimensione del batch e caratteristiche del rumore del gradiente (ad es. rumore a coda pesante).

Il problema centrale affrontato da questo lavoro è la mancanza di una comprensione unificata di come questi fattori interagiscano. Resta da chiarire se un singolo fattore guidi il divario universalmente, o se il fenomeno derivi da complesse interazioni tra dati, architettura e iperparametri di addestramento attraverso diversi domini.

Metodologia

Gli autori conducono uno studio empirico controllato su larga scala che abbraccia quattro domini distinti: linguaggio, visione, genomica e apprendimento su grafi. Lo studio utilizza sia architetture Transformer moderne che modelli classici non-Transformer (ad es. ResNet, GCNN, GAT).

Design Sperimentale:

• Protocollo di Tuning Unificato: Per controllare i fattori di confondimento, gli autori effettuano un campionamento congiunto (sweep) dei tassi di apprendimento ($\eta$) e dei parametri di momentum ($\beta$) per entrambi gli ottimizzatori. Per Adam, utilizzano una parametrizzazione legata ($\beta_1 = \beta_2 = \beta$) per allinearsi alla teoria di SignSGD, testando anche il tuning indipendente negli studi di ablazione.
• Vincoli Globali: Gli esperimenti impiegano il clipping globale della norma del gradiente (a 1) e programmi di warmup/cosine coerenti.
• Metrica del Divario: Il divario di prestazioni è definito come $\Delta^* = L^*_{Adam} - L^*_{SGD}$, dove $L^*$ è la perdita di addestramento finale della migliore configurazione di iperparametri. Un $\Delta^*$ negativo indica che Adam supera SGD.
• Modellazione Teorica: Gli autori completano le scoperte empiriche con un modello di divario teorico basato su limiti di convergenza non euclidei (Kovalev, 2025). Confrontano il Normalized SGD (NSGD) con il momentum contro un proxy SignSGD per Adam, analizzando come il divario dipenda dal rapporto tra le costanti di smoothness ($r = L_\infty / L_2$) e la dimensione del batch ($B$).

Contributi Chiave e Risultati

1. Nessun singolo fattore spiega il divario

Lo studio confuta sistematicamente l'ipotesi che qualsiasi singolo fattore (distribuzione del vocabolario, meccanismi di attenzione o tipo di architettura) sia necessario o sufficiente per spiegare il divario Adam–SGD.

• Distribuzione del Vocabolario: Il divario persiste anche sui dati genomici (HG38) con una distribuzione del vocabolario quasi uniforme ($v=5$) e una dimensione del vocabolario ridotta, contraddicendo l'ipotesi dello sbilanciamento delle classi a coda pesante.
• Softmax-Attention: Sostituire gli strati di softmax-attention in GPT con convoluzioni a gate (GCNN) non elimina il divario; Adam continua a superare SGD, suggerendo che i meccanismi di attenzione non sono l'unico driver.
• Eterogeneità dell'Architettura: Sebbene l'eterogeneità dei componenti (ad es. embedding vs strati head) influenzi il divario, essa non è deterministica. Un Vision Transformer (ViT) addestrato su ImageNet21K può esibire una tendenza inversa in cui SGD supera Adam, nonostante abbia una complessità architettonica simile ai modelli in cui Adam vince.

2. Il fenomeno della dimensione del batch di crossover

La principale scoperta empirica è l'esistenza di una dimensione del batch di crossover. Al variare della scala della dimensione del batch ($B$), il vantaggio relativo passa da SGD ad Adam.

• Interazione tra Dati e Architettura: Il punto specifico di crossover e la pendenza della transizione dipendono congiuntamente dalla modalità dei dati e dall'architettura. Ad esempio, i dati di immagini (I21K) richiedono dimensioni del batch significativamente più grandi per spostare il vantaggio verso Adam rispetto ai dati linguistici o genomici, in linea con il successo storico di SGD nei compiti di visione.
• Sensibilità Architetturale: Piccole modifiche architettoniche, come sostituire ReLU con GeLU o BatchNorm con LayerNorm, possono spostare la preferenza dell'ottimizzatore da SGD ad Adam sullo stesso dataset.

3. Dipendenza dal regime di addestramento

Il divario si comporta diversamente a seconda del regime di ottimizzazione:

• Sovra-parametrizzato (Multi-epoch): Nei setting in cui il modello può raggiungere una perdita di addestramento vicina allo zero (ad es. piccoli dataset addestrati per molti epoch), il divario si riduce con il progredire dell'addestramento, e SGD può infine eguagliare le prestazioni di Adam.
• Sotto-parametrizzato (One-epoch): Nei moderni setting LLM (grandi dataset, un solo epoch), il divario persiste durante tutto l'addestramento, con Adam che mantiene un vantaggio costante su SGD.

4. Modello di Divario Teorico

Gli autori propongono un modello teorico che predice due regimi basati sul rapporto di smoothness della geometria $r = L_\infty / L_2$:

• Regime I ($1 < r < d^{1/3}$): Si verifica un crossover dove SGD è favorito a piccole dimensioni del batch, e Adam diventa favorito all'aumentare di $B$. Questo corrisponde alla maggior parte dei setup sperimentali.
• Regime II ($d^{1/3} < r < d$): SGD (NSGD) è favorito in tutte le dimensioni del batch. Questo regime corrisponde agli esperimenti su ResNet su ImageNet21K, dove SGD supera Adam anche con grandi dimensioni del batch.
  Il modello suggerisce che il divario sia determinato dall'interazione tra la geometria dell'ottimizzazione, le proprietà del dataset e la varianza del rumore del gradiente.

Significato

Il paper sostiene di offrire una prospettiva unificata che riconcilia le ipotesi precedentemente contrastanti. Invece di attribuire il divario Adam–SGD a una singola causa (ad es. "i dati testuali sono Zipfiani" o "i Transformer sono complessi"), gli autori dimostrano che il divario è una proprietà emergente dell'interazione tra distribuzione dei dati, design dell'architettura e dimensione del batch.

L'identificazione della dimensione del batch di crossover fornisce un'euristica pratica: la scelta tra Adam e SGD non dovrebbe essere assoluta ma dovrebbe considerare il regime specifico della dimensione del batch e la coppia dati-architettura. Il modello teorico valida ulteriormente queste osservazioni empiriche, predendo che la prestazione relativa sia contingente sul rapporto di smoothness del paesaggio di perdita e sulle caratteristiche del rumore.

Il lavoro conclude che, sebbene Adam offra un vantaggio pratico consistente nei moderni setting su larga scala e sotto-parametrizzati (specialmente con grandi dimensioni del batch), SGD rimane competitivo o superiore in regimi specifici (ad es. compiti di visione con grandi batch o settings sovra-parametrizzati), sfidando la nozione di un vincitore universale tra gli ottimizzatori.