📊 statistics

Seesaw: Accelerating Training by Balancing Learning Rate and Batch Size Scheduling

Questo articolo introduce Seesaw, un framework fondato su principi che accelera il pretraining di modelli linguistici di grandi dimensioni scalando simultaneamente la dimensione del batch e regolando il tasso di apprendimento per preservare la dinamica della perdita, riducendo così il tempo di addestramento effettivo di circa il 36% rispetto agli standard dei programmi di decadimento del coseno, pur eguagliando le prestazioni a parità di FLOP.

Autori originali: Alexandru Meterez, Depen Morwani, Jingfeng Wu, Costin-Andrei Oncescu, Cengiz Pehlevan, Sham Kakade

Pubblicato 2026-07-28

📖 3 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Alexandru Meterez, Depen Morwani, Jingfeng Wu, Costin-Andrei Oncescu, Cengiz Pehlevan, Sham Kakade

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot gigante e super intelligente a comprendere il mondo, nutrendolo con una montagna di libri. Questo processo è chiamato "addestramento", ed è la formula segreta dietro i chatbot e gli strumenti di IA che vediamo oggi. Per imparare bene, il robot ha bisogno di due cose principali: un "learning rate" (tasso di apprendimento), che è quanto cambia idea dopo aver letto una singola pagina, e un "batch size" (dimensione del lotto), che è quante pagine legge prima di fermarsi a riflettere e adattarsi.

Per molto tempo, gli scienziati hanno pensato che il modo migliore per velocizzare le cose fosse semplicemente dare al robot più pagine tutte insieme (un batch size più grande) per permettergli di elaborare i dati più velocemente. Ma c'è un trucco: se gli dai troppe pagine tutte insieme senza cambiare il suo modo di pensare, si confonde e smette di imparare in modo efficiente. È come cercare di imparare una lingua leggendo un'enciclopedia intera in una sola seduta; potresti imparare i fatti, ma non capirai la grammatica. La grande domanda che i ricercatori si sono posto è: come possiamo bilanciare la lettura di più pagine con il pensare con cura per imparare più velocemente, senza che il robot si perda?

Questo articolo introduce una nuova e intelligente strategia chiamata Seesaw per risolvere questo equilibrio. I ricercatori hanno scoperto una regola matematica che agisce come un'altalena perfetta: ogni volta che raddoppi il numero di pagine che il robot legge in una volta (il batch size), non dovresti semplicemente mantenere il learning rate invariato o dimezzarlo. Inveve, dovresti regolare il learning rate di una quantità molto specifica: dividendolo per la radice quadrata di due (circa 1,41).

Pensa a questo: se raddoppi la dimensione del tuo gruppo di studio (batch size), non devi rallentare la velocità della tua conversazione (learning rate) tanto quanto potresti pensare. Usando questo ritmo "Seesaw", il robot può elaborare la stessa quantità di informazioni in meno passaggi. Gli autori l'hanno dimostrato matematicamente per compiti di apprendimento semplici e poi lo hanno testato su massicci modelli linguistici con 150 milioni, 300 milioni e 600 milioni di parametri. Hanno scoperto che, usando Seesaw, potevano addestrare questi modelli circa il 36% più velocemente in tempo reale (wall-clock time) rispetto ai metodi standard, pur raggiungendo esattamente lo stesso livello di intelligenza.

Il documento mette inoltre esplicitamente in guardia contro l'essere troppo avidi. Se provi ad aumentare il batch size in modo troppo aggressivo senza regolare correttamente il learning rate, il processo di apprendimento del robot diventa instabile e smette di migliorare. Gli autori hanno dimostrato che esiste un "punto di svolta" in cui la matematica si rompe, e il metodo Seesaw rimane in sicurezza dal lato giusto di quella linea. In breve, Seesaw non è solo un'ipotesi; è una ricetta matematicamente fondata che permette ai modelli di IA di imparare le stesse lezioni in molto meno tempo, avvicinandoci alla costruzione di un'IA più intelligente senza dover aspettare mesi per il completamento dell'addestramento.

Sintesi Tecnica: Seesaw: Accelerare l'addestramento bilanciando la programmazione del tasso di apprendimento e della dimensione del batch

Problema

Il pre-addestramento dei Large Language Model (LLM) è sempre più limitato dal tempo di calcolo effettivo (wall-clock time), che spesso si estende per diversi mesi per i modelli allo stato dell'arte. Una strategia primaria per ridurre questa durata è l'aumento della dimensione del batch (batch size), che sfrutta il calcolo parallelo per ridurre il numero totale di passi di ottimizzazione sequenziali. Tuttavia, aumentare semplicemente la dimensione del batch all'infinito porta a rendimenti decrescenti oltre una "dimensione critica del batch" (critical batch size, CBS), dove l'efficienza campionaria diminuisce.

Sebbene recenti campagne di addestramento su larga scala (ad es. LLaMA, Nemotron, OLMo) abbiano impiegato programmi di "batch ramp" — aumentando gradualmente la dimensione del batch nel corso dell'addestramento — queste strategie sono attualmente regolate in modo euristico. Manca una giustificazione teorica su come bilanciare ottimamente il decadimento del tasso di apprendimento (learning rate decay) con il ramp-up della dimensione del batch, in particolare per gli ottimizzatori adattivi come Adam. La domanda centrale affrontata è: Qual è la programmazione ottimale della dimensione del batch per minimizzare il tempo di esecuzione seriale senza sacrificare le prestazioni del modello?

Metodologia

Framework Teorico

Gli autori sviluppano un framework rigoroso basato sulla regressione lineare rumorosa per stabilire un'equivalenza tra il decadimento del tasso di apprendimento e il ramp-up della dimensione del batch.

Equivalenza SGD: Il documento fornisce la prima prova a campioni finiti (non asintotica) dimostrando che, per lo Stochastic Gradient Descent (SGD) su regressione lineare rumorosa, un processo in cui la dimensione del batch raddoppia ogni fase mentre il tasso di apprendimento rimane fisso è equivalente (fino a un fattore costante nell'eccesso di rischio) a un processo in cui la dimensione del batch è fissa e il tasso di apprendimento viene dimezzato ogni fase, a condizione che entrambi i processi consumino lo stesso numero totale di punti dati.
Estensione a Normalized SGD (NSGD): Per colmare il divario con gli ottimizzatori adattivi come Adam, gli autori analizzano la Normalized SGD, un proxy analitico trattabile per Adam. Introducono l'Assunzione 2, che postula che nel regime dominato dalla varianza osservato nella pratica, le norme del quadrato del gradiente atteso siano dominate dal rumore additivo (che scala come $O(1/B)$ ). Sotto questa assunzione, la NSGD si riduce efficacemente alla SGD con un tasso di apprendimento riscalato.
La Condizione di Equivalenza: L'analisi deriva una relazione specifica necessaria per mantenere la dinamica della perdita quando si regolano entrambi i parametri. Per un fattore di decadimento del tasso di apprendimento $\alpha$ e un fattore di aumento della dimensione del batch $\beta$ , i processi rimangono equivalenti se il prodotto $\alpha\sqrt{\beta}$ è mantenuto costante.

L'Algoritmo Seesaw

Sulla base dell'equivalenza teorica, gli autori propongono Seesaw, uno scheduler che bilancia dinamicamente il tasso di apprendimento e la dimensione del batch:

Meccanismo: Ogni volta che uno scheduler standard (ad es. coseno decay) ridurrebbe il tasso di apprendimento di un fattore $\alpha$ , Seesaw invece riduce il tasso di apprendimento di un fattore $\sqrt{\alpha}$ e aumenta la dimensione del batch di un fattore $\alpha$ .
Vincolo: Gli autori identificano un limite teorico per prevenire la divergenza. Lo schema di ramp-up più aggressivo che mantiene la stabilità è definito da $\alpha = \sqrt{\beta}$ . Superare questo limite (ovvero, aumentare la dimensione del batch in modo troppo aggressivo rispetto al decadimento del tasso di apprendimento) porta alla divergenza.
Implementazione: Seesaw è progettato come un sostituto diretto degli esistenti scheduler del tasso di apprendimento. In pratica, approssima il coseno decay utilizzando il step decay, attivando gli aumenti della dimensione del batch ai conteggi di token specifici in cui il tasso di apprendimento verrebbe altrimenti tagliato.

Contributi Chiave

Equivalenza Teorica: Il documento stabilisce la prima equivalenza non asintotica tra il decadimento del tasso di apprendimento e il ramp-up della dimensione del batch per la SGD e estende tale analisi alla Normalized SGD sotto un regime dominato dalla varianza.
Lo Scheduler Seesaw: Introduzione di un algoritmo rigoroso che sostituisce lo standard learning rate decay con una programmazione accoppiata di tasso di apprendimento e dimensione del batch, teoricamente fondata per preservare la dinamica della perdita.
Analisi dell'Accelerazione: Gli autori derivano un limite superiore teorico per la riduzione del tempo di esecuzione seriale. Utilizzando il ramp-up più aggressivo e stabile ( $\alpha = \sqrt{\beta}$ ) rispetto al baseline del coseno decay, la massima accelerazione teorica è calcolata come $(1 - 2/\pi) \approx 36,3\%$ .

Risultati Empirici

Gli autori hanno valutato Seesaw su modelli da 150M, 300M e 600M di parametri addestrati su scala Chinchilla ( $D=20N$ ) utilizzando il codice OLMo.

Parità delle Prestazioni: Seesaw eguaglia la dinamica della perdita di validazione degli schemi di cosine annealing standard in tutte le dimensioni del modello quando addestrato alla dimensione critica del batch.
Riduzione del Tempo di Esecuzione: Seesaw ottiene una riduzione significativa del tempo di esecuzione seriale, riducendo il tempo di calcolo effettivo (wall-clock time) di circa il 36%, avvicinandosi strettamente al limite teorico derivato dall'analisi.
Robustezza: Il metodo funziona efficacementamente con AdamW e varie impostazioni di weight decay.
Limiti dell'Aggressività: Gli esperimenti variando i parametri $\alpha$ e $\beta$ confermano il vincolo teorico. Gli schemi più aggressivi di $\alpha = \sqrt{\beta}$ (ad esempio, raddoppiare la dimensione del batch mantenendo il tasso di apprendimento costante o decadendolo troppo lentamente) causano divergenza o prestazioni subottimali.
Limite della Dimensione Critica del Batch: Gli autori osservano che la strategia Seesaw è efficace fino alla dimensione critica del batch. Oltre questo punto, dove il termine di rumore non domina più la norma del gradiente, l'equivalenza si interrompe e Seesaw performa peggio del coseno decay standard.

Significato e Rivendicazioni

Il documento sostiene di fornire una base teorica rigorosa per la pratica del "batch ramp", spostandola da una regolazione euristica a una strategia di ottimizzazione fondata. Dimostrando che il decadimento del tasso di apprendimento e il ramp-up della dimensione del batch sono intercambiabili sotto condizioni specifiche, Seesaw offre un metodo pratico per accelerare il pre-addestramento degli LLM senza compromettere la qualità del modello.

Gli autori sottolineano che Seesaw funge da sostituto diretto per gli esistenti scheduler negli ottimizzatori adattivi. Il significato primario risiede nella capacità di ridurre il tempo di calcolo effettivo dell'addestramento di grandi modelli di circa un terzo, affrontando il collo di bottiglia dell'hardware dove i requisiti di addestramento stanno superando i miglioramenti dell'hardware stesso. Il lavoro chiarisce anche i confini di questa strategia, notando che essa dipende dal regime dominato dalla varianza e potrebbe non applicarsi una volta che le dimensioni del batch superano la soglia critica in cui i termini del gradiente medio diventano dominanti.