📊 statistics

Anytime Pretraining: Horizon-Free Learning-Rate Schedules with Weight Averaging

Questo articolo dimostra che combinare la media dei pesi con semplici programmi di apprendimento del tasso di apprendimento privi di orizzonte (come il decadimento polinomiali o $1/\sqrt{t}$ ) raggiunge una prestazione finale comparabile ai programmi coseno ottimizzati per i grandi modelli linguistici, offrendo un'alternativa pratica e teoricamente fondata per l'addestramento in contesti aperti dove l'orizzonte totale è sconosciuto.

Autori originali: Alexandru Meterez, Pranav Ajit Nair, Depen Morwani, Cengiz Pehlevan, Sham Kakade

Pubblicato 2026-08-26

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Alexandru Meterez, Pranav Ajit Nair, Depen Morwani, Cengiz Pehlevan, Sham Kakade

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel mondo dell'intelligenza artificiale, i grandi modelli linguistici sono i motori che alimentano tutto, dagli assistenti per la scrittura agli strumenti di ragionamento complesso. Per far funzionare questi motori, i ricercatori devono istruirli fornendo loro enormi quantità di testo, un processo noto come pre-addestramento (pretraining). Questa istruzione richiede un equilibrio attento tra velocità e precisione, controllato da un'impostazione chiamata tasso di apprendimento (learning rate). Pensate a questo tasso come al ritmo con cui il modello aggiusta la sua conoscenza interna basata su nuove informazioni. Se il ritmo è troppo veloce, il modello supera la verità; se è troppo lento, non impara nulla. Per anni, il metodo standard per gestire questo ritmo è stato uno schema noto come decadimento del coseno (cosine decay). Questo metodo inizia il modello a una velocità moderata, lo rallenta gradualmente in una curva fluida e si ferma in un momento preciso. Tuttavia, questo approccio standard presenta un difetto significativo: richiede di sapere esattamente quanto durerà l'addestramento prima che venga compiuto il primo passo. In un mondo in cui i dati arrivano continuamente e la quantità totale di informazioni è sconosciuta, questo requisito è come cercare di guidare un'auto con una mappa che mostra solo la destinazione, non la distanza per arrivarci.

I ricercatori dell'Università di Harvard e del Kempner Institute hanno affrontato questo problema sviluppando un nuovo modo per addestrare questi modelli che non necessita di una data di fine prestabilita. Il loro lavoro, che combina la teoria matematica con esperimenti su larga scala, dimostra che i modelli possono essere addestrati efficacemente senza mai sapere quando l'addestramento si fermerà. Hanno scoperto che utilizzando un ritmo semplice e costante che rallenta naturalmente nel tempo, e mediando il progresso del modello durante il viaggio, potevano ottenere risultati altrettanto buoni del metodo tradizionale. Questa scoperta suggerisce che gli schemi rigidi e pre-pianificati del passato non sono necessari per costruire l'intelligenza artificiale più avanzata, aprendo la porta all'addestramento di sistemi che possono apprendere continuamente man mano che nuovi dati diventano disponibili.

Il cuore del problema risiede nella natura dei dati moderni. A differenza dei dataset fissi del passato, i flussi di informazioni odierni scorrono incessantemente. Un modello potrebbe essere addestrato per una settimana, poi per un mese, o potenzialmente per anni, a seconda di quanti dati siano disponibili. Lo schema del decadimento del coseno tradizionale è "dipendente dall'orizzonte" (horizon-dependent), il che significa che deve essere sintonizzato specificamente per una durata nota. Se un ricercatore sintonizza uno schema per un ciclo di un mese ma il progetto si estende a tre mesi, le prestazioni del modello ne risentono perché il tasso di apprendimento è stato progettato per rallentare troppo presto. I ricercatori si sono posti l'obiettivo di trovare un'alternativa "indipendente dall'orizzonte" (horizon-free), un metodo che funzioni bene indipendentemente dal fatto che l'addestramento si fermi domani o l'anno prossimo. Hanno proposto che, invece di una curva complessa, uno schema semplice che decada lentamente nel tempo, combinato con una tecnica chiamata media dei pesi (weight averaging), potrebbe risolvere questo problema. La media dei pesi è un processo in cui il modello finale non è solo l'ultima versione creata, ma una miscela di molte versioni avvenute durante l'intero processo di addestramento, smussando il rumore e stabilizzando il risultato.

Per testare questa idea, il team si è rivolto prima alla teoria matematica. Hanno analizzato il comportamento di un modello semplificato di apprendimento, utilizzando la regressione lineare su dati che imitano i complessi pattern tipici del linguaggio. La loro analisi ha mostrato che per certi tipi di dati, un tasso di apprendimento che diminuisce lentamente nel tempo, specificamente seguendo un pattern in cui il tasso scende con l'aumentare della radice quadrata del tempo, è teoricamente ottimale. Fondamentalmente, hanno dimostrato che quando questo specifico decadimento è abbinato alla media dei pesi, il metodo raggiunge la migliore velocità di apprendimento possibile senza dover conoscere il tempo totale di addestramento in anticipo. Questa scoperta teorica ha fornito una solida base, suggerendo che un approccio semplice e costante potrebbe superare curve complesse e pre-pianificate in un contesto aperto.

I ricercatori sono poi passati dalla teoria alla pratica, addestrando grandi modelli linguistici con 150 milioni e 300 milioni di parametri. Hanno addestrato questi modelli su un enorme dataset di testo, spingendoli ad apprendere fino a 32 volte la quantità di dati tipicamente utilizzata per modelli delle loro dimensioni. Questa scala è significativa perché rispecchia le condizioni in cui vengono costruiti i sistemi di IA più avanzati al mondo. Hanno confrontato i loro nuovi schemi indipendenti dall'orizzonte con lo standard del decadimento del coseno, che era stato accuratamente sintonizzato per ogni specifica durata di addestramento. I risultati sono stati sorprendenti. I nuovi metodi, che utilizzavano o un tasso di apprendimento costante con media o un tasso che decadeva lentamente con media, hanno seguito quasi perfettamente le prestazioni dei migliori schemi a decadimento del coseno sintonizzati. In tutto l'intervallo di addestramento, dai cicli brevi alle durate più lunghe possibili, i metodi indipendenti dall'orizzonte hanno raggiunto risultati finali praticamente indistinguibili dall'approccio tradizionale.

Uno degli aspetti più convincenti di questo lavoro è la sua praticità. I ricercatori hanno dimostrato che un singolo set di impostazioni, scelto all'inizio dell'addestramento, può essere utilizzato per tutta la durata di un progetto, anche se tale progetto dovesse espandersi improvvisamente. Hanno dimostrato che se un modello è sintonizzato per un punto intermedio specifico, come quattro volte la quantità standard di dati, quelle stesse impostazioni continueranno a funzionare bene man mano che l'addestramento si estende a 32 volte tale quantità. Ciò elimina la necessità di fermare e ricalibrare il modello ogni volta che l'orizzonte di addestramento cambia. Inoltre, hanno testato un popolare metodo alternativo noto come warmup-stable-decay, che cerca di imitare il meglio di entrambi i mondi mantenendo il tasso costante per la maggior parte dell'addestramento e poi applicando il decadimento alla fine. Sebbene questo metodo abbia funzionato bene, richiedeva comunque di sapere quando iniziare la fase di decadimento, rendendolo meno flessibile rispetto all'approccio realmente indipendente dall'orizzonte proposto dagli autori.

Lo studio ha anche esplorato come questi metodi si comportano quando i dati di addestramento sono molto grandi, uno scenario in cui il rumore nel processo di apprendimento è naturalmente più basso. In queste condizioni, i ricercatori hanno scoperto che il tasso di apprendimento non aveva bisogno di decadere affatto. Un tasso di apprendimento costante, combinato con la media dei pesi, era sufficiente per raggiungere prestazioni elevate. Ciò si allinea con la loro previsione teorica secondo cui, quando la varianza, o rumore, nei dati è piccola, il modello beneficia maggiormente del mantenimento di un ritmo costante per ridurre il bias, o errore, piuttosto che rallentare. Questa intuizione suggerisce che man mano che la potenza di calcolo cresce e i modelli possono elaborare batch di dati più grandi, la necessità di schemi di decadimento complessi potrebbe diminuire del tutto, sostituita da strategie più semplici e robuste.

In definitiva, questa ricerca fornisce una chiara strada per il futuro dell'addestramento dell'intelligenza artificiale. Suggerisce che gli schemi rigidi e pre-calcolati che hanno dominato il campo per anni non sono l'unico modo, o forse nemmeno il migliore, per addestrare i modelli in un'era di dati continui. Dimostrando che schemi semplici, indipendenti dall'orizzonte e combinati con la media dei pesi, possono eguagliare le prestazioni dei metodi tradizionali più accuratamente sintonizzati, gli autori hanno offerto una soluzione pratica per l'apprendimento aperto. Questo approccio permette ai modelli di adattarsi a qualsiasi quantità di dati sia disponibile, rendendo il processo di addestramento più flessibile ed efficiente. Le scoperte indicano che il futuro dell'addestramento dei grandi modelli linguistici potrebbe non risiedere in algoritmi di programmazione più complessi, ma in strategie più semplici e resilienti che possano apprendere continuamente senza una fine predeterminata.

Sintesi Tecnica: Pretraining Anytime con Programmazi del Tasso di Apprendimento Indipendenti dall'Orizzonte

Definizione del Problema

I grandi modelli linguistici (LLM) sono sempre più addestrati in contesti continui o aperti dove l'orizzonte totale di addestramento (il numero totale di token da elaborare) non è noto in anticipo. Nonostante questo cambiamento, le ricette standard di pretraining si affidano a programmazi del tasso di apprendimento (learning rate schedules) dipendenti dall'orizzonte, in particolare il decadimento del coseno (cosine decay). Il decadimento del coseno richiede di conoscere preventivamente la lunghezza totale di addestramento $N$ per definire la curva di decadimento, rendendolo inadatto a scenari in cui i dati arrivano continuamente o i budget di addestramento vengono estesi dinamicamente.

Le alternative esistenti "quasi-anytime", come il programma Warmup-Stable-Decay (WSD), riducono questa dipendenza ma richiedono comunque un carico di lavoro aggiuntivo (salvataggio di checkpoint a intervalli specifici) e una ricalibrazione o un nuovo decadimento quando l'addestramento viene esteso, il che introduce costi computazionali e rompe la proprietà "anytime". La sfida centrale è identificare un programma del tasso di apprendimento che:

Non dipenda dall'orizzonte di addestramento $N$ .
Raggiunga prestazioni competitive (seguendo l'inviluppo del coseno) in ogni checkpoint intermedio $T < N$ senza conoscere preventivamente $N$ .

Metodologia

Analisi Teorica

Gli autori forniscono un'analisi teorica utilizzando la regressione lineare sovraparametrizzata su dati gaussiani con spettri a legge di potenza (power-law). Questo funge da proxy per il pretraining degli LLM.

Configurazione: Lo studio considera la discesa del gradiente stocastico (SGD) con media degli iterati (weight averaging) su una funzione di perdita quadratica. La matrice di covarianza dei dati $H$ e il vettore target $w^*$ seguono distribuzioni a legge di potenza caratterizzate da un esponente di capacità $a$ (decadimento degli autovalori $\lambda_k \sim k^{-a}$ ) e un esponente di sorgente $b$ (decadimento delle coordinate del target $(w^*_k)^2 \sim k^{-b}$ ).
Insight Chiave: Gli autori analizzano la decomposizione bias-varianza del rischio. Dimostrano che, sebbene i tassi di apprendimento costanti con media possano essere ottimali in certi regimi ( $b \le a$ ), essi spesso richiedono una scalatura dipendente dall'orizzonte per $b > a$ .
Programma Proposto: Il paper deriva che un programma del tasso di apprendimento polinomiale della forma $\eta_t = \eta / t^\gamma$ $η_{t} = η / t^{γ}$ , combinato con la media degli iterati (specificamente l'Exponential Moving Average, EMA), può raggiungere tassi di convergenza minimax ottimali senza conoscere $N$ $N$ .
- Per il regime $1 < a < b \le 2a$ , l'esponente di decadimento ottimale è derivato come $\gamma^* = 1 - a/b$ .
- Un caso speciale notevole è $\gamma = 1/2$ (ovvero $1/\sqrt{t}$ ), che si è dimostrato ottimale in termini di "anytime" fino a fattori logaritmici e costanti sotto specifiche condizioni spettrali.
Media dei Pesi (Weight Averaging): L'analisi evidenzia che la media dei pesi è centrale per raggiungere questi tassi. Senza la media, la SGD standard con decadimento polinomiale spesso non riesce a raggiungere i tassi ottimali nell'ambito della regressione lineare.

Valutazione Empirica

I prescrizioni teoriche sono testate sotto stress sul pretraining di LLM utilizzando il codebase OLMo.

Modelli: Sono stati addestrati due modelli: da 150M e 300M di parametri.
Scala: L'addestramento è stato condotto fino a 32 $\times$ il conteggio di token Chinchilla-ottimale per il modello da 150M e 16 $\times$ per quello da 300M.
Baseline:
- Inviluppo del Coseno (Cosine Envelope): Una baseline "gold standard" costruita ottimizzando indipendentemente un programma del coseno per ogni potenza di 2 dell'orizzonte (da 1 $\times$ a -32 $\times$ ) e prendendo la migliore perdita di validazione in ogni punto.
- WSD: Il programma Warmup-Stable-Decay, implementato salvando i checkpoint al 90% degli orizzonti target e applicando il decadimento per il 10% finale.
Candidati:
- Costante LR + EMA: Un tasso di apprendimento fisso con una finestra EMA che cresce proporzionalmente al tempo ( $f=25$ ).
- $1/\sqrt{t}$ + EMA: Un programma a decadimento polinomiale $\eta_t = \eta \sqrt{\alpha/(t+\alpha)}$ con EMA.
Protocollo: Gli autori valutano se una singola configurazione fissa (iperparametri scelti una sola volta) possa seguire l'inviluppo del coseno in tutti gli checkpoint intermedi, invece di richiedere una nuova ottimizzazione per ogni orizzonte.

Contributi Chiave

Derivazione Teorica di Programmi Anytime: Il paper dimostra che, per la regressione lineare con dati a legge di potenza, un programma del tasso di apprendimento della forma $1/t^\gamma$ combinato con la media degli iterati raggiunge tassi minimax ottimali senza dipendenza dall'orizzonte di addestramento. In particolare, stabilisce l'ottimalità di $\gamma$ come funzione degli esponenti di sorgente e di capacità ( $a$ e $b$ ).
Ruolo della Media dei Pesi: Il lavoro evidenzia che la media dei pesi (model merging) non è solo un'euristica per la generalizzazione, ma una necessità teorica per raggiungere tassi di convergenza ottimali con programmi indipendenti dall'orozonte in contesti sovraparametrizzati.
Validazione Empirica su Larga Scala: Gli autori dimostrano che programmi semplici e indipendenti dall'orizzonte (Constant LR + EMA e $1/\sqrt{t}$ + EMA) possono seguire le prestazioni di un inviluppo del coseno accuratamente ottimizzato attraverso un enorme intervallo di addestramento (fino a 32 $\times$ Chinchilla) utilizzando una singola configurazione di iperparametri.
Trasferibilità Prospettica: Lo studio mostra che gli iperparametri ottimizzati a un checkpoint intermedio (ad esempio, 4 $\times$ Chinchilla) possono trasferirsi con successo a sessioni di addestramento significativamente più lunghe (fino a 32 $\times$ ) senza necessità di ri-ottimizzazione, offrendo un protocollo pratico per l'addestramento aperto.

Risultati

Performance vs Coseno: Nell'intero intervallo di addestramento (da 1 $\times$ a 32 $\times$ ), i programmi proposti (Constant + EMA e $1/\sqrt{t}$ + EMA) raggiungono perdite di validazione comparabili all'inviluppo del coseno ottimizzato indipendentemente. Il divario è minimo (spesso entro 0,005 unità di perdita di validazione).
Successo della Singola Traiettoria: A differenza del decadimento del coseno, che richiede la ri-ottimizzazione per diversi orizzonti per evitare prestazioni subottimali nei passaggi intermedi, un singolo percorso degli programmi anytime segue efficacemente l'inviluppo del coseno.
Regime a Grandi Batch: In un esperimento con batch di grandi dimensioni (Batch Size 4096), dove il rumore del gradiente è soppresso, il tasso di apprendimento costante con media ha superato il decadimento del coseno e il programma $1/\sqrt{t}$ . Ciò è in linea con la previsione teorica secondo cui, quando la varianza è bassa, il decadimento non è necessario e un tasso costante maggiore accelera la riduzione del bias.
Confronto con WSD: Il programma WSD mostra prestazioni comparabili a quelle del coseno e dei programmi anytime proposti. Tuttavia, WSD non è strettamente indipendente dall'orizzonte poiché richiede il salvataggio di checkpoint al 90% della corsa per avviare la fase di decadimento, mentre i metodi proposti non richiedono tale intervento.

Significatività e Rivendicazioni

Il paper sostiene che la media dei pesi combinata con semplici step size indipendenti dall'orizzonte offre un'alternativa pratica ed efficace ai programmi del tasso di apprendimento del coseno per il pretraining di grandi modelli linguistici.

Praticità: Il metodo proposto elimina la necessità di conoscere in anticipo il budget totale di addestramento, facilitando un addestramento veramente continuo e aperto.
Semplicità: I programmi sono computazionalmente meno onerosi rispetto a WSD (nessun overhead di checkpointing per l'iniziazione del decadimento) e più facili da implementare rispetto all'annealing del coseno dipendente dall'orizzonte.
Fondamento Teorico: Il successo empirico è supportato da un'analisi teorica rigorosa nel regime della regressione lineare, suggerendo che i benefici di questi programmi non siano meri artefatti empirici ma derivino da proprietà fondamentali di ottimizzazione in contesti sovraparametrizzati.

Gli autori mantengono un tono modesto, osservando che i loro limiti teorici corrispondono ai tassi minimax solo a meno di costanti e fattori logaritmici, e che le loro conclusioni empiriche sono attualmente limitate a specifiche dimensioni di modello (150M/300M) e ottimizzatori (AdamW senza weight decay). Identificano come lavoro futuro la comprensione di come selezionare automaticamente il punto di ottimizzazione (ad esempio, 4 $\times$ Chinchilla) ed estendere queste scoperte a scale maggiori e diversi ottimizzatori.