Riepilogo Tecnico: Scaling di ScheduleFree+ verso Apprendimento Senza Learning Rate e Senza Calendario per Modelli Linguistici di Grande Dimensione

1. Enunciato del Problema

L'ottimizzazione tradizionale nell'apprendimento automatico dipende fortemente da calendari del learning rate (ad esempio, Decadimento Lineare, Cosine, Warmup-Stable-Decay) per garantire la convergenza. Sebbene efficaci, questi metodi richiedono un'importante sintonizzazione e spesso producono curve di addestramento instabili o imprevedibili. Recenti metodi di apprendimento "Schedule-Free", che sostituiscono i calendari con una media aggressiva delle iterazioni, hanno mostrato promesse su benchmark su piccola scala, ma storicamente hanno fallito nel scalare all'addestramento di Modelli Linguistici di Grande Dimensione (LLM). Nello specifico, le precedenti implementazioni Schedule-Free hanno sofferto di:

• Divergenza a grandi dimensioni di batch: Le prestazioni si sono degradate significativamente man mano che le dimensioni del batch aumentavano oltre i limiti su piccola scala.
• Deriva della norma del gradiente: Il metodo richiedeva valori di decadimento dei pesi insolitamente piccoli per funzionare, portando a norme dei pesi instabili e prestazioni scadenti negli addestramenti di lunga durata.
• Convergenza subottimale nelle esecuzioni lunghe: Il metodo non sfruttava appieno i benefici della media su orizzonti di addestramento estesi (ad esempio, 1000 token per parametro).

Il lavoro affronta la sfida di scalare l'Apprendimento Schedule-Free per eguagliare o superare le prestazioni dei metodi basati su calendari all'avanguardia (SOTA) per il preaddestramento degli LLM, mirando a una procedura di addestramento stabile, "anytime", che non richieda sintonizzazione del learning rate.

2. Metodologia: ScheduleFree+

Gli autori propongono ScheduleFree+, un metodo composito che integra diverse modifiche specifiche all'algoritmo Schedule-Free di base per renderlo robusto per gli LLM. I componenti principali sono:

A. Reintroduzione della Momentum Interna

Mentre il lavoro originale Schedule-Free rimuoveva la momentum interna (ad esempio, $\beta_1$ di Adam) per risparmiare memoria, gli autori hanno rilevato che ciò era dannoso per grandi dimensioni di batch.

• Rimedio: Reintrodurre la momentum interna (ad esempio, $\beta_1 = 0.75$ o $0.9$) nell'ottimizzatore di base.
• Effetto: Questo ripristina la robustezza a dimensioni di batch più grandi e consente learning rate più elevati senza divergenza, affrontando il "precipizio di scalabilità" osservato nello Schedule-Free AdamW standard.

B. Ponderazione Inversa della Norma del Gradiente (Dimensione del Passo di Polyak)

L'apprendimento Schedule-Free standard richiedeva spesso un decadimento dei pesi piccolo per compensare l'aumento delle norme dei gradienti, causando instabilità. Gli autori derivano una correzione teorica basata sulla dimensione del passo di Polyak.

• Meccanismo: La dimensione del passo $\gamma_t$ è scalata inversamente proporzionale alla norma L1 del gradiente ($\gamma_t \propto 1/\|g_t\|_1$).
• Implementazione: Viene utilizzata una Media Mobile Esponenziale (EMA) della norma L1 del gradiente per stimare il denominatore, approssimando la ponderazione ottimale derivata dai limiti di rimorso convesso.
• Risultato: Questa correzione contrasta la deriva del learning rate effettivo causata dai livelli di normalizzazione, permettendo l'uso di valori di decadimento dei pesi standard e più grandi (ad esempio, 0.05–0.5) che stabilizzano le norme dei pesi e prevengono il fenomeno della "norma dei pesi in contrazione" che destabilizza le esecuzioni lunghe.

C. Ottimizzazione Senza Learning Rate tramite Passo di Polyak

Sulla base della ponderazione inversa del gradiente, gli autori implementano una variante completamente priva di learning rate utilizzando una dimensione del passo di Polyak modificata:
$$\gamma_t = \frac{f(y_t) - f^* + \beta \langle \nabla f(y_t), z_t - x_t \rangle}{\sqrt{\pi/2} \| \nabla f(y_t) \|_1}$$

• Stabilità: Il numeratore utilizza una stima del gap del valore della funzione ($f(z_t) - f^*$) piuttosto che l'iterazione corrente rumorosa, e il denominatore utilizza la norma L1 livellata. Questo evita i problemi di denominatore che svanisce comuni nei passi di Polyak stocastici.
• Adattività: Questo approccio scala automaticamente il learning rate con la dimensione del batch (seguendo la scalatura $\sqrt{b}$ per AdamW) ed elimina la necessità di ricerche manuali su griglia del learning rate.

D. Strategie di Warm-Start e Annealing

• C-Warmup: Per impedire che il buffer di media diluisca le fasi iniziali di rapida convergenza, gli autori ritardano l'aggiornamento della media ($c_t = 1$) per un periodo iniziale (ad esempio, $2\times$ la durata del warmup del learning rate).
• Annealing di Beta: Il parametro di interpolazione $\beta$ (che mescola l'iterazione corrente $z_t$ e la media $x_t$) viene annealato da un valore inferiore (ad esempio, 0.9) a un valore superiore (ad esempio, 0.965) durante l'esecuzione dell'addestramento. Questo cattura una rapida convergenza iniziale ottimizzando al contempo la riduzione della perdita a lungo termine.
• Media Ponderata ($r=1$): Per esecuzioni lunghe, i pesi di media sono impostati a $r=1$ (pesi che aumentano linearmente) invece del valore predefinito $r=0$, il che accelera la convergenza per problemi non fortemente convessi.

3. Risultati Chiave

Gli autori hanno condotto estesi esperimenti di scalabilità su LLM che vanno da 120M a 1 miliardo di parametri, addestrati fino a 1000 token per parametro.

• Addestramento di Lunga Durata (1000 TPP): A questa scala, ScheduleFree+ supera significativamente sia i calendari Warmup-Stable-Decay (WSD) che i calendari a Decadimento Lineare.
  • Efficienza: Raggiunge la stessa perdita finale di un calendario a Decadimento Lineare in 31% di tempo di addestramento in meno (una riduzione del 45% dei token richiesti per raggiungere la perdita target).
  • Stabilità: Il metodo produce curve di perdita lisce e prevedibili che seguono un tasso di decadimento teorico $1/\sqrt{t}$, permettendo una previsione accurata della perdita finale dai dati di addestramento iniziale.
• Addestramento di Breve Durata (20–100 TPP): ScheduleFree+ supera i calendari WSD su tutte le dimensioni del modello. Rispetto al Decadimento Lineare, eguaglia o performa leggermente peggio su orizzonti molto brevi (20 TPP) a causa del tempo necessario per raggiungere uno stato stazionario, ma in generale si comporta in modo competitivo.
• Scalabilità della Dimensione del Batch: Con la momentum interna, ScheduleFree+ scala robustamente a dimensioni di batch di 8M, eguagliando le prestazioni dell'AdamW standard con Decadimento Lineare.
• Stabilità della Norma dei Pesi: Utilizzando la dimensione del passo di Polyak e un decadimento dei pesi più grande, il metodo mantiene norme dei pesi stabili, evitando le problematiche di divergenza e quantizzazione associate ai piccoli valori di decadimento dei pesi richiesti dai metodi Schedule-Free non modificati.

4. Significato e Affermazioni

Il lavoro afferma che ScheduleFree+ fornisce una base teorica per la media dei modelli e la fusione dei checkpoint durante il preaddestramento, colmando il divario tra ottimizzazione online e "model souping" offline.

• Addestramento Anytime: A differenza dei calendari WSD, che richiedono una fase specifica di annealing alla fine dell'addestramento per realizzare i guadagni, ScheduleFree+ offre una vera capacità "anytime". Il modello è utilizzabile e ottimale in qualsiasi punto di arresto senza una fase di decadimento dedicata.
• Eliminazione della Sintonizzazione: Il metodo rimuove la necessità di ricerche su griglia del learning rate, affidandosi invece alla dimensione del passo di Polyak e alla ponderazione inversa del gradiente per adattarsi automaticamente alla dimensione del batch e alla durata dell'addestramento.
• Prevedibilità: Gli autori sostengono che le curve di perdita dell'Apprendimento Schedule-Free non sono solo empiricamente stabili ma teoricamente fondate, seguendo da vicino il tasso di convergenza $1/\sqrt{t}$ previsto dalla teoria dell'ottimizzazione convessa, anche nel contesto non convesso degli LLM.

In sintesi, il lavoro dimostra che con modifiche specifiche—momentum interna, ponderazione inversa del gradiente e annealing adattivo—l'Apprendimento Schedule-Free può essere scalato per diventare un'alternativa superiore, stabile e priva di sintonizzazione ai tradizionali calendari del learning rate per l'addestramento di Modelli Linguistici di Grande Dimensione.