🤖 machine learning

Learning Rate Transfer in Normalized Transformers

Questo articolo introduce $\nu$ GPT, una nuova parametrizzazione del Transformer Normalizzato che sfrutta gli esponenti di allineamento per ottenere il trasferimento del tasso di apprendimento attraverso larghezza, profondità e orizzonte dei token, affrontando una limitazione chiave dell'originale nGPT.

Autori originali: Boris Shigida, Boris Hanin, Andrey Gromov

Pubblicato 2026-05-01

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Boris Shigida, Boris Hanin, Andrey Gromov

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il quadro generale: Il problema "Porcellino d'oro"

Immagina di dover cuocere una torta gigante (un modello AI massiccio). Hai una ricetta per una piccola cupcake (un modello minuscolo). Sai esattamente quanto zucchero e calore (iperparametri come il tasso di apprendimento) funzionano per la cupcake.

Il problema? Se raddoppi semplicemente gli ingredienti alla cieca per una torta più grande, potrebbe bruciarsi o rimanere cruda. Nell'IA, quando i ricercatori rendono i modelli più grandi (più ampi o più profondi), le impostazioni "perfette" per il modello piccolo solitamente smettono di funzionare per quello grande. Devi ricominciare da capo e indovinare le nuove impostazioni, il che è lento e costoso.

Questo paper introduce un nuovo modo per cuocere queste "torte" (chiamati modelli nGPT) in modo che le impostazioni che trovi per un modello piccolo funzionino perfettamente per uno gigante senza bisogno di ulteriori indovinelli. Chiamano questa nuova ricetta νGPT (pronunciato "nu-GPT").

Gli ingredienti: Cos'è nGPT?

Innanzitutto, gli autori stanno lavorando con un tipo specifico di IA chiamato nGPT (Normalized Transformer).

Il vecchio modo: I modelli AI tradizionali sono come un'auto con un motore molto sensibile. Se premi troppo forte l'acceleratore (tasso di apprendimento alto), il motore esplode. Se premi troppo piano, non va da nessuna parte. Per mantenerlo al sicuro, hai bisogno di un "freno" chiamato decadimento dei pesi e devi "riscaldare" il motore lentamente prima di guidare veloce.
Il modo nGPT: Il modello nGPT è come un'auto con una sospensione auto-stabilizzante. Mantiene naturalmente la sua velocità e il suo equilibrio sotto controllo. Grazie a questo, non ha bisogno dei "freni" (decadimento dei pesi) o del "riscaldamento". Si allena più velocemente ed è più efficiente.

Il rovescio della medaglia: Anche se nGPT è ottimo, gli autori hanno scoperto che le sue "impostazioni di velocità" (tassi di apprendimento) non si trasferivano comunque bene. Se sintonizzavi la velocità per un piccolo nGPT e poi provavi a usare le stesse impostazioni per un enorme nGPT, quello grande si sarebbe comportato male.

La soluzione: La ricetta νGPT

Gli autori hanno creato νGPT. Pensala come un nuovo set di istruzioni su come scalare i tuoi ingredienti in base alla dimensione della torta.

Hanno scoperto tre regole specifiche per rendere che le impostazioni si "trasferiscano" perfettamente:

1. La regola dell'orizzonte dei token (La regola della "Distanza")

Il concetto: Immagina di addestrare un cane. Se lo porti a passeggio solo per 10 minuti, puoi correre veloce. Se hai intenzione di portarlo a passeggio per 10 ore, devi iniziare più lentamente così non si esaurisce.
La scoperta: Il paper ha scoperto che mentre l'IA "cammina" più a lungo (elaborando più token di dati), il tasso di apprendimento non dovrebbe diminuire velocemente come si pensava. Invece di cadere come una pietra pesante, dovrebbe scendere come una piuma che fluttua.
La matematica: Hanno scoperto che la velocità dovrebbe diminuire secondo la radice cubica del tempo percorso (specificamente, potenza $1/3$ ), non la radice quadrata ( $1/2$ ) suggerita da altre teorie.

2. La regola della larghezza (La regola della "Dimensione della squadra")

Il concetto: Immagina un coro. Se raddoppi il numero di cantanti (larghezza), il suono diventa più forte. Se non aggiusti il volume del direttore (tasso di apprendimento), il coro potrebbe diventare troppo forte e distorcersi, o troppo debole per essere udito.
La scoperta: Gli autori hanno realizzato che in questi modelli specifici, le "voci" (attivazioni) e i "cantanti" (pesi) non sono allineati perfettamente. Sono parzialmente allineati.
La correzione: Hanno aggiustato il tasso di apprendimento per le parti nascoste del modello in modo che diminuisse di una quantità specifica (potenza $3/4$ ) man mano che il modello diventava più ampio. Questo è diverso dalle teorie precedenti (come $\mu$ P) che assumevano che le voci e i cantanti fossero perfettamente allineati. Assumendo che siano solo parzialmente allineati, hanno trovato un "punto dolce" che funziona meglio.

3. La regola della profondità (La regola del "Livello")

Il concetto: Immagina una staffetta. Se aggiungi più corridori (livelli) alla squadra, il testimone passa più velocemente o più lentamente?
La scoperta: Sorprendentemente, per questo tipo specifico di modello, il tasso di apprendimento per i livelli nascosti non ha bisogno di cambiare molto mentre aggiungi più livelli. Il modello è naturalmente stabile. Tuttavia, hanno scoperto che le impostazioni di "partenza" (inizializzazione) per il primo e l'ultimo livello hanno bisogno di una piccola modifica per mantenere la gara fluida.

I risultati: Perché è importante

Gli autori hanno testato questa nuova ricetta νGPT contro quella vecchia.

Il vecchio modo (nGPT): Quando rendevano il modello più grande, la curva delle prestazioni era disordinata. Il "migliore" tasso di apprendimento per un modello piccolo era il "peggiore" per un modello grande.
Il nuovo modo (νGPT): Quando rendevano il modello più grande, la curva delle prestazioni era perfetta. Il tasso di apprendimento che funzionava per il modello piccolo funzionava per il modello grande, e il modello più grande si comportava altrettanto bene (o leggermente meglio) rispetto a se lo avessero sintonizzato da zero.

Analogia di sintesi

Pensa al tasso di apprendimento come al manopola del volume su una radio.

Vecchia teoria: "Se compri un altoparlante più grande (modello più ampio), devi abbassare la manopola del volume della metà."
La scoperta del paper: "In realtà, a causa del modo in cui funziona questo specifico altoparlante, devi abbassare la manopola del volume solo di una quantità specifica e calcolata (la regola $3/4$ ) per ottenere il suono perfetto. Se segui questa regola, puoi comprare un altoparlante 100 volte più grande, e la stessa impostazione del volume suonerà perfetta."

Cosa NON hanno affermato

Non hanno detto che questo rende l'IA più intelligente o capace di fare cose nuove (come curare malattie).
Non hanno detto che questo funziona per ogni tipo di modello AI (è specifico per i Normalized Transformers/nGPT).
Non hanno affermato che questo elimina la necessità di sintonizzazione interamente; significa solo che puoi sintonizzare un modello piccolo e fidarti che funzionerà per uno grande.

In breve: Il paper fornisce una "guida di traduzione" matematica che permette agli ingegneri di prendere le impostazioni da un'IA piccola e veloce e applicarle a un'IA massiccia con fiducia, risparmiando tempo e potenza di calcolo.

1. Enunciazione del Problema

Il paper affronta la sfida del trasferimento degli iperparametri (HP) nei Transformers Normalizzati (nGPT), una variante dell'architettura Transformer introdotta da Loshchilov et al. (2025).

Contesto: nGPT ottiene significativi accelerazioni nell'addestramento ed elimina la necessità di decadimento dei pesi (weight decay) e di warmup del learning rate normalizzando estensivamente pesi e attivazioni (utilizzando norme $\ell_2$ invece di LayerNorm/RMSNorm).
Il Problema: Sebbene nGPT abbia iperparametri che scalano con la dimensione del modello, gli autori osservano che non esibisce trasferimento del learning rate attraverso la larghezza del modello (dimensione), la profondità (numero di livelli) e l'orizzonte dei token (iterazioni di addestramento).
Limitazioni dei Metodi Esistenti: Le tecniche di trasferimento standard come $\mu$ P (Maximal Update Parametrization) si basano su assunzioni teoriche specifiche riguardo all'allineamento di pesi e attivazioni (nello specifico, che siano completamente allineati o non allineati in modi specifici). Gli autori rilevano che queste assunzioni non valgono per nGPT, portando a prestazioni subottimali durante il scaling.

2. Metodologia

Gli autori propongono una nuova parametrizzazione chiamata $\nu$ GPT (nu-GPT). Il loro approccio combina esperimenti numerici con un quadro teorico fondato sugli esponenti di allineamento (Everett et al., 2024).

A. Quadro Teorico: Esponenti di Allineamento

Invece di assumere i regimi di "pieno allineamento" ( $\alpha=1$ ) o "nessun allineamento" ( $\alpha=1/2$ ) utilizzati in $\mu$ P, gli autori misurano empiricamente gli esponenti di allineamento ( $\alpha, \omega, \nu$ ) che descrivono come gli aggiornamenti dei pesi e le attivazioni scalano rispetto alla dimensione del modello $d_{model}$ .

Definiscono esponenti per come scala la variazione di un prodotto matrice-vettore: $\|\Delta W h\| \sim d^{\alpha} \|\Delta W\| \|h\|$ .
Risultato Chiave: In nGPT si osserva il regime di "mezzo-allineamento" (mid-alignment), dove $\max\{\alpha, \nu\} \approx 3/4$ . Questo contraddice l'assunzione di $\mu$ P secondo cui $\max\{\alpha, \nu\} = 1$ (pieno allineamento) o $1/2$ (nessun allineamento).

B. La Parametrizzazione $\nu$ GPT

Basandosi sull'ipotesi di "mezzo-allineamento" ( $\max\{\alpha, \nu\} = 3/4$ ) e sulle leggi di scaling empiriche, gli autori derivano regole di scaling specifiche per i learning rate ( $\eta$ ) e i parametri di inizializzazione. Siano $m_{width}$ , $m_{depth}$ e $m_{data}$ i moltiplicatori per larghezza, profondità e conteggio dei token rispetto a un modello base.

Regole di Scaling Chiave in $\nu$ GPT:

Learning Rate Globale: Scala come $m_{data}^{-1/3}$ . Questo corregge l'orizzonte dei token, differendo dal $m_{data}^{-1/2}$ suggerito da alcune teorie SDE precedenti.
Pesi di Embedding ( $\eta_{input}$ ): Scala come $m_{width}^{-1/2}$ .
Pesi Nascosti/Unembedding ( $\eta_{hidden}, \eta_{output}$ ): Scala come $m_{width}^{-3/4}$ . Questa è la deviazione critica da $\mu$ P (che utilizza $m_{width}^{-1}$ o $m_{width}^{-1/2}$ a seconda della variante).
Correzioni per la Profondità:
- I vettori di ridimensionamento addestrabili $\alpha_{A, init}$ e $\alpha_{M, init}$ sono scalati di $m_{depth}^{-1}$ .
- A differenza di "Depth- $\mu$ P" (che scala i learning rate nascosti di $m_{depth}^{-1/2}$ ), $\nu$ GPT rileva che i learning rate nascosti non dovrebbero essere scalati con la profondità in nGPT, poiché i ridimensionatori addestrabili gestiscono naturalmente la stabilità della profondità.
Costanti di Inizializzazione: Vengono utilizzate costanti fisse (es. 0.03) per i parametri di scala ( $\alpha_{scale}$ ) invece di scalare con $d_{model}^{-1/2}$ .

3. Contributi Chiave

Identificazione del Fallimento di $\mu$ P in nGPT: Dimostrato che le assunzioni standard di $\mu$ P riguardanti l'allineamento pesi-attivazioni sono invalide per le architetture normalizzate, portando a un scarso trasferimento del learning rate.
Proposta di $\nu$ GPT: Introdotta una nuova parametrizzazione che mira esplicitamente al regime di "mezzo-allineamento" ( $\approx 3/4$ ) osservato in nGPT.
Scaling dell'Orizzonte dei Token: Stabilito che il learning rate ottimale in nGPT scala con il numero di token come $T^{-1/3}$ , affinando le precedenti previsioni teoriche di $T^{-1/2}$ .
Insight sul Trasferimento di Profondità: Mostrato che per modelli normalizzati con ridimensionatori addestrabili, uno scaling esplicito della profondità del learning rate nascosto è inutile e potenzialmente dannoso; invece, è sufficiente scalare l'inizializzazione dei ridimensionatori.

4. Risultati Sperimentali

Gli autori hanno validato $\nu$ GPT sul dataset FineWeb-Edu utilizzando il tokenizzatore OLMo 2.

Trasferimento di Larghezza:
- nGPT Baseline: Non ha mostrato trasferimento del learning rate; le prestazioni si sono degradate all'aumentare della larghezza.
- Correzioni in stile $\mu$ P: Hanno mostrato una leggera deriva nei learning rate ottimali.
- $\nu$ GPT: Ha raggiunto un trasferimento perfetto del learning rate attraverso la larghezza (da 0,26B a 3,22B parametri) senza perdita nella loss di validazione rispetto alla baseline ottimizzata.
Trasferimento di Profondità:
- nGPT baseline ha mostrato un discreto trasferimento di profondità ma è diventato instabile a profondità estreme.
- $\nu$ GPT ha mantenuto stabilità e prestazioni attraverso le profondità (da 8 a 128 livelli), mostrando una minore sensibilità alle scelte del learning rate a grandi profondità.
Trasferimento dell'Orizzonte dei Token:
- Gli esperimenti hanno confermato la legge di scaling $T^{-1/3}$ per il learning rate ottimale all'aumentare del numero di iterazioni di addestramento.
Verifica degli Esponenti di Allineamento:
- Le misurazioni empiriche hanno confermato che $\omega_{hidden} = \omega_{output} = 1/2$ e $\max\{\alpha, \nu\} \approx 0.75$ (mezzo-allineamento), validando la base teorica di $\nu$ GPT.

5. Significato

Impatto Pratico: $\nu$ GPT permette ai ricercatori di addestrare Transformers Normalizzati su larga scala semplicemente ottimizzando gli iperparametri su modelli piccoli e trasferendoli direttamente a scale massive, risparmiando risorse computazionali significative.
Avanzamento Teorico: Il paper sfida l'universalità di $\mu$ P, dimostrando che diverse scelte architetturali (nello specifico gli schemi di normalizzazione) richiedono diverse assunzioni di allineamento e leggi di scaling.
Efficienza: Rimuovendo la necessità di decadimento dei pesi e warmup, abilitando al contempo uno scaling robusto, $\nu$ GPT offre una pipeline di addestramento più snella ed efficiente per i modelli fondazionali di prossima generazione.

In sintesi, il paper fornisce una soluzione rigorosa e basata su dati empirici al problema dello scaling nei transformer normalizzati, sostituendo l'approccio "taglia unica" di $\mu$ P con una parametrizzazione su misura ( $\nu$ GPT) che rispetta le dinamiche uniche delle architetture normalizzate.