📊 statistics

On the Optimizer Dependence of Neural Scaling Laws

Questo articolo dimostra che l'esponente di scalatura nelle leggi di scalatura delle reti neurali non è una costante fissa ma dipende sistematicamente dall'ottimizzatore, con i metodi precondizionati che producono guadagni di prestazioni significativamente più ripidi rispetto alla discesa del gradiente standard, in particolare in condizioni spettrali caratteristiche del linguaggio naturale.

Autori originali: Vansh Ramani, Shourya Vir Jain

Pubblicato 2026-05-29

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Vansh Ramani, Shourya Vir Jain

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

L'Idea Principale: Non Si Tratta Solo di Dimensione, Ma di Come Si Impara

Immagina di dover imparare una quantità enorme di informazioni (come leggere ogni libro di una biblioteca). Nel mondo dell'Intelligenza Artificiale (AI), esiste una regola chiamata Legge di Scaling. Questa regola afferma: "Se ingrandisci il cervello della tua AI (aggiungendo più neuroni), diventa più intelligente, ma il grado di miglioramento segue una curva specifica e prevedibile."

Per molto tempo, gli scienziati hanno pensato che questa curva fosse fissa. Credevano che se raddoppiassi la dimensione dell'AI, otterresti una quantità specifica e immutabile di miglioramento, indipendentemente dallo strumento utilizzato per insegnarle.

Questo documento afferma: "In realtà, lo strumento che usi per insegnare all'AI modifica la curva."

Lo "strumento" è chiamato ottimizzatore. Pensa all'ottimizzatore come all'insegnante o al metodo di studio. Il documento sostiene che alcuni insegnanti sono così bravi nell'organizzare il processo di apprendimento che non si limitano a far imparare all'AI più velocemente; in realtà cambiano la matematica fondamentale di quanto l'AI migliora man mano che diventa più grande.

L'Analogia: La Biblioteca e il Bibliotecario

Per comprendere le scoperte del documento, utilizziamo un'analogia con una Biblioteca e un Bibliotecario.

1. La Biblioteca (I Dati)

Immagina che i dati che l'AI deve imparare siano una biblioteca.

La Biblioteca "Ripida": La maggior parte dei libri riguarda un argomento popolare (come "Come fare il pane"), e pochissimi libri trattano argomenti oscuri (come "L'agricoltura delle muffe nel XVIII secolo"). Nel mondo reale, questo è simile al linguaggio: poche parole sono usate costantemente, mentre milioni sono usate raramente. Questo è chiamato spettro ripido.
La Biblioteca "Piana": Ogni argomento ha esattamente lo stesso numero di libri. Questo è raro in natura ma facile da immaginare.

2. Lo Studente (Il Modello AI)

L'AI è uno studente che cerca di leggere questi libri per superare un esame. Lo studente ha una quantità limitata di tempo (potenza di calcolo) e una memoria limitata (dimensione del modello).

3. Gli Insegnanti (Gli Ottimizzatori)

È qui che il documento diventa interessante. Gli autori hanno testato diversi "insegnanti" (ottimizzatori) per vedere come aiutano lo studente ad imparare.

Insegnante A (Discesa del Gradiente Standard / GD): Questo insegnante è come uno studente che legge la biblioteca in ordine. Legge prima i libri popolari sul "pane" perché sono facili da trovare. Quando arriva ai libri sull'"agricoltura delle muffe", il tempo è scaduto.
- Risultato: Diventa bravo nel pane, ma terribile nelle muffe. Man mano che la biblioteca cresce, si blocca sulle cose popolari e ignora il resto. La sua curva di miglioramento si appiattisce rapidamente.
Insegnante B (Ottimizzatori Precondizionati come Muon/Full NG): Questo insegnante è un organizzatore geniale. Si rende conto che, anche se i libri sulle "muffe" sono rari, sono comunque importanti. Usa una mappa speciale (chiamata precondizionatore) per rendere i libri sulle "muffe" facili da raggiungere quanto quelli sul "pane". Costringe lo studente a imparare tutto in modo uniforme.
- Risultato: Lo studente impara un po' di tutto. Poiché non spreca tempo solo sulle cose popolari, diventa molto più intelligente man mano che la biblioteca cresce.

La Scoperta Chiave: Il "Moltiplicatore Magico"

Il documento ha condotto esperimenti informatici (utilizzando un modello matematico semplificato chiamato "regressione a caratteristiche casuali") per misurare esattamente quanto gli studenti diventavano più intelligenti.

Hanno scoperto che quando la biblioteca ha uno spettro ripido (come il linguaggio umano reale, dove poche cose sono molto comuni e molte sono rare):

Insegnante A (Standard) va incontro a un muro. Lo studente smette di migliorare significativamente dopo una certa dimensione.
Insegnante B (Avanzato) continua a salire. Lo studente diventa significativamente più intelligente ad ogni passo in avanti nella dimensione.

Il Numero "Magico":
Il documento ha misurato un numero chiamato $\alpha$ (alfa). Questo numero rappresenta il "tasso di miglioramento".

Per l'insegnante standard, $\alpha$ era basso (circa 0,12).
Per l'insegnante avanzato, $\alpha$ era molto più alto (circa 0,31).

Perché è importante?
Poiché questi numeri sono esponenti, una piccola differenza crea un divario enorme nel tempo.

Se raddoppi la dimensione dell'AI con l'insegnante standard, ottieni un piccolo aumento.
Se raddoppi la dimensione con l'insegnante avanzato, ottieni un aumento 2,6 volte più grande.
Se continui a raddoppiare la dimensione, l'insegnante avanzato si distacca sempre di più. È come l'interesse composto: il vantaggio cresce ad ogni passo.

Il Rovescio della Medaglia: Dipende dalla Biblioteca

Il documento ha anche scoperto una condizione cruciale: Questo vantaggio si verifica solo se la biblioteca è "ripida".

Se la biblioteca è ripida (come il linguaggio reale): L'insegnante avanzato è un game-changer. Corregge lo squilibrio e permette all'AI di imparare in modo efficiente.
Se la biblioteca è piana (tutto è uguale): L'insegnante standard sta già facendo un buon lavoro perché non c'è alcuno squilibrio da correggere. L'insegnante avanzato non offre molto aiuto extra qui.

E l'AI Reale? (La "Domanda Aperta")

Gli autori sono cauti nel dire che i loro risultati provengono da un modello matematico semplificato, non da un'AI reale e gigantesca come quelle utilizzate oggi da Google o OpenAI.

Riconoscono un conflitto nel mondo reale:

Alcuni studi recenti affermano che gli insegnanti avanzati (come Muon) sono ottimi su piccola scala, ma il loro vantaggio svanisce man mano che l'AI diventa enorme.
Questo documento suggerisce che nel loro modello semplificato, il vantaggio dovrebbe continuare a crescere.

La Conclusione:
Il documento propone che il "vantaggio che svanisce" osservato nella vita reale potrebbe verificarsi perché l'AI reale impara le caratteristiche da sola (cambiando la struttura della biblioteca), mentre il loro modello assume che la biblioteca rimanga invariata.

Riepilogo per il Pubblico Generale

Il Mito: "Un'AI più grande diventa sempre più intelligente a un tasso fisso."
La Realtà: Il tasso con cui l'AI diventa più intelligente dipende fortemente dallo strumento matematico (ottimizzatore) utilizzato per addestrarla.
La Scoperta: Gli strumenti avanzati possono agire come un "equalizzatore spettrale". Impediscono all'AI di ignorare informazioni rare ma importanti, permettendole di imparare in modo molto più efficiente man mano che cresce.
La Condizione: Questo superpotere funziona meglio quando i dati sono "sbilanciati" (come il linguaggio umano). Se i dati sono perfettamente bilanciati, gli strumenti sofisticati non aiutano molto.
Il Futuro: Dobbiamo testare questo su modelli AI reali e giganteschi per vedere se il "moltiplicatore magico" resiste o se svanisce man mano che i modelli diventano massicci.

In sintesi: Scegliere l'insegnante giusto non si limita a far imparare allo studente più velocemente; cambia il limite massimo di quanto lo studente può diventare intelligente.

Sintesi Tecnica: Sulla Dipendenza degli Ottimizzatori dalle Leggi di Scaling delle Reti Neurali

Enunciato del Problema
Le leggi di scaling delle reti neurali postulano che la perdita di test $L$ diminuisca secondo una legge di potenza con la dimensione del modello $N$ ( $L(N) \propto N^{-\alpha}$ ), dove l'esponente $\alpha$ è tradizionalmente trattato come una costante fissa determinata dall'architettura e dalla distribuzione dei dati. Questa assunzione è alla base delle strategie di allocazione della potenza di calcolo per i modelli all'avanguardia. Tuttavia, recenti risultati empirici riguardanti gli ottimizzatori del secondo ordine (ad es. Muon, SOAP, Shampoo) presentano evidenze conflittuali: alcuni suggeriscono significativi guadagni di velocità di calcolo rispetto ad AdamW, mentre altri indicano che tali guadagni si attenuano all'aumentare della dimensione del modello. Questo articolo indaga una domanda fondamentale: gli ottimizzatori avanzati migliorano semplicemente il fattore costante della legge di scaling, o alterano fondamentalmente lo stesso esponente di scaling $\alpha$ ? Se $\alpha$ cambia, le implicazioni per le previsioni di scaling sono profonde, poiché le variazioni dell'esponente si cumulano con ogni raddoppio della dimensione del modello, mentre i miglioramenti del fattore costante non lo fanno.

Metodologia
Gli autori indagano questa domanda all'interno del framework di regressione a caratteristiche casuali (Maloney et al., 2022; Bordelon et al., 2024). Questo setting teorico isola l'interazione tra la struttura spettrale dei dati, la precondizionamento dell'ottimizzatore e la capacità del modello fissando i pesi delle caratteristiche e allenando solo i pesi lineari dello strato superiore.

Setup Sperimentale: Lo studio simula compiti di regressione con input estratti da una distribuzione Gaussiana con autovalori a legge di potenza $\lambda_i \propto i^{-(1+s)}$ , dove $s$ è l'esponente spettrale. I dati del linguaggio naturale sono caratterizzati da $s \approx 0.8\text{--}1.2$ .
Varianti dell'Ottimizzatore: Cinque ottimizzatori sono implementati come precondizionatori del gradiente:
1. GD: Baseline (precondizionatore identità).
2. Diagonale: Proxy per AdamW ( $P = \text{diag}(F^\top F)^{-1/2}$ ).
3. Full NG: Proxy per Shampoo/K-FAC ( $P = (F^\top F)^{-1}$ ).
4. Sign-GD: Un controllo negativo che utilizza aggiornamenti basati sul segno.
5. Matrix-Sign: Proxy per Muon ( $P = (F^\top F)^{-1/2}$ ), che equalizza i valori singolari.
Protocollo: Gli esperimenti esplorano sei condizioni spettrali ( $s \in [0.25, 2.0]$ ) e otto dimensioni del modello ( $N \in [25, 5000]$ ). Gli esponenti di scaling $\alpha$ sono stimati tramite Minimi Quadrati Ordinari (OLS) su grafici log-log della perdita in funzione della dimensione del modello per $N \ge 200$ .

Contributi Chiave

Misurazione Sistematica: L'articolo fornisce la prima misurazione sistematica di $\alpha$ come funzione congiunta del tipo di ottimizzatore e del decadimento spettrale dei dati attraverso cinque varianti di precondizionatore.
Spiegazione Meccanicistica: Offre un'euristica spettrale (Proposizione 1) che spiega come gli ottimizzatori precondizionati equalizzino i tassi di apprendimento per modalità. Mentre la Discesa del Gradiente (GD) "spende eccessivamente" sulle modalità ad alta varianza e "spende insufficientemente" sulle modalità a bassa varianza, i precondizionatori salvano le modalità sottoutilizzate, aumentando la capacità effettiva utilizzata a una data $N$ .
Diagnostica Spettrale: Gli autori propongono una regola diagnostica: il beneficio del precondizionamento dipende dalla pendenza spettrale $s$ . Il vantaggio è trascurabile per spettri piatti ( $s < 0.3$ ) ma cresce significativamente all'aumentare di $s$ .
Predizione Falsificabile: L'articolo prevede che l'addestramento su dati con spettro artificialmente appiattito (ad es. tramite whitening) dovrebbe causare una riduzione o la scomparsa del vantaggio di ottimizzatori avanzati come Muon.

Risultati

Dipendenza di $\alpha$ dall'Ottimizzatore: Gli ottimizzatori precondizionati producono coerentemente uno scaling più ripido (maggiore $\alpha$ ) rispetto a GD. L'ordinamento è generalmente $\alpha_{\text{Full NG}} \approx \alpha_{\text{Matrix-Sign}} > \alpha_{\text{Diagonale}} > \alpha_{\text{Sign-GD}} \approx \alpha_{\text{GD}}$ .
Dipendenza Spettrale: Il divario $\Delta \alpha = \alpha_{\text{precond}} - \alpha_{\text{GD}}$ $Δ α = α_{precond} - α_{GD}$ aumenta con l'esponente spettrale $s$ $s$ .
- A $s \approx 1.0$ (caratteristico del linguaggio naturale), il Gradiente Naturale Completo ottiene $\alpha \approx 0.31$ contro $\alpha \approx 0.12$ per GD, rappresentando un esponente stimato 2,6 volte maggiore.
- A $s \approx 0.5$ , le curve sono quasi parallele e il vantaggio si riduce.
- A $s \approx 2.0$ , l'esponente di GD collassa vicino allo zero ( $\alpha \approx 0.01$ ), mentre gli ottimizzatori precondizionati degradano in modo graduale ( $\alpha \approx 0.20$ ).
Moltiplicatori di Calcolo: Traducendo lo spostamento di $\alpha$ in un moltiplicatore di calcolo efficace, il modello a caratteristiche casuali prevede un vantaggio sostanziale equivalente ai parametri per forti precondizionatori a $s \approx 1.0$ . Ciò si allinea direzionalmente con recenti rapporti empirici di guadagni di velocità di calcolo di circa $1.4\times$ per Muon rispetto ad AdamW a scale moderate (Chen et al., 2025).

Significato e Affermazioni
L'articolo sostiene che le previsioni delle leggi di scaling devono tenere conto della scelta dell'ottimizzatore. Se gli ottimizzatori precondizionati cambiano l'esponente $\alpha$ , le previsioni calibrate sotto AdamW potrebbero sottostimare significativamente i rendimenti dello scaling per i modelli addestrati con ottimizzatori avanzati.

Tuttavia, gli autori mantengono una posizione modesta riguardo al trasferimento di questi risultati ai grandi LLM:

Limitazioni: Il modello a caratteristiche casuali opera in un regime "pigro" (caratteristiche fisse) e omette profondità, attenzione e tokenizzazione.
Decadimento con la Scala: L'articolo riconosce evidenze conflittuali (Wen et al., 2025) che suggeriscono che il vantaggio di Muon/SOAP potrebbe attenuarsi a scale molto grandi (ad es. 1,2 miliardi di parametri). Gli autori propongono che questa attenuazione possa essere dovuta a effetti di $N$ finito, all'apprendimento delle caratteristiche che mitiga naturalmente lo squilibrio spettrale, o a cambiamenti nello spettro dei dati effettivo su larga scala.
Conclusione: Il contributo principale è stabilire che l'esponente di scaling non è una costante fissa della coppia architettura/dati, ma dipende sistematicamente dall'interazione dell'ottimizzatore con lo spettro dei dati. L'articolo richiede una validazione su modelli reali per determinare se questo spostamento dell'esponente persista o si attenui nel regime "ricco" dell'apprendimento delle caratteristiche.