🤖 machine learning

When to use what Schatten- $p$ norm in deep learning?

Questo articolo risolve le osservazioni contrastanti sugli ottimizzatori della norma di Schatten- $p$ dimostrando che, mentre i metodi Schatten- $\infty$ come Muon eccellono in contesti ad alta dimensionalità, geometrie Schatten- $p$ più piccole sono in realtà ottimali in regimi a bassa dimensionalità come lo scaling Chinchilla, una scoperta supportata da nuovi risultati di accelerazione robusta al rumore per $p>2$ che spiegano anche l'assenza di requisito di warmup di Muon e la sua preferenza per batch grandi.

Autori originali: Thomas Pethick

Pubblicato 2026-06-16

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Thomas Pethick

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

La Grande Domanda: Quale "Righello" Dovremmo Usare?

Immagina di cercare il punto più basso in una vasta valle nebbiosa (questo è il modello AI che cerca di apprendere). Per farlo, hai bisogno di un "righello" per misurare quanto sia ripido il terreno e decidere in quale direzione fare un passo.

Nel mondo del deep learning, esistono diversi tipi di righelli, chiamati norme Schatten-p.

Schatten-2 (Euclidea): Questo è il righello standard, quello che misura la linea retta che usiamo di solito (come l'ottimizzatore chiamato Adam).
Schatten-∞ (Il righello "Muon"): Questo è un righello speciale e rigido che si preoccupa solo della singola scogliera più ripida nel paesaggio. Recentemente, un metodo chiamato Muon (che usa questo righello) è diventato molto popolare perché sembrava funzionare incredibilmente velocemente in alcuni test.
Schatten-p (I righelli "Goldilocks"): Questi sono righelli intermedi, che misurano la pendenza in un modo che non è né troppo morbido né troppo rigido.

La Confusione:
Le persone discutevano su quale righello fosse il migliore.

Alcuni dicevano: "Muon (Schatten-∞) è fantastico! È il più veloce!"
Altri dicevano: "No, Muon è sopravvalutato. I metodi standard funzionano meglio quando addestriamo su enormi quantità di dati."

La Risposta del Paper:
L'autore, Thomas Pethick, dice: "Avete ragione entrambi, ma state guardando dimensioni diverse della valle."

Il righello migliore dipende interamente dalla dimensione del problema rispetto alla quantità di dati che hai.

I Due Regimi: Piccole Pozze vs Grandi Oceani

Il paper divide il mondo in due scenari principali:

1. Il Regime "Low-Dimensional" (La Piccola Pozza)

Cos'è: Succede quando hai un modello relativamente piccolo o un ciclo di addestramento breve (come gli "speedrun" sui piccoli giochi menzionati nel paper). Il numero di passi che fai (dati) è molto più grande della complessità del modello.
L'Analogia: Immagina di camminare in un piccolo giardino ben illuminato. Puoi vedere l'intero sentiero.
Il Righello Migliore: In questo scenario, il righello Schatten-∞ (Muon) in realtà non è il migliore. Sorprendentemente, un righello con un p minore (più vicino al righello euclideo standard) è più veloce.
Perché? Perché in un piccolo giardino, non hai bisogno di essere iper-focalizzato sulla singola scogliera più ripida. Hai bisogno di un approccio più fluido e bilanciato per accelerare rapidamente. Il paper dimostra che usare un righello più "morbido" qui ti regala una spinta di velocità.

2. Il Regime "High-Dimensional" (Il Grande Oceano)

Cos'è: Questo è l'addestramento massiccio utilizzato per i grandi modelli AI (come gli LLM), dove il modello è incredibilmente complesso e i dati sono vastissimi.
L'Analogia: Immagina di navigare in un enorme oceano buio con migliaia di isole. Non puoi vedere l'intera mappa.
Il Righello Migliore: Qui, il righello Schatten-∞ (Muon) brilla. È progettato per gestire la specifica "ruvidità" di questi paesaggi massicci e complessi.
Il Problema: Per far funzionare Muon in questo grande oceano, hai bisogno di un batch size enorme (guardando una fetta molto ampia dell'oceano contemporaneamente). Se provi a usare Muon con un batch size piccolo in questo regime, fallisce.

Il Segreto del "Batch Size"

Una delle scoperte chiave del paper riguarda il Batch Size (quanti esempi l'AI guarda prima di compiere un passo).

La Regola: Il paper deriva una regola matematica che mostra come, al variare del righello (da $p=2$ a $p=\infty$ ), debba cambiare anche il batch size ideale.
La Metafora: Pensa al righello come a una barca.
- Una piccola barca (Righello Standard) può navigare con un equipaggio piccolo (batch size ridotto).
- Una massiccia nave da crociera (Muon/Schatten-∞) ha bisogno di un equipaggio enorme (batch size massiccio) per rimanere stabile e muoverso velocemente. Se provi a far navigare una nave da crociera con solo due persone, girerà in tondo.
L'Intuizione: Questo spiega perché Muon funziona bene per gli "speedrun" (dove le persone usano batch massicci su modelli piccoli) ma fatica in alcuni benchmark su larga scala (dove il batch size potrebbe non essere stato scalato abbastanza per la specifica geometria).

Perché Abbiamo Bisogno di "Warmup"?

Forse avrai sentito che alcuni addestratori di AI hanno bisogno di un "warmup" (iniziare lentamente e poi accelerare).

La Scoperta del Paper: Il righello Schatten-∞ (Muon) è così robusto che non ha bisogno di un warmup. Può iniziare alla massima velocità immediatamente.
Il Contrasto: Se usi un righello con un $p$ più piccolo nel regime low-dimensional, hai effettivamente beneficio di una fase di warmup per avviare l'accelerazione.

La Connessione con "Chinchilla"

Il paper collega questo a una famosa regola nell'AI chiamata scaling di Chinchilla, che dice: "Man mano che ottieni più dati, dovresti rendere il tuo modello più grande".

Il Colpo di Scena: Il paper sostiene che, anche con lo scaling di Chinchilla, siamo spesso ancora nel "Regime Low-Dimensional" (il piccolo giardino).
Il Risultato: Poiché siamo spesso in questo regime del "piccolo giardino", usare il Muon standard (Schatten-∞) potrebbe in realtà essere meno efficiente rispetto all'uso di un ottimizzatore con norma $p$ finita (come HTMuon o Soft-Muon). Questo spiega perché nuovi metodi che usano righelli più "morbidi" stanno iniziando a battere Muon in alcuni test su larga scala.

Riassunto: Come Scegliere il Tuo Righello

Il paper conclude con una guida semplice:

Se ti trovi in un regime "Low-Dimensional" (modelli piccoli, o quando la quantità di dati è enorme rispetto alla dimensione del modello):
- Non usare automaticamente lo estremo Schatten-∞ (Muon).
- Considera l'uso di una norma Schatten- $p$ finita (un righello più "morbido"). Accelera più velocemente e gestisce meglio il rumore.
- Nota: Potresti persino voler cambiare righello durante l'addestramento! Inizia con un righello "duro" e passa a uno più "morbido" in seguito.
Se ti trovi in un regime "High-Dimensional" (complessità massiccia):
- Lo Schatten-∞ (Muon) è probabilmente la scelta giusta, MA devi usare un batch size molto grande per farlo funzionare.

Il Punto Fondamentale: Non esiste un unico ottimizzatore "migliore". Il miglior strumento dipende dalle dimensioni del problema e dalla quantità di dati che hai. La confusione nella comunità esisteva perché le persone stavano testando gli strumenti in regimi diversi senza rendersene conto.

Sintesi Tecnica: "Quando utilizzare quale norma di Schatten- $p$ nel deep learning?"

Definizione del Problema

Gli ottimizzatori basati sulla norma Schatten- $\infty$ , come Muon, hanno dimostrato prestazioni empiriche promettenti in specifici contesti di deep learning, in particolare quelli che coinvolgono sessioni di addestramento brevi o batch size elevati. Tuttavia, esistono osservazioni contrastanti riguardo alla loro utilità generale. Sebbene eccellano in certi regimi (ad esempio, gli "speedrun" su CIFAR-10), non superano costantemente i metodi standard come Adam o SGD in scenari di addestramento su larga scala con budget di token estesi. Inoltre, varianti recenti che utilizzano norme Schatten- $p$ finite (ad esempio, HTMuon, Soft-Muon) hanno mostrato risultati competitivi o superiori, sfidando la necessità di utilizzare esclusivamente la norma Schatten- $\infty$ .

La domanda centrale affrontata è: Quale norma Schatten- $p$ dovrebbe utilizzare un ottimizzatore, e sotto quali regimi di addestramento è ottimale? Gli esistenti framework teorici, specificamente il framework SODA (Schedule-free Optimistic Dual Averaging), mancavano della capacità di analizzare le geometrie delle norme $p$ per $p > 2$ sotto rumore stocastico, lasciando il meccanismo dietro al successo di Muon e ai suoi limiti privo di una spiegazione teorica.

Metodologia

Il paper estende il framework SODA (Pethick et al., 2026), che unifica i componenti degli ottimizzatori moderni come l'ottimismo del dual averaging, il momentum di Nesterov e il weight decay. Gli autori generalizzano l'analisi di SODA a funzioni di riferimento $p$ -uniformemente convesse per $p \ge 2$ , coprendo sia le geometrie vettoriali $\ell_p$ che quelle matriciali di Schatten- $p$ .

I componenti metodologici chiave includono:

Template Algoritmico: L'analisi utilizza una regola di aggiornamento primal-dual in cui la mappa duale è definita dal gradiente della coniugata di Fenchel di una funzione di riferimento $h(x) = \frac{1}{p}\|x - z_0\|_p^p$ $h (x) = \frac{1}{p} ∥ x - z_{0} ∥_{p}^{p}$ .
- Per $p=2$ , questo recupera la geometria euclidea.
- Per $p \to \infty$ , recupera l'operatore di minimizzazione lineare (LMO) utilizzato in Muon ( $UV^\top$ ).
- Per $p > 2$ finito, corrisponde a metodi come HTMuon e Soft-Muon.
Assunzioni sul Rumore: L'analisi incorpora assunzioni di rumore a code pesanti (heavy-tailed), assumendo specificamente che i gradienti soddisfino una condizione di momento $r$ ( $r \in (1, 2]$ ). Ciò consente la derivazione di tassi di convergenza che dipendono dall'esponente duale $q = p/(p-1)$ .
Analisi dei Regimi: Gli autori derivano i limiti di complessità dell'oracolo sotto due distinti regimi:
- Deterministico: Dove il rumore è trascurabile.
- Stocastico: Dove il rumore è presente e le dimensioni dei batch vengono scalate per gestire la varianza.
Leggi di Scaling: I limiti teorici sono applicati alle moderne leggi di scaling del deep learning (ad esempio, Chinchilla), relazionando il budget totale di token $N$ alla dimensione effettiva $d$ delle matrici del modello.

Contributi Chiave

1. Accelerazione Robusta al Rumore per Arbitrari $p$

Gli autori dimostrano che SODA ottiene tassi di convergenza accelerati per l'ottimizzazione su geometrie $p$ -norm mentre rimane robusto al rumore stocastico. Stabiliscono un tasso indipendente dalla dimensione:
$O\left( \frac{L_p R_p^2}{n^{1+2/p}} + \frac{\sigma_q R_p}{n^{1/p}} \right)$
Questo risultato rivela una connessione fondamentale tra la scelta della geometria $p$ e la pesantezza delle code del rumore (tramite l'esponente duale $q$ ). Questo è presentato come il primo risultato di accelerazione robusto al rumore per arbitrarie geometrie di norma $p$ .

2. Regole di Scaling del Batch Size

Analizzando la complessità dell'oracolo sotto varianza limitata ( $r=2$ ), il paper deriva una regola di scaling del batch size dipendente dalla norma: per un budget totale di oracolo $N$ fisso, l'ottimale batch size $B_p$ scala come:
$B_p \asymp N^{2(p-1)/(3p-2)}$

Per $p=2$ (Euclidea), $B_2 \asymp N^{1/2}$ .
Per $p \to \infty$ (Schatten- $\infty$ ), $B_\infty \asymp N^{2/3}$ .
Questo spiega perché i metodi Schatten- $\infty$ come Muon richiedano empiricamente batch size più grandi per realizzare i loro benefici.

3. Ottimalità Dipendente dal Regime

Il paper risolve il conflitto riguardante l'utilità di Muon mostrando che la scelta ottimale di $p$ è dipendente dal regime, determinato dalla relazione tra la dimensione effettiva $d$ e il budget dell'oracolo $N$ :

Regime ad Alta Dimensionalità ( $N \lesssim d$ ): Far corrispondere la geometria alla regolarità (smoothness) del problema è favorevole. Se l'obiettivo è regolare nella norma Schatten- $\infty$ , l'uso di $p \to \infty$ è ottimale.
Regime a Bassa Dimensionalità ( $N \gtrsim d$ ): Sono preferibili valori di $p$ $p$ più piccoli.
- In contesti deterministici, $p=2$ (Euclidea) offre un'accelerazione più forte.
- In contesti stocastici con rumore a code pesanti, la geometria minima ammissibile $p = r/(r-1)$ è ottimale grazie a un migliore allineamento con le assunzioni sul rumore.

4. Implicazioni per le Leggi di Scaling

Gli autori collegano questi regimi teorici alle moderne leggi di scaling (ad esempio, Chinchilla). Sotto le tipiche ricette di scaling dove la dimensione del modello scala linearmente con i token ( $N$ ), il rango effettivo delle matrici dei pesi cresce come $d \propto N^{1/3}$ . Di conseguenza, $N \gg d$ , collocando l'addestramento standard su larga scala fermamente nel regime a bassa dimensionalità.

Conclusione: In questo regime, un $p$ più piccolo (Schatten- $p$ finito) è teoricamente preferibile rispetto a Schatten- $\infty$ . Ciò fornisce una spiegazione teorica del motivo per cui il vantaggio di Muon diminuisce su scala e perché gli ottimizzatori a $p$ finito (HTMuon, Soft-Muon) stanno emergendo come forti contendenti.

Risultati e Significato

Il paper sostiene di aver risolto l'apparente contraddizione nelle prestazioni empiriche degli ottimizzatori Schatten- $\infty$ . La significatività del lavoro risiede nel:

Unificazione Teorica: Fornire un unico framework (SODA) che spieghi il comportamento di Muon, Soft-Muon e degli ottimizzatori euclidei attraverso la lente della geometria della norma $p$ .
Spiegazione di Fenomeni Empirici:
- Warmup: L'analisi spiega perché i metodi Schatten- $\infty$ non richiedono il warmup del step-size (lo step-size effettivo decade come $k^{-1}$ ), mentre le geometrie con $p$ minore esibiscono una fase simile al warmup.
- Batch Size: Quantifica la necessità di grandi batch per i metodi Schatten- $\infty$ e fornisce una regola di scaling per un $p$ arbitrario.
- Scaling: Offre una base teorica per l'osservazione secondo cui i metodi Schatten- $\infty$ potrebbero non scalare bene come previsto sotto ricette tipo Chinchilla, suggerendo che la natura "a bassa dimensionalità" dell'addestramento moderno favorisca un $p$ finito.
Guida Pratica: I risultati suggeriscono una potenziale strategia di switching dove $p$ potrebbe essere regolato durante l'addestramento (iniziando vicino a $\infty$ e passando a un $p$ finito man mano che il budget $N$ supera la dimensione $d$ ), allineandosi con i recenti schedule empirici come Soft-Muon.

Gli autori mantengono un tono modesto, notando che la loro analisi si basa su conversioni di norme nel caso peggiore e che relazioni più precise e dipendenti dal problema potrebbero affinare i confini tra i regimi. Lasciano come lavoro futuro l'esplorazione pratica dello switching dinamico di $p$ .