Riepilogo Tecnico: Leggi di Scalabilità Spettrale Indotte dall'Ottimizzatore

Enunciato del Problema

Le leggi di scalabilità classiche per i grandi modelli linguistici (LLM) hanno stabilito relazioni prevedibili di tipo potenza tra la perdita di validazione e risorse quali dimensione del modello, volume dei dati e potenza di calcolo. Tuttavia, questi framework trattano tipicamente l'ottimizzatore come un dettaglio di addestramento fisso, assumendo che influenzi solo la velocità di convergenza o agisca come un fattore di efficienza moltiplicativo. Questo lavoro sfida tale assunzione, ipotizzando che l'ottimizzatore sia un asse fondamentale della scalabilità delle rappresentazioni. Nello specifico, gli autori indagano quanto efficacemente diversi ottimizzatori convertano l'aumento della larghezza della Rete Feed-Forward (FFN) in capacità spettrale utilizzata—la dimensionalità effettiva dello spazio latente. Si chiede se una perdita di validazione corrispondente implichi una geometria interna delle rappresentazioni corrispondente, o se diversi ottimizzatori realizzino la stessa capacità architetturale attraverso strutture spettrali fondamentalmente diverse.

Metodologia

Lo studio impiega un framework di analisi spettrale centrato sugli spettri degli autovalori delle rappresentazioni FFN all'interno di architetture Transformer.

• Metriche Spettrali: Gli autori utilizzano la famiglia di ranghi effettivi di Rényi per quantificare la dispersione spettrale. Ancorano la loro analisi a due metriche principali:
  • Rango Soft ($R_1$): Corrisponde a $\alpha=1$ (entropia di Shannon), misurando la dispersione spettrale pesata dall'entropia e catturando la capacità diffusa.
  • Rango Hard ($R_2$): Corrisponde a $\alpha=2$ (rapporto di partecipazione), misurando la dimensionalità effettiva sensibile alla concentrazione e catturando la capacità dei modi dominanti.
  • Asimmetria Hard-Soft ($\Delta_{1,2}$): Definita come $\log R_1 - \log R_2$, questa metrica quantifica il divario tra capacità diffusa e capacità dominante.
• Configurazione Sperimentale: Gli esperimenti sono stati condotti su Transformer decoder-only in stile GPT (160M e 350M parametri) addestrati sul dataset FineWeb-Edu. La dimensione nascosta FFN ($D$) è stata variata per stabilire leggi di scalabilità ($R(D) \propto D^\beta$).
• Confronto tra Ottimizzatori: Lo studio confronta il AdamW standard con ottimizzatori consapevoli della matrice (Muon, NorMuon) e varianti a rango vincolato (Dion con diverse frazioni di rango $r$).
• Stratificazione: Per affrontare la distribuzione Zipfiana dei dati linguistici, le rappresentazioni FFN sono state stratificate per frequenza dei token in regimi HEAD (frequenti), MID e TAIL (rari).
• Controlli Architetturali: Gli autori hanno confrontato gli spostamenti indotti dall'ottimizzatore con interventi architetturali, specificamente l'aumento del rango di attenzione per testa (riducendo il numero di teste) e la rimozione degli Embedding Posizionali Rotazionali (RoPE).

Risultati Chiave

1. Leggi di Scalabilità Spettrale Dipendenti dall'Ottimizzatore

La stessa architettura Transformer esibisce leggi di scalabilità spettrale marcatamente diverse a seconda dell'ottimizzatore.

• Scalabilità del Rango Hard: AdamW mostra una debole scalabilità del rango hard ($\beta_{hard} \approx 0.29$ to $0.44$), in particolare per i token rari (TAIL). Al contrario, Muon raggiunge una scalabilità quasi lineare ($\beta_{hard} \approx 1.02$) negli stessi regimi. Questo rappresenta un aumento di 2.3$\times$ nell'esponente di scalabilità.
• Asimmetria Hard-Soft: AdamW mostra una grande asimmetria positiva ($\Delta_{1,2} \approx 0.37$), indicando che l'aumento della larghezza FFN espande la massa spettrale diffusa piuttosto che le direzioni rappresentazionali dominanti. Muon e NorMuon riducono questa asimmetria a quasi zero ($\Delta_{1,2} \approx 0.14$), il che significa che la larghezza aggiunta viene convertita efficientemente in capacità dei modi dominanti.

2. Perdita Corrispondente $\neq$ Geometria Corrispondente

Il lavoro dimostra che la perdita di validazione è un proxy insufficiente per la struttura delle rappresentazioni.

• Addestramento Esteso: Addestrare AdamW per più step (12K vs 6K) gli ha permesso di eguagliare la perplessità di una variante Dion (1/16). Tuttavia, la geometria spettrale è rimasta distinta: la scalabilità del rango hard di AdamW è quasi scomparsa ($\beta_{hard} \to 0.03$), mentre Dion ha mantenuto una robusta scalabilità di tipo potenza.
• Tasso di Apprendimento: La scansione dei tassi di apprendimento ha confermato che il divario spettrale AdamW-Muon non è un artefatto degli iperparametri; il più basso esponente del rango hard di Muon ha costantemente superato il più alto di AdamW lungo tutta la scansione.

3. Dipendenze da Frequenza e Rango

• Frequenza dei Token: L'effetto dell'ottimizzatore è più pronunciato nei regimi di token MID e TAIL. AdamW fatica a scalare la capacità hard per i token rari, mentre Muon scala linearmente.
• Rango di Aggiornamento: Utilizzando Dion, gli autori hanno isolato l'effetto del rango di aggiornamento. Ridurre la frazione di rango ($r$) da $1/2$ a $1/16$ ha causato un calo della scalabilità del rango hard da $\beta \approx 0.88$ a $\beta \approx 0.40$ (avvicinandosi ai livelli di AdamW), mentre la scalabilità del rango soft si è degradata più gradualmente. Ciò indica che il rango di aggiornamento agisce come una manopola di controllo per convertire la larghezza in capacità dei modi dominanti.

4. Dominanza sugli Interventi Architetturali

Gli spostamenti spettrali indotti dall'ottimizzatore spesso superano o rimodellano gli effetti dei cambiamenti architetturali:

• Rango di Attenzione: L'aumento del rango di attenzione per testa (riducendo il numero di teste) ha prodotto spostamenti di scalabilità spettrale minori rispetto al cambio di ottimizzatore in 28 su 30 regimi di frequenza/metrica.
• Codifica Posizionale: La rimozione di RoPE ha indotto una ridistribuzione dipendente dall'ottimizzatore. Per Muon, NoPE ha aumentato la scalabilità del rango hard HEAD ma diminuito quella MID/TAIL; per NorMuon, ha diminuito la scalabilità in tutti i regimi. Ciò dimostra che i segnali architetturali sono espressi attraverso la geometria dell'ottimizzatore.

Significato e Affermazioni

Il lavoro sostiene che l'ottimizzazione dovrebbe essere trattata come un asse di primo piano della scalabilità delle rappresentazioni, accanto a dimensione del modello, dati e potenza di calcolo.

• Co-Progettazione Architettura-Ottimizzatore: La capacità spettrale realizzata è una proprietà della coppia architettura-ottimizzatore, non dell'architettura da sola. Gli interventi architetturali (come cambiare il rango di attenzione o le codifiche posizionali) non inducono spostamenti fissi e indipendenti dall'ottimizzatore; i loro effetti sono mediati dalla geometria dell'ottimizzatore.
• Struttura delle Rappresentazioni: La scelta dell'ottimizzatore determina come la capacità del modello è strutturata attraverso le autovibrazioni e allocata attraverso i regimi di frequenza dei token. Non è semplicemente una manopola di efficienza per la velocità di convergenza.
• Limitazioni: Gli autori notano che questi risultati sono stabiliti all'interno di un regime empirico controllato (modelli in stile GPT fino a 350M parametri). Sebbene i risultati a 350M riproducano i pattern a 160M, è necessaria un'ulteriore validazione a scale all'avanguardia (1B+). Inoltre, sebbene i ranghi spettrali quantifichino l'utilizzo della capacità, non caratterizzano completamente il comportamento nei compiti downstream.

In conclusione, lo studio motiva un passaggio verso la co-progettazione ottimizzatore-architettura, suggerendo che le future leggi di scalabilità devono tenere conto dei bias induttivi impliciti dell'ottimizzatore come determinante primario di come viene realizzata la capacità del modello.