Sintesi Tecnica: Calcolo dell'Ottimizzatore Geometrico–Nongeometrico

Definizione del Problema

Le descrizioni attuali degli ottimizzatori basati sul gradiente (ad es., Adam, Shampoo, K-FAC) spesso confondono ruoli algoritmici distinti. Esse mescolano la definizione di una geometria di discesa (mappatura dei gradienti in direzioni) con meccanismi di raccolta di informazioni, gestione della memoria, controllo della dimensione del passo, iniezione di rumore, modifica del target e discretizzazione. Questa confusione rende difficile verificare se una specifica direzione di aggiornamento sia genuinamente spiegata da un precondizionatore geometrico o se si basi su meccanismi residui come il momentum, la proiezione o la stocasticità. Inoltre, manca un linguaggio formale per scomporre i metodi del gradiente "raggiungibili" sotto vincoli espliciti riguardanti l'accesso all'oracolo, i budget di memoria e le classi di stato.

Il documento affronta la domanda: Dato un classe di oracolo, un budget, una classe di stato e regole ammissibili, è possibile scomporre i metodi del gradiente raggiungibili in un modulo geometrico positivo e in moduli non geometrici strutturati in modo da esporre i gap di espressione, i budget dei meccanismi e i compromessi di progettazione dell'ottimizzatore?

Metodologia: Il Calcolo dell'Ottimizzatore Geometrico–Nongeometrico

Gli autori propongono un linguaggio modulare, il Calcolo dell'Ottimizzatore Geometrico–Nongeometrico, che separa i componenti dell'ottimizzatore in due categorie distinte:

1. Il Modulo Geometrico

Questo modulo consiste in una famiglia di cometrica positiva $\mathcal{P}_F(\theta)$. Essa mappa i covettori (gradienti) in direzioni di discesa nello spazio dei parametri.

• Formalismo: Per un covettore $\alpha_\theta = df_\theta$, la direzione di discesa geometrica è $u_{geo} = -P_\theta \alpha_\theta$, dove $P_\theta \succ 0$.
• Famiglie: Questo include matrici SPD complete, matrici diagonali, block-diagonali, fattorizzate di Kronecker, low-rank o famiglie di proxy di curvatura.

2. I Moduli Nongeometrici

Gli altri meccanismi sono suddivisi in sette moduli espliciti:

• Informazione: Stime del gradiente, mini-batch, proxy di curvatura e sonde Hessian-vector.
• Memoria: Momentum, lookahead di Nesterov, coppie secanti e sottospazi storici.
• Controllo: Tassi di apprendimento, smorzamento (damping), regioni di fiducia (trust regions), ricerca di linea e programmi (schedules).
• Operatore: Proiezioni, mappe prossimali, clipping, normalizzazione e decadimento del peso disaccoppiato.
• Rumore: Rumore di campionamento esplicito, perturbazioni di Langevin e rumore indotto dal dropout.
• Target: Obiettivi regolarizzati, smussati o surrogati differenti dall'originale $f$.
• Discretizzazione: Passi di Euler/impliciti, precisione finita e radici matriciali approssimate.

3. Audit e Scomposizione

Il calcolo impiega un ordine di audit canonico per scomporre un ottimizzatore reale:

1. Fissare l'obiettivo target $f_k$ e il covettore visibile $\tilde{g}_k$.
2. All'interno della famiglia dichiarata $\mathcal{F}$, scegliere $P_k$ per spiegare al meglio la direzione osservata tramite geometria positiva.
3. Attribuire la scala e lo smorzamento al Controllo.
4. Attribuire il residuo rimanente a Memoria, Operatore, Rumore, Target o Discretizzazione.

Contributi Chiave

1. Teoremi di Espressività della Direzione

Il documento dimostra che la geometria positiva completa esprime esattamente l'insieme delle direzioni di discesa stretta lontano dai punti critici.

• Teorema: Per un gradiente non nullo $g$ e una direzione $u$, esiste una matrice positiva definita $P$ tale che $u = -Pg$ se e solo se $g^\top u < 0$.
• Implicazione: Qualsiasi aggiornamento che non sia una direzione di discesa stretta (ad es., passi neutri o ascendenti causati dal momentum) o qualsiasi moto in un punto critico ($g=0$) deve originare da un modulo non geometrico.

2. Residui di Direzione Ristretti

Per ottimizzatori implementabili che utilizzano famiglie ristrette (ad es., diagonali o a blocchi), gli autori definiscono il residuo di direzione ristretto:
$$\rho_{\mathcal{F},h}(u; \alpha) = \inf_{P \in \mathcal{F}(\theta)} \|u + P\alpha\|_h$$

• Questo misura quanto di un aggiornamento è non spiegato dalla geometria scelta.
• Il documento deriva le condizioni esatte di espressività per le geometrie diagonali e a blocchi, mostrando che la geometria diagonale è dipendente dalle coordinate e fallisce nel spiegare direzioni in cui i segni di $g_i$ e $u_i$ non sono allineati.

3. Framework Diagnostico (I Quattro Quadranti)

Gli autori separano due diagnostiche:

1. Raggiungibilità della Curvatura: Misura quanto bene una famiglia può gestire il numero di condizionamento dell'Hessiana.
2. Residuo di Direzione: Misura quanto bene la famiglia spiega la reale direzione di aggiornamento.
   Questi formano uno strumento diagnostico a quattro quadranti per distinguere tra precondizionamento geometrico, effetti di memoria, rumore e modifiche del target.

4. Complessità del Residuo a Livello di Traiettoria

Andando oltre l'analisi puntuale, il documento definisce la complessità del residuo a livello di traiettoria. Ciò pone la domanda se un intero tracciato di addestramento possa essere spiegato da un percorso coerente di precondizionatori con variazione geometrica limitata.

• Introduce un gap di coerenza per misurare il costo del mantenimento della consistenza temporale nella spiegazione geometrica.
• Questo impedisce a famiglie ricche di spiegare ogni singolo passo tramite matrici non correlate o singolari.

5. Formulazione di Ottimizzazione Pareto

La progettazione dell'ottimizzatore viene riformulata non come la ricerca di un unico "migliore" ordine, ma come un'ottimizzazione Pareto vincolata su budget di moduli.

• I progettisti devono bilanciare le prestazioni rispetto ai budget per la geometria (ad es., lunghezza della metrica invariante per affinità), l'informazione (chiamate al gradiente), la memoria e la comunicazione.
• Il documento dimostra una monotonicità di classe con budget: sebbene la geometria SPD completa sia un superset di espressione della geometria ristretta, l'ottimo fattibile con budget può favorire una famiglia più economica e ristretta.

Risultati e Prototipi

Il documento include prototipi diagnostici per dimostrare il linguaggio, specificando esplicitamente che questi non sono rivendicazioni di prestazioni allo stato dell'arte su benchmark su larga scala.

1. Sonda a Metrica Completa (Quadratiche Deterministiche): Un prototipo che utilizza metriche inverse SPD complete (ricostruite tramite sonde di coordinate) risolve benchmark quadratici deterministici con precisione numerica, validando l' "involucro di espressione" della geometria completa.
2. Varianti Krylov e Ibride: Una variante dello spazio di Krylov e un ibrido BFGS con selezione del residuo sono stati testati. I risultati hanno mostrato che i budget di informazione limitati e le regole di selezione del residuo impattano significativamente le prestazioni, spesso impedendo alle geometrie ristrette di eguagliare le capacità della geometria completa.
3. Candidato stile Muon: Un prototipo che combina l'ottimizzazione del momentum matriciale-ortogonale (per i tensori) e AdamW (per i vettori) è stato sottoposto ad audit.
   • Su un piccolo subset MNIST, ha raggiunto circa il 77,0% di accuratezza rispetto al ~72,6% di AdamW.
   • L'audit ha rivelato che l'ortogonalizzazione Newton–Schulz agisce come un meccanismo di operatore/memoria matriciale piuttosto che come una pura cometrica positiva applicata al gradiente corrente.
4. Audit di Traccia: Il calcolo è stato applicato a brevi tracce di addestramento di AdamW, SGD/Nesterov e del candidato stile Muon.
   • Risultato: SGD/Nesterov ha mostrato forti spiegazioni geometriche diagonali puntuali ma un grande "gap di coerenza" (richiedendo metriche che cambiano rapidamente). AdamW e il candidato Muon hanno mostrato residui grezzi inferiori e gap di coerenza minori, suggerando ombre geometriche più stabili.

Significato e Rivendicazioni

Il documento si posiziona come un manoscritto di teoria e linguaggio di benchmark. Il suo significato primario risiede nel:

• Fornire un Linguaggio di Audit Formale: Offre un quadro rigoroso per separare la "geometria" dall' "ingegneria" negli ottimizzatori, permettendo ai ricercatori di quantificare quanto di un aggiornamento sia geometricamente spiegabile rispetto a quanto dipenda da memoria, rumore o trasformazioni del target.
• Ridefinire la Progettazione dell'Ottimizzatore: Sposta il focus dalla ricerca di un ottimizzatore universale alla risoluzione di un problem di ottimizzazione Pareto su espliciti budget di risorse (calcolo, memoria, chiamate all'oracolo).
• Chiarire i Limiti: Stabilisce che la geometria positiva completa è un "involucro di espressione" che cattura strettamente le direzioni di discesa, mentre tutti gli altri comportamenti (momentum, proiezione, ecc.) sono meccanismi strutturalmente distinti e non geometrici.

Gli autori dichiarano esplicitamente che il documento non rivendica prestazioni allo stato dell'arte su larga scala. I risultati sperimentali sono di piccola scala e diagnostici, destinati a illustrare l'utilità del calcolo per attribuire il comportamento dell'ottimizzatore piuttosto che a competere con baseline ottimizzate come AdamW, Lion o Shampoo su moderni benchmark di visione o linguaggio.