🤖 machine learning

The Loss Does Not See the Basis, but Adam Does

Questo articolo dimostra che l'incapacità di Adam di recuperare soluzioni a basso rango nei modelli fattorizzati derivi dalla sua mancanza di equivarianza di gauge, una proprietà posseduta dal gradiente discendente e da altri ottimizzatori a scalare condiviso che preserva il bias implicito verso interpolanti a basso rango.

Autori originali: Devender Singh

Pubblicato 2026-08-06

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Devender Singh

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di risolvere un puzzle gigante e disordinato dove i pezzi sono numeri disposti in una griglia. Nel mondo dell'intelligenza artificiale, questo viene chiamato "fattorizzazione di matrici". Hai un'immagine enorme e complicata (i dati) e vuoi scomporla in due pile di carte più piccole e semplici che, se moltiplicate tra loro, ricreano l'immagine originale. L'obiettivo è trovare le pile più semplici possibili che si adattino ancora perfettamente all'immagine. Questo è importante perché le soluzioni più semplici di solito funzionano meglio nel mondo reale, evitando la trappola di memorizzare il rumore invece di apprendere i modelli.

Per risolvere questo puzzle, i computer usano un metodo chiamato "discesa del gradiente", che è come un escursionista che cerca di trovare il fondo di una valle camminando sempre in discesa. Per molto tempo, gli scienziati hanno notato che se si parte con carte molto piccole, l'escursionista trova naturalmente la soluzione più semplice. Tuttavia, un escursionista più veloce chiamato "Adam" (uno strumento popolare nell'IA) spesso si perde, trovando una soluzione complicata e disordinata anche quando ne esiste una semplice. La grande domanda è stata: perché l'escursionista veloce non riesce a trovare il percorso semplice, e possiamo ripararlo senza renderlo lento?

Questo articolo, intitolato "La perdita non vede la base, ma Adam sì", investiga perché questo accade. L'autore ha scoperto che il problema non è solo la velocità; è il modo in cui l'escursionista vede il mondo. Il puzzle ha una simmetria nascosta: puoi ruotare le tue pile di carte in molti modi diversi, e l'immagine finale rimane esattamente la stessa. Pensa a come si fa ruotare un mappamondo: i continenti si spostano, ma la mappa è ancora la stessa. L'escursionista tradizionale (Discesa del Gradiente) ignora la rotazione specifica e guarda solo la forma della valle, trovando naturalmente la soluzione più semplice. Ma l'escursionista veloce (Adam) si distrae dalla rotazione specifica delle carte. Tratta una direzione come "speciale" e un'altra come "diversa", anche se sono matematicamente identiche. Questa distrazione lo porta a scegliere una soluzione complicata e ad alto rango invece di una semplice e a basso rango.

L'autore ha dimostto che qualsiasi ottimizzatore (uno strumento per risolvere il puzzle) che rispetti questa simmetria rotazionale troverà naturalmente la soluzione semplice, mentre quelli che rompono la simmetria si bloccheranno in soluzioni complesse. Hanno testato nove diversi ottimizzatori e hanno trovato una netta divisione: quelli che "rispettano la simmetria" (come la Discesa del Gradiente, Muon e una versione modificata di Adam) hanno trovato soluzioni con errori così bassi come 0,000006, mentre quelli che "rompono la simmetria" (come Adam standard e RMSProp) avevano errori superiori a 0,42 — una differenza enorme.

Per dimostrare che non fosse un caso fortuito, hanno costruito una "manopola" che cambia fluidamente Adam dal suo modo caotico che odia la rotazione al suo modo amichevole verso la rotazione. Mentre giravano la manopola, la soluzione diventava più semplice e accurata, mostrando che il modo specifico in cui Adam guarda i dati è l'esatta causa del problema. Hanno persino testato questo su dati del mondo reale, come immagini iperspettrali della terra, e hanno scoperto che i metodi amichevoli verso la rotazione riducevano gli errori di circa il 44% rispetto allo standard Adam.

Interessante è che l'articolo ha anche scoperto che essere "amichevoli verso la rotazione" non è sempre una bacchetta magica. Se il puzzle stesso è disordinato e ha molto rumore casuale (una "coda spettrale"), l'escursionista super-veloce e amichevole verso la rotazione chiamato Muon a volte è troppo impetuoso e si adatta al rumore, mentre l'escursionista più lento e costante (Discesa del Gradiente) ottiene risultati migliori. Quindi, lo strumento migliore dipende dalla natura specifica del puzzle.

Infine, l'autore ha esaminato come questo influenzi i moderni modelli di IA chiamati Transformer (i cervelli dietro i chatbot). Ha scoperto che se si parte con due modelli di IA identici con la stessa matematica ma con le loro carte interne ruotate diversamente, l'ottimizzatore Adam standard li fa comportare in modo completamente diverso dopo un solo passaggio. Finiscono per avere strutture interne completamente diverse, anche se sono partiti come la stessa funzione. Questo significa che la scelta dell'ottimizzatore non è solo un dettaglio di regolazione; essa decide fondamentalmente quale versione della soluzione l'IA apprenderà. L'articolo conclude che, per ottenere i risultati migliori e più semplici, abbiamo bisogno di ottimizzatori che rispettino le simmetrie nascoste della matematica, piuttosto che farsi distrarre dal modo specifico in cui disponiamo i numeri.

Sintesi Tecnica: "La perdita non vede la base, ma Adam sì"

Problematica
Si sa che la discesa del gradiente (GD) su modelli fattorizzati ( $W = UV^\top$ ) esibisce un bias implicito verso soluzioni a basso rango, convergendo spesso verso interpolanti a norma nucleare minima in compiti di sensing di matrici sottodeterminati. Tuttavia, gli ottimizzatori adattivi come Adam, pur raggiungendo perdite di addestramento simili, falliscono frequentemente nel recuperare queste strutture a basso rango, producendo soluzioni con un rango effettivo più elevato e una generalizzazione peggiore. Sebbene lavori recenti abbiano identificato che i metodi adattivi sono dipendenti dalla base (sensibili alle rotazioni delle coordinate), il meccanismo specifico attraverso il quale questa dipendenza rompe il bias a basso rango nei modelli fattorizzati non è stato caratterizzato. Questo articolo affronta la domanda: Esiste un criterio per determinare se un ottimizzatore preserva o rompe il bias a basso rango, e può questo criterio classificare i metodi impiegati in base alle loro prestazioni di recupero?

Metodologia e Quadro Teorico
L'autore introduce la equivarianza di gauge come il criterio centrale per classificare gli ottimizzatori. La funzione di perdita $L(U,V) = f(UV^\top)$ possiede una simmetria di gauge: è invariante rispetto alla trasformazione $(U,V) \mapsto (UQ, VQ)$ per qualsiasi matrice ortogonale $Q \in O(k)$ . Questa simmetria implica che ruotare le basi dei fattori latenti non altera le predizioni del modello.

Classificazione delle Regole di Aggiornamento:
- Ottimizzatori Equivarianti: Un ottimizzatore è gauge-equivariante se la sua regola di aggiornamento commuta con la trasformazione di gauge. Il paper dimostra che le regole di aggiornamento senza memoria sono equivarianti se e solo se assumono la forma di un precondizionatore sinistro determinato dal Gram (Gram-determined left preconditioner): $\Delta = H(GG^\top)G$ , dove $H$ dipende solo dalla matrice di Gram $GG^\top$ .
- Ottimizzatori Non Equivarianti: Gli ottimizzatori che applicano non-linearità entrywise fisse al gradiente o allo stato dell'ottimizzatore all'inizializzazione (es. Adam standard, RMSProp, Lion, SignSGD) rompono questa simmetria. Nello specifico, l'adattamento del secondo momento per coordinata di Adam fallisce nel commutare con le rotazioni ortogonali, portando a un "difetto del primo passo" dove la matrice prodotto $W$ cambia immediatamente dopo la rotazione dell'inizializzazione.
Teorema di Trasferimento:
L'autore stabilisce un teorema di trasferimento mostrando che gli ottimizzatori con un precondizionatore scalare condiviso (un singolo scalare al denominatore per tutte le coordinate) corrispondono al flusso del gradiente sotto una parametrizzazione del tempo riscalata. Di conseguenza, i risultati teorici riguardanti il bias a basso rango del flusso del gradiente (es. Gunasekar et al., 2017; Li et al., 2021) si applicano direttamente a questi metodi equivarianti.
Programmazione Spettrale (Spectral Schedule):
Sebbene l'equivarianza sia necessaria per accedere al manifold a basso rango, non è sufficiente per il recupero a basso rango. Il comportamento specifico all'interno della classe equivariante è determinato dalla programmazione spettrale (come crescono i valori singolari). Le programmazioni aggressive a tasso uguale (come Muon) possono recuperare target a basso rango esatti, ma possono fallire se il target ha una "coda spettrale" significativa (energia al di fuori della parte a basso rango), mentre le programmazioni greedy (come GD) sopprimono queste code.

Contributi Chiave ed Esperimenti

Confronto dello Zoo di Ottimizzatori: L'autore ha valutato nove ottimizzatori su un compito di sensing di matrici sottodeterminato ( $40 \times 40$ , rango 3, $m=2 \times \text{dof}$ ) fino all'interpolazione completa.
- Risultato: È emersa una netta separazione. I metodi equivarianti (GD, Scalar-Adam, Muon, Shampoo) hanno ottenuto errori di recupero $\le 0.286$ . I metodi per coordinata (Adam, RMSProp, Lion, SignSGD, Adafactor) non sono riusciti a raggiungere l'attrattore a basso rango, con errori $\ge 0.42$ .
- Prestazioni di Muon: Muon ha ottenuto un recupero quasi esatto ( $6.8 \times 10^{-6}$ di errore) su target a puro basso rango, ma è degradato rapidamente all'aumentare della coda spettrale del target, incrociando le prestazioni di GD a circa il 4% di energia della coda.
L'Esperimento del "Dial" (Manopola): Per isolare la causa del fallimento di Adam, l'autore ha costruito una famiglia di ottimizzatori a un parametro (Adam- $p$ ) che interpola tra Adam standard ( $p=1$ , per coordinata) e Scalar-Adam ( $p=0$ , scalare condiviso).
- Risultato: Man mano che $p$ diminuiva da 1 a 0, l'errore di recupero e il rango effettivo miglioravano monotonicamente. Ciò ha confermato che l'anisotropia per coordinata nel precondizionatore è il meccanismo specifico che distrugge il bias a basso rango, indipendentemente dal momentum o dall'adattività.
Analisi delle Teste di Attenzione: Il paper dimostra che le singole teste di attenzione nei transformer condividono la stessa simmetria di gauge ( $W_Q^\top W_K$ ).
- Risultato: L'addestramento di due copie di un transformer gauge-equivalenti (stessa funzione, basi diverse) con Adam ha causato una divergenza strutturale dopo un singolo passo, risultando in una distanza di Frobenius relativa del 56% nei loro invarianti di testa ( $W_Q^\top W_K$ ). Gli ottimizzatori equivarianti (SGD, Scalar-Adam) sono rimasti indistinguibili con precisione di macchina. L'autore nota che, sebbene le tecniche di allineamento (come il ri-basin per permutazione) possano riconciliare il gauge, esse non possono riconciliare gli invarianti stessi se differiscono; pertanto, l'addestramento dipendente dalla base rimuove l'accordo richiesto per il merging dei modelli, poiché nessuna rotazione per testa può colmare il divario tra gli invarianti divergenti.
Validazione nel Mondo Reale: Su compiti di completamento di immagini iperspettrali (Indian Pines, Pavia University) a parità di perdita di addestramento:
- GD ha ottenuto un errore di test (held-out error) del 43–44% inferiore rispetto ad Adam a basse densità di campionamento, corrispondente a un rango effettivo significativamente più basso.
- L'errore di test di Adam aumentava man mano che si adattava profondamente (overfitting della coda spettrale), mentre l'errore di GD diminuiva.
Riparazione dell'Algoritmo: L'autore ha applicato il proprio criterio al suo lavoro precedente, FlowAdam. Ha identificato che il clipping della velocità per coordinata rompeva l'equivarianza. Sostituire questo con un clipping della norma globale ha ripristinato il bias, migliorando l'errore di recupero del 37% e avvicinando il metodo alle prestazioni di GD.

Significato e Rivendicazioni
Il paper sostiene che la scelta della base non è un dettaglio di tuning, ma una decisione fondamentale su quale interpolante l'ottimizzatore selezionerà.

Spiegazione Meccanicistica: Fornisce un criterio testabile e costruttivo (equivarianza di gauge) per prevedere se un ottimizzatore preservi il bias a basso rango dei modelli fattorizzati.
Limitazioni: L'autore è modesto riguardo all'ambito. Il bias è lieve e benefico principalmente quando la regolarizzazione ottimale è bassa e allineata con la struttura a basso rango. In regimi che richiedono una forte regolarizzazione o dove l'adattività per coordinata è benefica (es. problemi rigidi nelle PINN), i metodi per coordinata possono comunque superare quelli equivarianti.
Nessuna Rivendicazione di Benchmark: Il lavoro non propone un nuovo ottimizzatore allo stato dell'arte, ma offre una spiegazione meccanicistica per fenomeni osservati, chiarendo perché certi metodi (come Adam) falliscono nel recuperare strutture a basso rango in specifici contesti mentre altri (come GD o Muon) hanno successo.

In sint easily, il paper argomenta che "la perdita non vede la base" (è gauge-invariante), ma "Adam la vede" (i suoi aggiornamenti sono dipendenti dalla base), e questa dipendenza è la radice del suo fallimento nel selezionare interpolanti a basso rango nei modelli fattorizzati.

Sintesi Tecnica: "La perdita non vede la base, ma Adam sì"

Articoli simili