🤖 machine learning

No Subspace to Track: Non-Identifiability and Optimizer State in Low-Rank Training

Questo articolo dimostra che il sottospazio del gradiente a basso rango, assunto come tracciabile da ottimizzatori efficienti in termini di memoria come GaLore, è fondamentalmente non identificabile a causa dell'elevato rumore dello stimatore, rivelando che i guadagni di prestazioni derivano invece dal corretto trasporto dello stato dell'ottimizzatore attraverso i refresh del sottospazio piuttosto che dalla stabilità del sottospazio stesso.

Autori originali: Noel Thomas

Pubblicato 2026-07-08

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Noel Thomas

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

L'Idea Centrale: Inseguire un Fantasma

Immaginate di cercare di insegnare a un robot gigante (un Large Language Model) come parlare. Per farlo in modo efficiente, il robot usa un trucco speciale chiamato GaLore.

Il trucco funziona così: ogni pochi minuti, il robot osserva gli "errori" che ha appena commesso (i gradienti) e cerca di trovare le ulteriori 128 direzioni in cui si stanno verificando questi errori. Poi ignora tutto il resto e impara solo in quelle 128 direzioni. L'assunto è che queste 128 direzioni siano come un fiume che scorre lentamente; si spostano un po', ma rimangono per lo più costanti, quindi il robot può "tracciarle".

La scoperta principale del paper è scioccante: Il fiume non scorre lentamente. Non è nemmeno un fiume. È una cascata che cambia completamente forma ogni singola volta che la guardi.

Gli autori dimostrano che, oltre un piccolo nucleo di circa 39 direzioni, le "ulteriori 128 direzioni" che il robot sceglie sono essenzialmente rumore casuale. Se il robot sceglie un set di direzioni ora, e ne sceglie un altro 10 secondi dopo, i due set saranno quasi completamente diversi (come due persone che scelgono 128 numeri casuali da un cappello e ottengono quasi nessuna corrispondenza).

Perché GaLore Funziona Allora?

Potreste chiedervi: "Se le direzioni cambiano casualmente, perché il robot riesce ancora a imparare?"

Il paper spiega che GaLore funziona non perché stia tracciando un percorso specifico, ma perché sta catturando energia.

L'Analogia: Immaginate di cercare di raccogliere la pioggia con un secchio. Non avete bisogno di sapere esattamente dove cadrà ogni singola goccia. Dovete solo tenere il secchio nell'area generale in cui sta cadendo la pioggia.
Anche se le "ulteriori 128 direzioni" cambiano completamente ogni volta, esse catturano comunque circa il 67–73% dell'energia totale (l'informazione utile) degli errori. Quindi il robot continua a imparare, anche se sta costantemente cambiando mappa.

Perché la Media Non Aiuta

Un'idea naturale per risolvere il problema della "mappa che cambia" è: "Prendiamo le ultime 10.000 mappe e facciamo la media per ottenerne una stabile."

Gli autori hanno testato questa ipotesi e hanno scoperto che non funziona.

L'Analogia: Immaginate che la pioggia non sia solo rumore casuale, ma un pattern specifico di vento e nuvole (un segnale). Se cercate di fare la media della pioggia nel tempo, non otterrete un'immagine chiara di dove si trova la pioggia; otterrete solo una macchia sfocata.
Il "rumore" negli errori del robot non è semplice statica casuale; è un segnale complesso che si rimpicciolisce molto lentamente quando si cerca di mediarlo. Non importa quanto si faccia la media, non si potrà mai creare una lista "top 128" stabile perché la lista non esiste in una forma stabile.

Il Vero Probleo: La Memoria del Robot

Il vero problema non è la mappa; è la memoria del robot.
Il robot usa un ottimizzatore chiamato Adam, che ha una memoria a lungo termine (ricorda gli errori degli ultimi 1.000 step).

Il Problema: Ogni volta che il robot aggiorna la sua mappa (ogni 160 step), la mappa ruota di 90 gradi. Ma la memoria del robot è ancora puntata sulla vecchia mappa. È come guidare un'auto in cui il volante ruota improvvisamente di 90 gradi, ma le tue mani stanno ancora tenendo il volante nella vecchia posizione. Il robot sta cercando di sterzare basandosi su una mappa che non esiste più.

Le Soluzioni Trovate nel Paper

Gli autori hanno testato due modi per risolvere questo problema dello "sterzo":

Ruotare la Memoria (Trasporto): Invece di lasciare la memoria bloccata nella vecchia posizione, il robot dovrebbe ruotare fisicamente la sua memoria per adattarla alla nuova mappa.
- Risultato: Questo funziona molto bene. È come rendersi conto che il volante è ruotato e girare immediatamente le mani per adattarsi ad esso.
Accorciare la Memoria: La memoria del robot è troppo lunga (ricorda 1.000 step fa). Poiché la mappa cambia ogni 160 step, ricordare 1.000 step è inutile perché quegli step passati appartengono a un mondo completamente diverso.
- Risultato: Dicendo al robot di ricordare solo gli ultimi 100 step (invece di 1.000), esso smette di cercare di sterzare basandosi su mappe obsolete. Anche questo funziona bene.

Il Messaggio per chi Costruisce Sistemi (Builders)

Se state costruendo un sistema che utilizza questi trucchi a basso rango (low-rank), ecco il consiglio del paper:

Non cercate di tracciare il sottospazio. È un fantasma. Cambia troppo velocemente per essere tracciato.
Controllate il vostro "Rango Riproducibile" ( $k^*$ ). Prima di fidarvi di un rango di 128, controllate quante direzioni sono effettivamente reali. Il paper ha scoperto che solo circa 39 sono reali; il resto è rumore.
Se utilizzate un rango superiore al numero reale:
- Ruotate la vostra memoria: Assicuratevi che la memoria del vostro ottimizzatore si muova insieme alla nuova mappa.
- Accorciate la vostra memoria: Non lasciate che il robot ricordi troppo indietro nel tempo.
- Smettete di fare la media: Non perdete tempo cercando di fare la media delle mappe per renderle stabili; non funzionerà.

In breve: Il "sottospazio a basso rango" non è un oggetto stabile che si può seguire. È una nuvola che cambia rapidamente. Il trucco per far funzionare questi sistemi non è seguire meglio la nuvola; è smettere di cercare di seguirla e invece regolare la propria memoria per gestire i continui cambiamenti.

Sintesi Tecnica: "Nessun Sottospazio da Tracciare: Non-Identificabilità e Stato dell'Ottimizzatore nel Training a Basso Rango"

Definizione del Problema

Gli ottimizzatori efficienti dal punto diamente come GaLore (Zhao et al., 2024) riducono l'impronta di memoria dell'addestramento dei grandi modelli linguistici proiettando i gradienti su un sottospazio a basso rango (rango $r$ ) periodicamente ricalcolato e facendo girare Adam all'interno di tale sottospazio. La premessa geometrica sottostante a questo approccio è che il top- $r$ sottospazio dei gradienti sia un oggetto significativo e che muti lentamente nel tempo (drift), permettendo di essere tracciato attraverso gli intervalli di aggiornamento ( $T$ step). Se questa premessa fosse valida, le stime consecutive del sottospazio dovrebbero essere simili, e il trasporto dello stato dell'ottimizzatore (momenti) attraverso un aggiornamento richiederebbe solo piccole correzioni.

Questo articolo mette in discussione tale premessa, sostenendo che, oltre a un piccolo nucleo riproducibile, il top- $r$ sottospazio non è un oggetto stabile ma è statisticamente non-identificabile. Di conseguenza, la "rotazione" apparente del sottospazio ad ogni aggiornamento è dominata dal rumore dello stimatore piuttosto che dal movimento di una struttura geometrica stabile.

Metodologia

Gli autori impiegano un rigoroso framework di misurazione per quantificare la stabilità del sottospazio e l'impatto della non-identificabilità sulle prestazioni dell'ottimizzatore:

Misurazione della Rotazione del Sottospazio: Il documento introduce una metrica di distanza cordale corretta per il segno ( $\|\Delta U\|_F$ ) per misurare la rotazione tra la vecchia base ( $U_{old}$ ) e la nuova base ( $U_{new}$ ) ad ogni aggiornamento. Questa metrica varia da 0 (identica) a $\sqrt{2r}$ (ortogonale).
Controllo "Same-Step" (Il Test "Senza Tempo"): Per distinguere tra un reale drift temporale e il rumore dello stimatore, gli autori dividono un singolo minibatch in due metà disgiunte allo stesso step di addestramento. Calcolano il top- $r$ sottospazio per ciascuna metà e misurano il disaccordo. Se il sottospazio fosse una proprietà stabile del gradiente, le stime dello stesso step dovrebbero concordare. Se discordano tanto quanto le stime prese a $T$ step di distanza, la rotazione è rumore.
Analisi Spettrale: Gli autori analizzano lo spettro dei valori singolari dei gradienti per determinare se esiste un gap spettrale al rango $r$ che possa giustificare un taglio del sottospazio stabile.
Esperimenti di Media: Il documento testa se la media dei gradienti su $N$ step (o la media della base nel tempo) possa "salvare" l'identificabilità aprendo un gap spettrale.
Valutazione dei Rimedi: Gli autori testano tre strategie per mitigare i costi dei ridisegni del sottospazio:
- Media delle Basi: Utilizzare una media mobile esponenziale (EMA) della matrice di covarianza per stabilizzare la base.
- Trasporto dello Stato: Trasportare esplicitamente i momenti dell'ottimizzatore (primo e secondo) attraverso la matrice di rotazione $R = U_{new}^\top U_{old}$ (come fatto in LDAdam).
- Accorciamento della Memoria: Ridurre il parametro di decadimento $\beta_2$ di Adam per accorciare la memoria del secondo momento, evitando che integri statistiche obsolete dai precedenti sottospazi.

Gli esperimenti sono stati condotti su quattro famiglie di modelli (Pythia, GPT-2, Qwen2.5, Llama-3) con parametri da 70M a 6.9B, e un Vision Transformer (ViT-B).

Risultati Chiave

1. Il Sottospazio è Non-Identificabile

Rotazione Massima: Ad ogni aggiornamento, la rotazione misurata $\|\Delta U\|_F$ satura al 96.7–99.6% del massimo geometrico $\sqrt{2r}$ . La nuova base è quasi ortogonale alla precedente.
Dominanza del Rumore: Il controllo "same-step" rivela che due stime provenienti da metà disgiunte dello stesso batch discordano di $0.725\sqrt{2r}$ , un valore quasi identico alla rotazione tra tempi diversi di $0.742\sqrt{2r}$ . La "rotazione" non è movimento; è rumore dello stimatore.
Nucleo Riproducibile ( $k^\star$ ): Solo una piccola frazione di direzioni è riproducibile. Per $r=128$ , solo $k^\star \approx 39$ direzioni sono coerenti tra i minibatch. Le restanti $r - k^\star$ direzioni sono effettivamente campionamenti casuali da una coda spettrale priva di gap.

2. Cause Spettrali e Fallimento della Media

Spettro Senza Gap: Lo spettro del gradiente consiste in un piccolo picco dominante (da poche a circa 20 direzioni) seguito da una coda liscia e quasi isotropa senza gap al rango $r$ . Il rapporto tra valori singolari adiacenti a $r=128$ è $\approx 1.005$ .
Segnale, non Rumore: La profonda coda spettrale non è rumore di campionamento; è segnale con uno spettro a legge di potenza. Sotto una media $N$ -fold, questa coda si riduce solo come $N^{-1/4}$ anziché come $N^{-1/2}$ come atteso per il puro rumore. Pertanto, nessun budget di media finito può aprire un gap o stabilizzare il sottospazio.
La Media Fallisce: Fare la media delle basi su 10.000 step riduce la rotazione per aggiornamento solo leggermente (dal 97% all'84% del massimo) e non ha alcun effetto misurabile sulla perplexity finale (un intervallo di soli 0.36).

3. Perché GaLore Funziona Ancora

Nonostante la mancanza di un sottospazio stabile, GaLore funziona perché il ruolo della proiezione è principalmente la cattura dell'energia, non il tracciamento. Poiché la coda del gradiente è quasi isotropa, qualsiasi frame a $r$ dimensioni che includa lo spike dominante cattura una frazione costante dell'energia del gradiente ( $\gamma_g \approx 0.67–0.73$ ). La scelta specifica delle direzioni conta poco per la direzione della discesa, purché la frazione di energia sia preservata.

4. Rimedi Efficaci

Il costo del ridisegno è la obsolescenza dello stato dell'ottimizzatore trasportato, in particolare del secondo momento (varianza).

Trasporto dello Stato: Trasportare il primo momento tramite $R$ e il secondo momento tramite le voci al quadrato di $R$ è l'approccio ottimale. Trasportare ciecamente il secondo momento è provabilmente subottimale di un fattore $\approx (r - k^\star)/2$ . In test controllati, il trasporto dello stato con il $\beta_2$ predefinito di 0.999 ha raggiunto una perplexity di 18.73, superando la GaLore non trasportata (19.28).
Accorciamento della Memoria: Ridurre $\beta_2$ da 0.999 a 0.99 aiuta gli ottimizzatori che effettuano aggiornamenti periodici, impedendo l'integrazione di statistiche obsolete dai precedenti sottospazi, ormai invalidi. Questo ha migliorato la perplexity di 1.8 a 26 punti a seconda dell'ottimizzatore e della ricetta utilizzata.
Inefficacia della Media delle Basi: Come notato, stabilizzare la base tramite media non funziona perché il sottospazio è fondamentalmente non-identificabile.

Significato e Rivendicazioni

Il paper sostiene di fornire la prima misurazione diretta della premessa geometrica alla base degli ottimizzatori a basso rango, scoprendo che essa è falsa ai ranghi tipicamente utilizzati.

Chiarimento del Meccanismo: Il paper chiarisce che GaLore funziona non perché traccia una struttura stabile, ma perché cattura una frazione costante dell'energia del gradiente in un frame che viene effettivamente ridisegnato.
Strumento Diagnostico: Gli autori propongono un probe pratico: misurare il rango riproducibile $k^\star$ dividendo un batch. Se il rango scelto $r > k^\star$ , le direzioni eccedenti sono rumore.
Prescrizione Ingegneristica: Il paper prescrive due correzioni azionabili per il training a basso rango:
1. Trasportare lo stato attraverso la rotazione (come in LDAdam) invece di trasportarlo ciecamente.
2. Abbassare $\beta_2$ a 0.99 per ridurre la memoria del secondo momento, mitigando l'obsolescenza causata dai ridisegni periodici.
Ambito: Le scoperte si applicano specificamente agli ottimizzatori che calcolano ed aggiornano esplicitamente un sottospazio del gradiente (famiglia GaLore). Non si applicano a parametrizzazioni come LoRA che non calcolano un sottospazio del gradiente.

Gli autori concludono che l'"oggetto" (il sottospazio a basso rango stabile) non esiste oltre un piccolo nucleo, e tentare di tracciarlo significa inseguire un fantasma. La strada da seguire consiste nel riconoscere il ridisegno e adattare di conseguenza lo stato dell'ottimizzatore.