Are You Measuring the Failure Subspace, or Its Ceiling?

Sintesi Tecnica: "State misurando il sottospazio di fallimento o il suo soffitto?"

Enunciato del Problema
Una prevalente affermazione empirica nella letteratura sulla Test-Time Adaptation (TTA) e sulla Low-Rank Adaptation (LRA) è che il sottospazio rilevante per l'adattamento di un modello — definito dallo span dei gradienti per singolo campione, dalle direzioni di Fisher o dalle "direzioni di fallimento" — sia sorprendentemente a bassa dimensionalità. Metodi come GOLD [7] e varie tecniche LRA si basano sull'osservazione che un piccolo numero di autovettori cattura la stragrande maggioranza dell'energia in questi vettori di tipo gradiente ("domande").

Tuttamente, questo articolo sostiene che per le specifiche definizioni di domanda comunemente utilizzate (gradienti della cross-entropy, gradienti dell'entropia e l'Average Gradient Outer Product o AGOP), questa osservazione di "bassa dimensionalità" non è una scoperta empirica riguardante i dati o la modalità di fallimento, ma un'identità algebrica. Queste domande sono matematicamente confinate nello spazio delle righe della matrice dei pesi del classificatore finale $W$. Di conseguenza, il loro rango di covarianza non può superare il numero di classi $C$ (o $C-1$ per le domande a somma zero). L'articolo postula che le strutture a basso rango riportate possano essere semplicemente una riscoperta di questo soffitto algebrico piuttosto che prova di una dimensione di fallimento intrinseca e compatta.

Metodologia
Per distinguere tra un soffitto algebrico e una genuina struttura a bassa dimensionalità, gli autori impiegano un design sperimentale controllato:

1. Dimostrazioni Algebriche: Il documento stabilisce tre proposizioni che dimostrano i limiti di rango per le comuni domande:
   • Gradienti di Cross-Entropy (CE) ed Entropia: Confinati in un iperpiano di dimensione al massimo $C-1$ a causa della proprietà zero-sum nello spazio dei logit.
   • AGOP: Confinati nello spazio delle righe di $W$, con un limite di rango di al massimo $C$.
2. Domanda Senza Soffitto: Per misurare ciò che si trova oltre questi soffitti, gli autori costruiscono una domanda "libera" ($d_{act}$) basata sulle quote dello spazio di attivazione ($A \odot -\nabla_A L$). Questa domanda non è l'immagine di $W^\top$ e può teoricamente occupare l'intera dimensione dello spazio delle caratteristiche ambiente $D$.
3. Sweep Controllato: Gli esperimenti sono condotti su sottoinsiemi annidati di CIFAR-100, variando il numero di classi $C$ da 2 a 100 mantenendo costanti l'architettura, la larghezza delle caratteristiche ($D$), il numero di campioni per classe e il protocollo di ottimizzazione.
4. Test di Sensibilità alla Larghezza: Gli autori raddoppiano la larghezza della rappresentazione finale ($D$ da 256 a 512) a un valore fisso di $C=100$ per testare se il rango misurato sia una proprietà del compito o dell'apparato di misurazione.
5. Decomposizione: I vettori di domanda libera vengono proiettati sullo spazio delle righe di $W$ ($P_{row(W)}$) e sul suo complemento ortogonale per analizzare la distribuzione dell'energia tra la componente del "soffitto" e la "coda".

Risultati Chiave

• Le Domande Vincolate sono Agganciate al loro Soffitto: Per le domande CE, dell'entropia e AGOP, il rango effettivo ($r_{90}$) segue da vicino il soffitto algebrico. A $C=100$, queste domande occupano il 55–65% del loro rango massimo possibile ($C$ o $C-1$). All'aumentare di $C$, la frazione del soffitto occupata diminuisce effettivamente, indicando che l'apparente struttura a basso rango per grandi valori di $C$ è il risultato del fatto che il soffitto si sta "svuotando", non dell'emergere di una nuova struttura.
• La Domanda Libera Eccede il Soffitto ed è Sensibile alla Larghezza: La domanda priva di soffitto esibisce un rango effettivo che supera $C$ (ad esempio, 41.7 a $C=20$) e cresce con $C$ a un tasso approssimativamente doppio rispetto alle domande vincolate. Fondamentalmente, quando la larghezza delle caratteristiche $D$ viene raddoppiata, il rango effettivo della domanda libera aumenta significativamente (da 111 a 191), mentre le domande vincolate rimangono relativamente stabili. Ciò suggerisce che il rango della domanda libera è una funzione della dimensione dello spazio ambiente, non solo della difficoltà del compito.
• La Decomposizione Rivela una Coda Ampia: Proiettare la domanda libera su $row(W)$ rivela che circa il 74% della sua energia risiede nel sottospazio indotto dal classificatore, riproducendo l'esatto scatto spettrale all'indice $C$ osservato nelle domande vincolate. Il restante ~26% dell'energia forma una "coda ampia, debolmente strutturata e priva di ginocchio" che si estende su centinaia di dimensioni. Il rango di questa coda segue la dimensione dello spazio ambiente piuttosto che una dimensione intrinseca compatta.
• Rivalutazione di GOLD: Il documento rianalizza il metodo GOLD, notando che la sua affermazione di "forte concentrazione a basso rango" (i primi 64–128 autovettori catturano >99% dell'energia su CIFAR-100-C) è tautologica dato il soffitto algebrico di $C=100$. I numeri riportati riflettono l'occupazione dello spazio indotto dal classificatore, non la scoperta di un manifold nascosto a bassa dimensionalità nello spazio completo delle caratteristiche.

Significatività e Rivendicazioni
L'articolo conclude che l'affermazione "il sottospazio di adattamento è sorprendentemente a basso rango" confonde due oggetti distinti:

1. Un Fatto Algebrico: Le domande derivate dai logit sono confinate in $row(W)$ e non possono superare il rango $C$. Questo è un teorema, non una scoperta.
2. Una Ipotesi di Proprietà dei Dati: Una dimensione di fallimento intrinseca e compatta. Gli autori non trovano prove di tale dimensione nei loro esperimenti; al contrario, rimuovendo il soffitto algebrico emerge una coda ampia e sensibile alla larghezza.

Spostamento Proposto nella Rendicontazione:
Gli autori sostengono che riportare solo il "rango effettivo" sia insufficiente e potenzialmente fuorviante per le domande vinte dal soffitto. Propongono che il lavoro futuro in quest'area debba riportare:

• Rango Effettivo Normalizzato rispetto al Soffitto ($\rho_{ceil}$): Il rapporto tra il rango effettivo e il soffitto algebrico, separando il decadimento spettrale empirico dai vincoli algebrici.
• Quota di Energia dello Spazio delle Righe ($\rho$): La frazione dell'energia della domanda che giace all'interno di $row(W)$. Questo metrica è stabile rispetto alla larghezza e quantifica direttamente la massima energia accessibile a qualsiasi metodo limitato allo spazio delle righe del classificatore (che include la maggior parte degli attuali metodi TTA/LRA).

L'articolo non afferma che i metodi a basso rango siano inefficaci, ma piuttosto che il loro successo non dovrebbe essere attribuito a una "struttura nascosta a bassa dimensionalità" nei dati, bensì al fatto che operano entro i vincoli algebrici del classificatore. L'utilità della "coda" (l'energia al di fuori di $row(W)$) rimane una questione aperta.