Measuring Dead Directions: Decomposing and Classifying Singular Structure off Canonical Alignment

Sintesi Tecnica: Misurare le Direzioni Morte fuori dall'Allineamento Canonico

Definizione del Problema
La teoria dell'apprendimento singolare caratterizza le reti neurali addestrate tramite la tripla di Watanabe: il coefficiente di apprendimento ($\lambda$), la molteplicità ($m$) e la fluttuazione singolare ($\nu$). Questi invarianti governano l'energia libera bayesiana e l'errore di generalizzazione. Tuttavia, misurarli su reti reali è costoso e spesso si basa sul campionamento stocastico della distribuzione a posteriori (ad es., SGLD), che fornisce un singolo scalare globale senza localizzare la struttura in specifiche coordinate della rete. Inoltre, i precedenti metodi deterministici per leggere l' "ordine" ($k$) delle singolarità richiedevano due precondizioni restrittive: l'allineamento canonico (la direzione morta deve allinearsi con gli assi delle coordinate in ogni livello) e la discesa (la lettura deve avvenire lungo una traiettoria di addestramento che si avvicina alla singolarità). Le reti reali addestrate spesso violano queste condizioni, lasciando le direzioni morte ruotate rispetto agli assi o formando strutture diffuse che le scansioni standard per coordinata non riescono a rilevare.

Metodologia
Il saggio propone una pipeline di misurazione priva di discesa e priva di allineamento che opera su un singolo checkpoint congelato. Il metodo consiste in due fasi: Rilevamento e Lettura.

1. Rilevamento (Adattivo all'Architettura):

   • Il rilevatore individua la "direzione morta" ($u$) identificando il quasi-nucleo dell'oggetto del secondo momento naturale del livello.
   • Per i livelli generici, utilizza la coppia di fattori K-FAC (Kronecker-factored approximate curvature) ($A \otimes G$), sfruttando la dualità A-G: se la covarianza di input ($A$) non riesce a isolare la direzione, la covarianza del gradiente di output ($G$) ci riesce, e viceversa.
   • Per i livelli convoluzionali, utilizza una covarianza spaziale a patch; per il LayerNorm, utilizza il kernel in forma chiusa della scala di normalizzazione.
   • Fondamentalmente, il metodo costruisce il modo congiunto da questi fattori invece di cercare nello spettro di Fisher, evitando il "pavimento di gauge" (direzioni di simmetria piatte) e il campionamento di spazi nulli che giacciono al di sotto del modo portatore di ordine.

2. Lettura (Scansione Senza Discesa):

   • Una volta nominata una direzione $u$, il metodo esegue una scansione sintetica: $\theta(t) = \theta_0 + tu$, dove $\theta_0$ è il checkpoint congelato.
   • Misura la Fisher direzionale $F(\theta(t))$ lungo questa scansione.
   • L'ordine $k$ viene recuperato dalla velocità di crescita della Fisher: $u^\top F(\theta(t)) u = \Theta(t^{2(k-1)})$.
   • Un selettore di finestra a purezza corrispondente isola il regime asintotico ($t \to 0$) massimizzando la qualità del fit ($r^2 > 0.95$), garantendo che l'esponente recuperato non sia contaminato da componenti di ordine inferiore o rumore di gauge.
   • Il metodo classifica le direzioni in base alla magnitudo e alla pendenza: una pendenza finita indica una singolarità genuina (ad es., morte dei nodi, singolarità di profondità), mentre una magnitudo piatta al "pavimento" indica una simmetria di gauge (ad es, kernel di LayerNorm, rotazione).

Contributi Chiave

1. Recupero dell'Ordine Indipendente dall'Allineamento: Il metodo recupera l'ordine per direzione $k$ (e quindi il coefficiente di apprendimento locale $\lambda_{dir} = 1/(2k)$) senza richiedere che la direzione morta sia allineata con gli assi delle coordinate. Recupera con successo le morti dei nodi ruotati in reti profonde dove le scansioni standard falliscono.
2. Tassonomia della Struttura Morta: Il saggio classifica le direzioni morte in singolarità genuine (ordine finito determinato dall'ordine analitico dell'attivazione o dalla profondità della rete) e gauge piatti (ordine infinito, che contribuiscono alla molteplicità ma non alla complessità). Introduce un criterio basato sulla magnitudo per distinguere le orbite di gauge curve (che imitano ordini finiti nella pendenza) dalle vere singolarità.
3. Decomposizione Deterministica: A differenza dei campionatori a posteriori che restituiscono un singolo $\lambda$ globale, questo metodo decompone la complessità in ordini per direzione e nella dimensione dello spazio morto (il conteggio delle direzioni all'ordine dominante).
4. Geometria Dipendente dall'Ottimizzatore: Lo studio dimostra che, mentre l'ordine è fissato dall'architettura (funzione di attivazione o profondità), la base e la nitidezza della struttura morta sono determinate dall'ottimizzatore. Gli ottimizzatori ortogonali producono strutture pulite e leggibili, mentre gli ottimizzatori standard possono lasciare strutture troppo diffuse o ruotate per essere lette dai metodi canonici.
5. Mappatura della Tripla di Watanabe:
   • Ordine ($k$): Determina la fluttuazione singolare universale $\nu(k)$.
   • Molteplicità ($m$): Recuperata dalla dimensione dello spazio morto sotto l'assunzione di incrocio normale.
   • Fluttuazione ($\nu$): Il saggio mostra che, sebbene l'ordine fissi il $\nu$ teorico, il $\nu$ realizzato di una rete addestrata è soppresso al di sotto di questo valore universale perché la struttura "viva" assorbe la fluttuazione dei dati destinata alla direzione morta.

Risultati

• Validazione su Celle Costruite: Il metodo recupera esattamente gli ordini previsti ($k=2$ per le morti dei nodi di GELU/ReLU, $k=3$ per squared-ReLU, $k=L$ per reti lineari di profondità $L$) con $r^2 \approx 1.000$.
• Reti Reali:
  • ViT da zero: Recupera con successo l'ordine previsto dall'attivazione ($k \approx 2$ o $3$) per le morti dei nodi ruotati nei blocchi MLP, laddove le scansioni per coordinata restituiscono valori devianti.
  • DINOv2 Fine-Tuned: Identifica l'assenza di morti dei nodi e classifica la struttura morta come gauge architettonici (kernel di LayerNorm, rotazione QK dell'attenzione), confermando la capacità del metodo di distinguere tra singolarità apprese e simmetrie.
  • Confronto tra Ottimizzatori: Il Muon vanilla spesso lascia le strutture morte troppo diffuse per essere lette, mentre gli ortogonalizzatori polar-scaled producono strutture pulite, allineate agli assi o ruotate, che il metodo legge accuratamente.
• Coefficiente Globale: Su modelli analitici in cui la struttura singolare è enumerabile, gli ordini per direzione assemblati corrispondono al $\lambda$ globale in forma chiusa con precisione di macchina.

Significatività e Rivendicazioni
Il saggio sostiene di trasformare il recupero dell'ordine in una lettura deterministica e generale per l'architettura che rimuove le precondizioni di allineamento canonico e discesa dei lavori precedenti. Fornisce un'alternativa "economica" (un singolo passaggio forward/backward) al costoso campionamento a posteriori per decomporre il coefficiente di apprendimento.

Gli autori sottolineano la modestia riguardo all'ambito:

• La lettura è condizionale su un rilevatore che riesca a nominare la direzione; non trova strutture in direzioni casuali.
• Caratterizza la struttura lasciata dall'ottimizzatore; se un ottimizzatore lascia una soluzione diffusa (ad es., Muon vanilla su transformer profondi), non c'è un ordine pulito da recuperare.
• Sebbene recuperi l'ordine e il coefficiente locale esattamente, la fluttuazione singolare realizzata nelle reti addestrate è soppressa dall'assorbimento della struttura viva, il che significa che il $\nu(k)$ universale è un limite superiore, non il valore esatto realizzato.
• Il metodo attualmente gestisce strutture "enumerabili"; per varietà determinanti complesse (ad es, reti lineari profonde con matrici larghe), l'assemblaggio globale potrebbe ancora richiedere il campionamento a posteriori o una risoluzione algebrica più avanzata.

In sintesi, il saggio stabilisce un quadro pratico per "leggere" la geometria singolare delle reti addestrate in un checkpoint congelato, offrendo una mappa dettagliata per direzione della complessità che integra i metodi di campionamento globale.