Sintesi Tecnica: Firme di Direzione Morta (Dead-Direction Signatures - DDS)

Definizione del Problema

La Teoria dell'Apprendimento Singolare (Singular Learning Theory - SLT) caratterizza la complessità delle reti profonde sovra-parametrizzate attraverso la geometria locale delle loro singolarità della perdita. L'invariante primario in questo framework è la Soglia Logaritmica Reale (Real Log Canonical Threshold - RLCT, indicata con $\lambda$), che misura la complessità effettiva di un modello vicino a un minimo singolare. In pratica, il Coefficiente di Apprendimento Locale (Local Learning Coefficient - LLC) è emerso come lo stimatore canonico per $\lambda$. Tuttavia, la stima dell'LLC è computazionalmente proibitiva, richiedendo da $10^4$ a $10^6$ passaggi forward-backward per checkpoint tramite campionamento SGLD (Stochastic Gradient Langevin Dynamics) per integrare sulla distribuzione posteriore locale. Questo costo rende l'LLC impraticabile per modelli su larga scala (es. LLM) o per il monitoraggio ad alta frequenza durante l'addestramento.

Il documento affronta la necessità di un'alternativa "economica" per leggere la struttura singolare senza l'overhead dell'integrazione della posteriore. Nello specifico, cerca un metodo per rilevare e quantificare le "direzioni morte" (dead directions)—direzioni dei parametri lungo le quali il paesaggio della perdita è piatto (singolare)—utilizzando letture spettrali in forma chiusa delle attivazioni e dei gradienti della rete.

Metodologia: Firme di Direzione Morta (DDS)

Gli autori introducono le Dead-Direction Signatures (DDS), una famiglia di osservabili spettrali in forma chiusa derivate da un framework teorico (Shirodkar, 2026) che collega il tasso di decadimento dell'informazione di Fisher lungo le direzioni morte al RLCT.

Fondamento Teorico

Il framework postula che, in un minimo singolare, la matrice di informazione di Fisher $F(\theta)$ perde rango lungo specifiche "direzioni morte" $u$. Se la divergenza di Kullback-Leibler (KL) decade come $K(\theta_0 + tu) \sim t^{2k}$ (dove $k$ è l'ordine KL), l'informazione di Fisher direzionale decade come $\Theta(t^{2(k-1)})$. La regola di selezione connette questo esponente di decadimento al contributo direzionale del RLCT ($1/2k$).

Il framework stabilisce una correlazione strutturale tra lo spettro delle attivazioni e lo spettro Fisher-Gram in qualsiasi minimo singolare. Per una rete con $L$ strati e informazione di Fisher decomponibile in KFAC $F_\ell \approx A_\ell \otimes G_\ell$:

1. Lato Fisher: Il più piccolo autovalore positivo della Fisher-Gram del gradiente per singolo campione, $\lambda^+_{\min}(G_\ell)$, decade come $\Theta(t^{2(L-\ell)})$.
2. Lato Attivazione: Il quadrato del valore singolare minimo della matrice di attivazione, $\sigma^2_{\min}(X_\ell)$, decade come $\Theta(t^{2\ell})$.
3. Correlazione: Queste due quantità sono co-monotoniche, implicando una correlazione di rango di Spearman che si avvicina a $+1$ nel limite asintotico.

Le Tre Osservabili DDS

Le DDS sostituiscono la catena posteriore SGLD con tre letture economiche in forma chiusa in uno strato $\ell$ scelto:

1. Osservabile di Tasso ($\lambda^+_{\min}(G_\ell)$): Il più piccolo autovalore strettamente positivo della Fisher-Gram. Rileva la presenza di direzioni morte e le localizza in strati specifici (es. colli di bottiglia).
2. Osservabile di Volume ($\log \det^+(G_\ell)$): Il log-volume dello spettro Fisher attivo (somma dei logaritmi degli autovalori positivi). Questa osservabile è sensibile al numero di direzioni morte (deficit di rango $r$).
3. Osservabile Duale ($\sigma_{\min}(X_\ell)$): Il valore singolare minimo della matrice di attivazione. Fornisce un proxy lato attivazione del tasso lato Fisher, computabile tramite un singolo passaggio forward e SVD.

Contributi Chiave

1. Rilevamento e Conteggio del Deficit di Rango:

   • Rilevamento: $\lambda^+_{\min}(G_\ell)$ collassa di ordini di grandezza (es. $\sim 246\times$) nell'istante in cui appare una direzione morta, permettendo il rilevamento da un singolo passaggio backward.
   • Conteggio: Il documento introduce un'identità di volume moltiplicativa del rango. Mentre i monitor a singolo autovalore sono "ciechi al rango", la pendenza di $\log \det^+(G_\ell)$ scala linearmente con il deficit di rango $r$. Nello specifico, il rapporto di pendenza rispetto a una baseline di rango-1 è uguale a $r$ (es. pendenze di 2.0, 3.1, 4.0 per $r=2, 3, 4$). Ciò consente alle DDS di contare le direzioni morte, una capacità che i monitor a singolo autovalore non possiedono.

2. Validazione contro il RLCT in Forma Chiusa:

   • Sull'ancora di regressione a rango ridotto di Aoyagi (2005) (dove $\lambda$ analitico è noto), le osservabili DDS seguono il ranking del $\lambda$ analitico con un'alta correlazione ($|\rho| \in [0.95, 0.98]$).
   • Gli autori dimostrano che, mentre il rank-tracking cross-cell è un "test di sanità" (anche proxy di capacità ingenui lo superano), l'identità di volume moltiplicativa del rango funge da test discriminante che i proxy ingenui non riescono a riprodurre.

3. Estensione a Transformer Non Lineari:

   • Su una scansione della larghezza (width sweep) di un transformer per l'addizione modulare di Nanda, le osservabili DDS separano le larghezze del modello ($d_{\text{model}}$) attraverso 18 ordini di grandezza con coerenza di segno ($|\rho| \in [0.62, 0.96]$).
   • Al contrario, l'LLC calibrato allo stesso budget del protocollo è "piatto rispetto al rango" (incapace di distinguere le larghezze), e anche un aumento di 9 volte del budget SGLD non riesce a risolvere le larghezze.

4. Efficienza dei Costi:

   • Le osservabili DDS sono ordini di grandezza più economiche dell'LLC. $\sigma_{\min}(X_\ell)$ richiede un passaggio forward e una SVD ($O(Nh^2)$). $\lambda^+_{\min}(G_\ell)$ e $\log \det^+(G_\ell)$ richiedono un passaggio backward e una decomposizione in autovalori ($O(h^3)$).
   • Su modelli piccoli, le DDS sono $\sim 300\times$ più economiche dell'LLC calibrato; sulle larghezze di LLM, la correlazione strutturale permette di recuperare l'ordinamento lato Fisher tramite il più economico \sigma_{\min lato attivazione, bypassando l'esosa decomposizione $O(h^3)$ della Fisher.

Risultati

• Ancora a Forma Chiusa: Su 14 celle dell'ancora Aoyagi 2005, l'LLC calibrato recupera il $\lambda$ analitico con una media del 99%. Le osservabili DDS seguono il ranking di $\lambda$ con $|\rho| \ge 0.95$.
• Identità di Volume: Attraverso 7 configurazioni "noisy-bridge", il rapporto di pendenza di $\log \det^+(G)$ segue il deficit di rango $r$ con medie di 2.0, 3.1 e 4.0 per $r=2, 3, 4$ (previsti 2, 3, 4).
• Scansione Larghezza Transformer: Le osservabili DDS mostrano una discesa monotona con l'aumentare di $d_{\text{model}}$ (coprendo 5–15 ordini di grandezza), mentre l'LLC rimane piatto.
• Correlazione Strutturale: L'identità statica $\lambda^+_{\min}(G_\ell) \propto \sigma^2_{\min}(X_\ell)$ regge su diversi testbed (bridge canonici, Barak sparse parity, Nanda modular addition) con correlazioni $\rho \ge +0.75$, anche in regimi in cui i fit di tasso di traiettoria falliscono (es. AdamW+CE).
• Dinamiche di Grokking: In Barak sparse parity, le osservabili DDS rilevano la discesa geometrica verso il minimo singolare (scendendo di $\sim 10$ ordini di grandezza) durante la fase di "cleanup", mentre l'LLC rimane in plateau.

Significato e Ambito

Il documento sostiene che le DDS forniscono la prima gestione direzionale e locale dei parametri della complessità singolare che sia computazionalmente fattibile su larga scala.

• Complementarità: Le DDS sono presentate come complementari all'LLC. Mentre l'LLC integra sulla posteriore per fornire riassunti bayesiani (es. WAIC, fluttuazioni singolari, plateau di sviluppo), le DDS offrono una lettura "direzionale e locale per strato" della struttura singolare in forma chiusa.
• Limitazioni: Gli autori sono modesti riguardo all'ambito. Le DDS sono validate su modelli singolari parametrici con $\lambda$ a forma chiusa e una scansione di larghezza di un transformer non lineare. Le previsioni del tasso di traiettoria (es. specifici esponenti di legge di potenza) richiedono un "allineamento canonico" (tipicamente SGD su metriche G-invarianti) e possono fallire sotto ottimizzatori di classe Adam a causa della non-equivarianza. Tuttavia, la correlazione strutturale statica regge anche sotto AdamW+CE.
• Lavoro Futuro: Il documento identifica l'estensione di queste letture a architetture transformer più ampie, catene di sola attenzione e altri compiti algoritmici come lavoro empirico aperto. Suggerisce inoltre che le stesse letture di direzione morta potrebbero eventualmente estendere il resto della tripla di Watanabe (molteplicità $m$, fluttuazione $\nu$) e il WAIC senza l'uso di SGLD.

In sintesi, le DDS scambiano la lettura integrata della posteriore dell'LLC con letture spettrali economiche in forma chiusa, consentendo il rilevamento e il conteggio delle direzioni morte a una frazione del costo computazionale, rendendo così l'analisi della complessità singolare trattabile per modelli più grandi e per il monitoraggio ad alta frequenza.