Technische Samenvatting: Dead-Direction Signatures (DDS)

Probleemstelling

Singular Learning Theory (SLT) karakteriseert de complexiteit van overgeparameteriseerde diepe netwerken via de lokale geometrie van hun verliessingulariteiten. De primaire invariante factor in dit kader is de Real Log Canonical Threshold (RLCT, aangeduid als $\lambda$), die de effectieve complexiteit van een model nabij een singuliere minimum meet. In de praktijk is de Local Learning Coefficient (LLC) de canonieke estimator geworden voor $\lambda$. Echter, het schatten van de LLC is computationeel prohibitief; het vereist $10^4$ tot $10^6$ forward-backward passes per checkpoint via Stochastic Gradient Langevin Dynamics (SGLD) sampling om over de lokale posterior te integreren. Deze kosten maken LLC onpraktisch voor grootschalige modellen (bijv. LLM's) of monitoring met een hoge frequentie tijdens de training.

Het artikel adresseert de behoefte aan een "goedkoop" alternatief om de singuliere structuur te lezen zonder de overhead van posterior integratie. Specifiek zoekt het naar een methode om "dead directions" te detecteren en te kwantificeren—parameterrichtingen waarover het verlieslandschap vlak is (singulier)—met behulp van gesloten vorm spectrale afgeleiden van netwerkactivaties en gradiënten.

Methodologie: Dead-Direction Signatures (DDS)

De auteurs introduceren Dead-Direction Signatures (DDS), een familie van gesloten vorm spectrale observabelen afgeleid van een theoretisch kader (Shirodkar, 2026) dat de vervalrate van de Fisher-informatie langs dead directions koppelt aan de RLCT.

Theoretische Fundering

Het kader stelt dat bij een singulier minimum de Fisher-informatie matrix $F(\theta)$ zijn rang verliest langs specifieke "dead directions" $u$. Als de Kullback-Leibler (KL) divergentie vervalt als $K(\theta_0 + tu) \sim t^{2k}$ (waarbij $k$ de KL-orde is), dan vervalt de directionele Fisher-informatie als $\Theta(t^{2(k-1)})$. De selectieregel verbindt deze vervalexponent met de directionele bijdrage van de RLCT ($1/2k$).

Het kader stelt een structurele correlatie vast tussen het activatiespectrum en het Fisher-Gram spectrum bij elk singulier minimum. Voor een $L$-laags netwerk met KFAC-decomponeerbare Fisher-informatie $F_\ell \approx A_\ell \otimes G_\ell$:

1. Fisher-zijde: De kleinste positieve eigenwaarde van de per-sample-gradient Fisher-Gram, $\lambda^+_{\min}(G_\ell)$, vervalt als $\Theta(t^{2(L-\ell)})$.
2. Activatie-zijde: De gekwadrateerde kleinste singuliere waarde van de activatiematrix, $\sigma^2_{\min}(X_\ell)$, vervalt als $\Theta(t^{2\ell})$.
3. Correlatie: Deze twee grootheden zijn co-monotoon, wat impliceert dat de Spearman rangcorrelatie in de asymptotische limiet de $+1$ nadert.

De Drie DDS Observabelen

DDS vervangt de SGLD posterior keten door drie goedkope, gesloten vorm aflezingen op een gekozen laag $\ell$:

1. Rate Observable ($\lambda^+_{\min}(G_\ell)$): De kleinste strikt positieve eigenwaarde van de Fisher-Gram. Het detecteert de aanwezigheid van dead directions en lokaliseert deze tot specifieke lagen (bijv. bottlenecks).
2. Volume Observable ($\log \det^+(G_\ell)$): Het log-volume van het actieve Fisher-spectrum (som van de logaritmen van positieve eigenwaarden). Deze observabele is gevoelig voor het aantal dead directions (rank-tekort $r$).
3. Dual Observable ($\sigma_{\min}(X_\ell)$): De kleinste singuliere waarde van de activatiematrix. Het biedt een activatie-zijde proxy voor de Fisher-zijde rate, berekenbaar via een enkele forward pass en SVD.

Belangrijkste Bijdragen

1. Detectie en Rank-Deficit Telling:

   • Detectie: $\lambda^+_{\min}(G_\ell)$ stort met ordes van grootte in (bijv. $\sim 246\times$) op het moment dat een dead direction verschijnt, wat detectie mogelijk maakt vanuit een enkele backward pass.
   • Tellen: Het artikel introduceert een rank-multiplicatieve volume-identiteit. Terwijl single-eigenvalue monitors "rank-blind" zijn, schaalt de helling van $\log \det^+(G_\ell)$ lineair met de rank-deficit $r$. Specifiek is de hellingsratio ten opzichte van een rank-1 baseline gelijk aan $r$ (bijv. hellingen van 2.0, 3.1, 4.0 voor $r=2, 3, 4$). Dit stelt DDS in staat om dead directions te tellen, een capaciteit die single-eigenvalue monitors missen.

2. Validatie Tegen Closed-Form RLCT:

   • Op de Aoyagi (2005) reduced-rank regression anchor (waar analytische $\lambda$ bekend is), rank-tracken DDS-observabelen de analytische $\lambda$ met een hoge correlatie ($|\rho| \in [0.95, 0.98]$).
   • De auteurs demonstreren dat terwijl cross-cell rank-tracking een "sanity gate" is (zelfs naïeve capaciteitsproxy's passeren dit), de rank-multiplicatieve volume-identiteit dient als een discriminerende test die naïeve proxy's niet kunnen reproduceren.

3. Extensie naar Niet-Lineaire Transformers:

   • Op een Nanda modular-addition transformer width sweep, scheiden DDS-observabelen modelbreedtes ($d_{\text{model}}$) over 18 ordes van grootte met sign coherentie ($|\rho| \in [0.62, 0.96]$).
   • In contrast hiermee is de gekalibreerde LLC bij hetzelfde protocol budget "rank-flat" (niet in staat om breedtes te onderscheiden), en zelfs een 9x toename van het SGLD budget slaagt er niet in de breedtes te resolveren.

4. Kostenefficiëntie:

   • DDS-observabelen zijn ordes van grootte goedkoper dan LLC. $\sigma_{\min}(X_\ell)$ vereist één forward pass en een SVD ($O(Nh^2)$). $\lambda^+_{\min}(G_\ell)$ en $\log \det^+(G_\ell)$ vereisen een backward pass en eigendecompositie ($O(h^3)$).
   • Op kleine modellen is DDS $\sim 300\times$ goedkoper dan gekalibreerde LLC; op LLM-breedtes maakt de structurele correlatie het mogelijk om de Fisher-zijde ordening te herstellen via de goedkopere activatie-zijde $\sigma_{\min}$, waardoor de dure $O(h^3)$ Fisher eigendecompositie wordt omzeild.

Resultaten

• Closed-Form Anchor: Op 14 cellen van de Aoyagi 2005 anchor, herstelt gekalibreerde LLC de analytische $\lambda$ met 99% gemiddelde. DDS-observabelen rank-tracken $\lambda$ met $|\rho| \ge 0.95$.
• Volume Identiteit: Over 7 noisy-bridge configuraties volgt de $\log \det^+(G)$ hellingsratio de rank-deficit $r$ met gemiddelden van 2.0, 3.1 en 4.0 voor $r=2, 3, 4$ (voorspeld 2, 3, 4).
• Transformer Width Sweep: DDS-observabelen vertonen een monotone daling met toenemende $d_{\text{model}}$ (over spanning van 5–15 ordes van grootte), terwijl LLC vlak blijft.
• Structurele Correlatie: De statische identiteit $\lambda^+_{\min}(G_\ell) \propto \sigma^2_{\min}(X_\ell)$ houdt stand over diverse testbeds (canonical bridges, Barak sparse parity, Nanda modular addition) met correlaties $\rho \ge +0.75$, zelfs in regimes waar trajectory rate-fits falen (bijv. AdamW+CE).
• Grokking Dynamiek: In de Barak sparse parity detecteren DDS-observabelen de geometrische daling naar het singuliere minimum (een daling van $\sim 10$ ordes van grootte) tijdens de "cleanup" fase, terwijl LLC een plateau vertoont.

Betekenis en Reikwijdte

Het artikel claimt dat DDS de eerste directionele, parameterr-lokale handgreep op singuliere complexiteit biedt die computationeel haalbaar is op schaal.

• Complementariteit: DDS wordt gepresenteerd als complementair aan LLC. Terwijl LLC over de posterior integreert om Bayesiaanse samenvattingen te geven (bijv. WAIC, singuliere fluctuaties, ontwikkelingsplateaus), biedt DDS een "directionele, laag-lokale" lezing van de singuliere structuur in gesloten vorm.
• Beperkingen: De auteurs zijn bescheiden over de reikwijdte. DDS is gevalideerd op parametrische singuliere modellen met closed-form RLCT en één niet-lineaire transformer width sweep. De trajectory rate-voorspellingen (bijv. specifieke machtswet-exponenten) vereisen "canonieke uitlijning" (typisch SGD op G-invariante metrieken) en kunnen falen onder Adam-klasse optimizers vanwege niet-equivalentie. Echter, de statische structurele correlatie houdt stand, zelfs onder AdamW+CE.
• Toekomstig Werk: Het artikel identificeert het uitbreiden van deze lezingen naar bredere transformer architecturen, attention-only chains en andere algoritmische taken als open empirisch werk. Het suggereert ook dat dezelfde dead-direction lezingen uiteindelijk de rest van de Watanabe triple (multipliciteit $m$, fluctuatie $\nu$) en WAIC zonder SGLD zouden kunnen uitbreiden.

Samenvattend ruilt DDS de geïntegreerde posterior lezing van LLC in voor goedkope, gesloten vorm spectrale lezingen, wat de detectie en het tellen van dead directions mogelijk maakt tegen een fractie van de computationele kosten, waardoor de analyse van singuliere complexiteit hanteerbaar wordt voor grotere modellen en hogere frequenties van monitoring.