Measuring Dead Directions: Decomposing and Classifying Singular Structure off Canonical Alignment

Technische Samenvatting: Het meten van dode richtingen buiten de canonieke uitlijning

Probleemstelling
De singulariteitstheorie van het leren (Singular Learning Theory) karakteriseert getrainde neurale netwerken via de Watanabe-tripel: de leercoëfficiënt ($\lambda$), multipliciteit ($m$) en singular fluctuatie ($\nu$). Deze invarianten beheersen de Bayesiaanse vrije energie en de generalisatiefout. Het meten hiervan op echte netwerken is echter kostbaar en leunt vaak op stochastische posterior-sampling (bijv. SGLD), wat een enkele globale scalaire oplevert zonder de structuur te lokaliseren naar specifieke netwerkcoördinaten. Bovendien vereisten eerdere deterministische methoden voor het aflezen van de "orde" ($k$) van singulariteiten twee restrictieve voorwaarden: canonieke uitlijning (de dode richting moet op elk niveau uitgelijnd zijn met de coördinatessen) en afdaling (het aflezen moet plaatsvinden langs een trainingspad dat de singulariteit nadert). Echte getrainde netwerken schenden deze voorwaarden vaak, waardoor dode richtingen van de assen geroteerd zijn of diffuse structuren vormen die standaard scans per coördinaat missen.

Methodologie
Het artikel stelt een afdaling-vrije, uitlijning-vrije meetpipeline voor die opereert op een enkel bevroren checkpoint. De methode bestaat uit twee fasen: Detectie en Aflezen.

1. Detectie (Architectuur-adaptief):

   • De detector lokaliseert de "dode richting" ($u$) door de bijna-kern (near-kernel) van het natuurlijke tweede-moment-object van de laag te identificeren.
   • Voor generieke lagen maakt het gebruik van de K-FAC (Kronecker-factored approximate curvature) factor-paar ($A \otimes G$), waarbij gebruik wordt gemaakt van de A-G dualiteit: als de input-covariantie ($A$) er niet in slaagt de richting te isoleren, slaagt de output-gradiënt-covariantie ($G$) dat wel, en vice versa.
   • Voor convolutionele lagen gebruikt het een ruimtelijke patch-covariantie; voor LayerNorm gebruikt het de gesloten vorm van de kernel van de normalisatieschaal.
   • Cruciaal is dat de methode de gezamenlijke modus construeert vanuit deze factoren in plaats van de Fisher-spectrum te doorzoeken, waardoor de "gauge floor" (vlakke symmetrie-richtingen) en het samplen van null-ruimtes die onder de orde-dragende modus liggen, worden vermeden.

2. Aflezen (Afdaling-vrije scan):

   • Zodra een richting $u$ is genomineerd, voert de methode een synthetische scan uit: $\theta(t) = \theta_0 + tu$, waarbij $\theta_0$ het bevroren checkpoint is.
   • Het meet de directionele Fisher $F(\theta(t))$ langs deze scan.
   • De orde $k$ wordt hersteld uit de groeisnelheid van de Fisher: $u^\top F(\theta(t)) u = \Theta(t^{2(k-1)})$.
   • Een purity-matched window selector isoleert het asymptotische regime ($t \to 0$) door de fit-kwaliteit te maximaliseren ($r^2 > 0.95$), wat ervoor zorgt dat de herstelde exponent niet wordt gecontamineerd door lagere-orde componenten of gauge-ruis.
   • De methode classificeert richtingen op basis van magnitude en helling: een eindige helling duidt op een echte singulariteit (bijv. node-death, diepte-singulariteit), terwijl een vlakke magnitude bij de "vloer" duidt op een gauge-symmetrie (bijv. LayerNorm-kernel, rotatie).

Belangrijkste Bijdragen

1. Uitlijning-vrije orde-herstel: De methode herstelt de per-richting orde $k$ (en daarmee de lokale leercoëfficiënt $\lambda_{dir} = 1/(2k)$) zonder dat de dode richting uitgelijnd hoeft te zijn met de coördinatessen. Het slaagt erin geroteerde node-deaths in diepe netwerken af te lezen waar standaard scans falen.
2. Taxonomie van dode structuren: Het artikel classificeert dode richtingen in echte singulariteiten (eindige orde bepaald door de analytische orde van activatie of netwerkdiepte) en platte gauges (oneindige orde, die bijdragen aan multipliciteit maar niet aan complexiteit). Het introduceert een magnitude-gebaseerd criterium om gebogen gauge-banen (die de vorm van eindige orden nabootsen in helling) te onderscheiden van ware singulariteiten.
3. Deterministische decompositie: In tegenstelling tot posterior samplers die een enkele globale $\lambda$ teruggeven, deelt deze methode de complexiteit op in per-richting orden en de dead-subspace dimensie (het aantal richtingen bij de dominante orde).
4. Optimizer-afhankelijke geometrie: De studie toont aan dat hoewel de orde wordt bepaald door de architectuur (activatiefunctie of diepte), de basis en de scherpte van de dode structuur worden bepaald door de optimizer. Orthogonaliserende optimizers produceren heldere, leesbare structuren, terwijl standaard optimizers de structuren vaak te diffuus of geroteerd achterlaten om door canonieke methoden gelezen te worden.
5. Mapping van de Watanabe-tripel:
   • Orde ($k$): Bepaalt de universele singular fluctuatie $\nu(k)$.
   • Multipliciteit ($m$): Hersteld uit de dead-subspace dimensie onder een normal-crossing aanname.
   • Fluctuatie ($\nu$): Het artikel laat zien dat hoewel de orde de theoretische $\nu(k)$ vastlegt, de gerealiseerde $\nu$ in een getraind netwerk wordt onderdrukt onder deze universele waarde omdat de "levende" structuur de data-fluctuatie bedoeld voor de dode richting absorbeert.

Resultaten

• Validatie op geconstrueerde cellen: De methode herstelt voorspelde orden exact ($k=2$ voor GELU/ReLU node-deaths, $k=3$ voor squared-ReLU, $k=L$ voor diepte-$L$ lineaire netwerken) met $r^2 \approx 1.000$.
• Echte Netwerken:
  • Vanuit-nul ViT: Herstelt succesvol de door activatie voorspelde orde ($k \approx 2$ of $3$) voor geroteerde node-deaths in MLP-blokken, terwijl per-coördinaat scans afwijkende waarden opleveren.
  • Fine-Tuned DINOv2: Identificeert geen node-deaths, maar classificeert de dode structuur als architecturale gauges (LayerNorm-kernel, aandacht QK-rotatie), wat de capaciteit van de methode bevestigt om geleerde singulariteiten van symmetrieën te onderscheiden.
  • Optimizer Vergelijking: Vanilla Muon laat vaak dode structuren te diffuus achter om te lezen, terwijl scaled-polar orthogonalizers heldere, as-uitgelijnde of geroteerde structuren produceren die de methode accuraat leest.
• Globale Coëfficiënt: Op analytische modellen, waar de singular structuur telbaar is, komen de samengestelde per-richting orden overeen met de gesloten vorm globale $\lambda$ tot op machineprecisie.

Betekenis en Claims
Het artikel claimt de orde-herwinning om te zetten in een deterministische, architectuur-generieke afleesmethode die de voorwaarden van canonieke uitlijning en afdaling wegneemt. Het biedt een "goedkoop" (enkele forward/backward pass) alternatief voor dure posterior sampling voor het deconstrueren van de leercoëfficiënt.

De auteurs benadrukken hun bescheidenheid wat betreft de reikwijdte:

• De afleesbaarheid is conditioneel op een detector die erin slaagt de richting te nomineren; het vindt geen structuur in willekeurige richtingen.
• Het karakteriseert de structuur die door de optimizer is achtergelaten; als een optimizer een diffuse oplossing achterlaat (bijv. vanilla Muon op diepe transformers), is er geen heldere orde te herstellen.
• Hoewel het de orde en lokale coëfficiënt exact herstelt, wordt de gerealiseerde singular fluctuatie in getrainde netwerken onderdrukt door absorptie door de levende structuur, wat betekent dat de universele $\nu(k)$ een bovengrens is, geen exacte gerealiseerde waarde.
• De methode behandelt momenteel alleen "telbare" structuren; voor complexe determinantale variëteiten (bijv. brede matrix diepe lineaire netwerken) kan de globale assemblage nog steeds posterior sampling of geavanceerdere algebraïsche resolutie vereisen.

Samenvattend stelt het papier een praktisch kader vast voor het "aflezen" van de singulariteit-geometrie van getrainde netwerken op een bevroren checkpoint, wat een gedetailleerde, per-richting kaart van complexiteit biedt die de globale sampling-methoden complementeert.