📊 statistics

Algebraic Dead Directions in LayerNorm Transformers: A Forward-Pass-Only Diagnostic at LLM Scale

Dit artikel introduceert een nieuwe, uitsluitend op de forward-pass gebaseerde diagnostiek voor LayerNorm-transformers die een exacte algebraïsche dode richting in de parameterruimte identificeert met behulp van enkel de LayerNorm-schaalparameters, een methode die over 14 modellen heen is gevalideerd om singulariteiten accuraat te voorspellen en LayerNorm van RMSNorm-architecturen te onderscheiden zonder eigendecompositie.

Oorspronkelijke auteurs: Tejas Pradeep Shirodkar, P. J. Narayanan

Gepubliceerd 2026-06-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tejas Pradeep Shirodkar, P. J. Narayanan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een enorm, complex machine learning-model (een Transformer) voor als een gigantische wolkenkrabber van vele verdiepingen, gemaakt van wiskundige vergelijkingen. Wanneer ingenieurs deze modellen trainen, draaien ze aan miljarden kleine knoppen (parameters) om de wolkenkrabber perfect recht te laten staan en goed te laten functioneren.

Dit artikel introduceert een nieuwe manier om in die wolkenkrabber te kijken om "dode richtingen" te vinden.

Wat is een "Dode Richting"?

Beschouw de parameters van het model als een landschap van heuvels en dalen. Normaal gesproken, als je het model een klein beetje in een bepaalde richting duwt, verandert de werking ervan. Maar in deze "dode richtingen" is het landschap volkomen vlak. Als je het model langs een dode richting duwt, gebeurt er niets. Het is alsof je over een bevroren meer loopt: je kunt eeuwig blijven glijden zonder te zakken of je pad te veranderen.

Het vinden van deze richtingen is normaal gesproken moeilijk. Het vereist meestal het doorlopen van duizenden testgevallen met het model, complexe wiskunde op de resultaten, of het simuleren hoe het model leert. Het is alsof je probeert een verborgen barst in een muur te vinden door er duizenden keren op te tikken.

De Grote Ontdekking: Het "Magische Kompas"

De auteurs ontdekten een afkorting, maar alleen voor modellen die een specifiek onderdeel gebruiken genaamd LayerNorm (een standaardinstrument in AI).

Ze ontdekten dat je het model niet hoeft te draaien of zware wiskunde hoeft uit te voeren om deze dode richtingen te vinden. Je hoeft alleen maar naar één specifiek getal binnen de instellingen van het model te kijken, genaamd de "gamma" ( $\gamma$ ) parameter.

De Analogie: Stel je voor dat de LayerNorm-component een draaiknop heeft met getallen erop. De auteurs ontdekten dat als je simpelweg de inverse van die getallen neemt (ze ondersteboven keert) en ze normaliseert, je een perfecte kaart krijgt die direct naar de dode richting wijst.
De Magie: Je kunt deze kaart direct aflezen. Geen forward pass (het draaien van het model), geen backward pass (het berekenen van fouten), en geen complexe eigenwaarde-ontbindingen nodig. Het is alsof je naar de blauwdruk kijkt en direct weet waar de zwakke plekken zitten, zonder ooit het huis te bouwen.

De Twee Soorten Gebouwen

De auteurs testten dit op 14 verschillende grote modellen (sommigen voor tekst, sommigen voor afbeeldingen). Ze vonden een duidelijke splitsing:

LayerNorm Modellen (De modellen met de kaart): In 9 van de 9 modellen die LayerNorm gebruiken, werkte de "magische kompas" perfect. De richting die door het simpele getal werd voorspeld, kwam overeen met de werkelijke dode richting gevonden door zware wiskunde tot op vier decimalen nauwkeurig. Het was een perfecte match.
RMSNorm Modellen (De modellen zonder de kaart): In 5 modellen die een ander hulpmiddel genaamd RMSNorm gebruiken, werkte deze truc niet. Er was geen universele dode richting te vinden door simpelweg naar de getallen te kijken. Dit is logisch, omdat RMSNorm een specifieke wiskundige "projector" mist die de dode richting in LayerNorm creëert.

Wat gebeurt er als je traint?

Het paper keek ook naar wat er gebeurt terwijl het model leert.

Aan het begin (Willekeurig): De dode richting bestaat vanwege de architectuur (de blauwdruk), en het "magische kompas" vindt deze onmiddellijk.
Na training: Het model wordt zelfs nog "vlakker" in die richting. De dode richting wordt een diepe kloof. Het gat tussen het willekeurige begin en het getrainde model laat zien hoeveel het trainingsproces deze platte plekken heeft verdiept.

Een Veiligheidscontrole voor de Wolkenkrabber

De auteurs gebruikten deze methode ook om te controleren of de "residual stream" (de hoofdgang waar informatie doorheen stroomt in het gebouw) sterk blijft.

De Regel: In een gezond gebouw mag het "zwakste punt" van de gang niet zwakker worden naarmate je hoger in de verdiepingen komt.
Het Resultaat: In 13 van de 14 modellen hield deze regel stand. De gang bleef sterk.
De Uitzondering: Eén model (Gemma 4-31B) had een echte "dode richting" waar de gang zelfs zwakker werd. De methode van de auteurs wees deze fout onmiddellijk aan, waarbij bewezen werd dat het geen meetfout was, maar een echt structureel probleem in dat specifieke model.

Waarom dit belangrijk is (volgens het paper)

Het is Gratis: Je kunt de "singuliere structuur" (de platte plekken) van een model diagnosticeren door simpelweg de parameters te lezen. Er is geen zware berekening nodig.
Het is een Classificator: Je kunt zien of een model LayerNorm of RMSNorm gebruikt door simpelweg te controleren of dit "magische kompas" werkt.
Het is een Diagnose: Als je een model ziet waar dit kompas faalt of waar de gang zwakker wordt, signaleert dit een potentieel structurele anomalie die onderzoek waard is.

Kortom, het paper zegt: "Als je een LayerNorm-model hebt, hoef je het niet te draaien om zijn zwakste, platste richtingen te vinden. Kijk gewoon naar één getal, keer het om, en je hebt het antwoord."

Technische Samenvatting: Algebraïsche Dode Richtingen in LayerNorm Transformers

Probleemstelling
Pretrainde transformers opereren nabij singuliere minima van hun verlieslandschap, waar de Fisher-informatie-metriek degradeert langs specifieke "dode richtingen" in de parameterruimte. Langs deze richtingen is het verlies vlak en de directionele Fisher-informatie verdwijnt. Het identificeren van deze richtingen is cruciaal voor het begrijpen van de geometrie van modellen en de singular learning theory, maar bestaande methoden zijn computationeel duur of indirect. Het lokaliseren van een dode richting vereist doorgaans een forward pass gecombineerd met eigendecompositie van activaties, sampling-gebaseerde complexiteitsschattingen (bijv. Local Learning Coefficient), of uitgebreide toegang tot gradiënten. Cruciaal is dat geen enkele voorafgaande methode een specifieke dode richting biedt die uitsluitend berekend kan worden uit de parameters van het netwerk zonder een forward of backward pass.

Methodologie
Dit paper ontwikkelt een gesloten vorm van diagnostiek voor LayerNorm (LN) transformers op basis van het framework van Shirodkar (2026), die dode richtingen afleidt uit een KFAC (Kronecker-factored approximate curvature) factorisatie van de Fisher-informatie. Het kerninzicht is dat de door het gemiddelde aftrekkende projectie die inherent is aan de LayerNorm forward map, algebraïsch een specifieke kernel-richting afdwingt in de covariantie van de post-normalisatie activatie.

De auteurs stellen voor dat voor elke LayerNorm-uitgeruste transformer, de inverse-schaal richting van de Layernorm affine parameter, gedefinieerd als $v^* = \gamma^{-1} / \|\gamma^{-1}\|$ , een exacte algebraïsche kernel is van de post-final-norm gecentreerde activatie-covariantie voor elke inputverdeling. Deze richting kan direct worden afgelezen uit de geleerde schaalparameter $\gamma$ alleen.

De methodologie omvat drie primaire diagnostische tests over 14 pretrainde transformers (variërend van 160M tot 35B parameters, inclusief taal- en visiemodellen met LayerNorm en RMSNorm):

Algebraïsche Baseline Validatie: Bij willekeurige initialisatie wordt de voorspelde richting $v^*$ vergeleken met de gemeten onderste singuliere richting ( $u_\perp$ ) van de activatie-covariantie.
Norm-Zijde Dichotomie: De aanwezigheid of afwezigheid van deze universele kernel-richting wordt gebruikt om het normalisatieschema te classificeren (LayerNorm versus RMSNorm).
Training-geïnduceerde Gap: De "Schur-ratio" $R(h)$ en haar complement $\Delta_\gamma = 1 - R(h)$ worden gemeten om te kwantificeren hoeveel dieper de werkelijke dode richtingen worden na training vergeleken met de architecturale baseline.
Diepte-invariantie: Het paper test of de kleinste singuliere waarde van de residual stream ( $\sigma_{\min}$ ) blok-voor-blok behouden blijft, een eigenschap die is afgeleid van de identiteits-skipverbindingen en de non-cancellation hypothese.

Alle metingen worden uitgevoerd met een enkele forward pass per checkpoint zonder toegang tot gradiënten of sampling chains, waarbij fp64 gecentreerde covariantie-accumulatie wordt gebruikt om numerieke ruisvloeren te vermijden.

Kernbijdragen

Algebraïsche Dode Richting voor LayerNorm: Dit paper bewijst en valideert empirisch dat voor elke LayerNorm transformer de richting $\gamma^{-1}/\|\gamma^{-1}\|$ een dode richting is van de post-final-norm gecentreerde activatie-covariantie. Deze richting is uitsluitend afleesbaar uit de affine parameter $\gamma$ zonder forward pass.
RMSNorm Negatieve Differentiaal: Er wordt bewezen dat RMSNorm, door het ontbreken van de gemiddelde-aftrekkende projectie, geen dergelijke universele dode richting bezit die enkel van $\gamma$ afhankelijk is. Dit creëert een strikte algebraïsche dichotomie tussen de twee typen normalisatie.
Residual-Stream $\sigma_{\min}$ Diepte-invariantie: Een gesloten vorm van een corolarium voorspelt dat de kleinste singuliere waarde van de residual stream niet van blok naar blok kan afnemen ( $\sigma_{\min}(X_\ell)/\sigma_{\min}(X_0) \ge 1$ ) onder de no-cancellation hypothese.
Schur-Ratio Diagnostiek: Het paper introduceert een kwantitatieve metriek ( $\Delta_\gamma$ ) die de gap meet tussen de architecturale baseline (willekeurige initialisatie) en de getrainde singuliere structuur. Deze gap dient als een forward-pass-only diagnostiek voor geaccumuleerde singuliere structuur.

Resultaten
De voorspellingen werden getest op 14 modellen (9 LayerNorm, 5 RMSNorm) over diverse doelstellingen (next-token prediction, beeldclassificatie, zelfgesuperviseerd leren).

Algebraïsche Match: Bij willekeurige initialisatie komt de voorspelde richting $\gamma^{-1}/\|\gamma^{-1}\|$ overeen met de gemeten onderste singuliere richting tot vier decimalen ( $|\cos| \ge 0.9999$ ) op alle 9 LayerNorm modellen. De gemiddelde alignment was 0.99999.
RMSNorm Afwezigheid: De 5 RMSNorm modellen vertoonden correct geen alignment met enige $\gamma$ -afgeleide richting ( $|\cos| \le 0.10$ ), waarbij ze zich op de random-direction null bevonden.
Training Gap: Op getrainde checkpoints verzadigt de Schur-ratio $\Delta_\gamma$ op $\approx 1$ over alle modelgroottes, wat aangeeft dat training dode richtingen opent die ongeveer $10^3$ keer dieper zijn dan de architecturale baseline die door LayerNorm wordt vastgesteld.
Diepte-invariantie: De $\sigma_{\min}$ $σ_{m i n}$ diepte-invariantie houdt stand voor 13 van de 14 modellen wanneer deze worden afgelezen op hun eigen inputverdelingen.
- De enige uitzondering, Gemma 4-31B, vertoont een genuïne intrinsieke dode richting waarbij de $\sigma_{\min}$ van de residual stream met $\sim 18\times$ afneemt bij de output.
- De andere Gemma 4 variant (Gemma 4-E4B) vertoonde een dip onder tekst-alleen kalibratie die verdween onder multimodale (tekst+beeld+audio) kalibratie, wat het identificeert als een distributie-relatieve dode richting in plaats van een intrinsieke een.
Dynamische Validatie: Op het Pythia-1B pretraining traject bleef de $\beta_{\min}$ ratio $\ge 1$ bij elke stap, terwijl de alignment met de voorspelde kernel-richting hoog bleef ( $\ge 0.998$ ) zelfs toen $\gamma$ disperseerde, wat bevestigt dat de voorspelling de geleerde $\gamma$ volgt in plaats van de initialisatie.

Significantie en Claims
Het paper claimt de "goedkoopste dead-direction read" te bieden die specifiek is voor LayerNorm, waarbij enkel de inspectie van een enkele parameter ( $\gamma$ ) nodig is zonder enige forward of backward pass. Dit stelt gebruikers in staat om:

Dead Subspaces te Identificeren: Het detecteren van dode subruimtes in bevroren modellen zonder sampling of toegang tot gradiënten.
Architectuur te Classificeren: Het bepalen van het normalisatieschema (LN versus RMSNorm) van een pretrained model puur vanuit de parameters.
Pathologieën te Diagnostiseren: De $\sigma_{\min}$ diepteprofiel te gebruiken als een real-time signaal om architecturale anomalieën te detecteren (bijv. de Gemma 4 MLP-gelokaliseerde collaps) die standaard pipelines mogelijk missen door numerieke ruisvloeren.
Design te Informeren: Een structurele test te bieden voor nieuwe normalisatieschema's om te voorspellen of zij een $\gamma$ -afgeleide universele kernel zullen dragen.

De auteurs benadrukken dat het framework onderscheid maakt tussen architecturaal gegarandeerde dode richtingen (aanwezig bij willekeurige initialisatie in LayerNorm) en training-geïnduceerde dode richtingen (die de kernel verdiepen in zowel LN als RMSNorm modellen). De gap tussen deze twee staten dient als een diagnostiek voor de singuliere structuur die tijdens training is geaccumuleerd. Het paper claimt niet de oorsprong van de Gemma 4 anomalie te verklaren, maar lokaliseert deze succesvol naar de MLP sub-layer en onderscheidt deze van kalibratie-artefacten.