📊 statistics

Algebraic Dead Directions in LayerNorm Transformers: A Forward-Pass-Only Diagnostic at LLM Scale

Dieses Paper führt ein neuartiges, nur auf dem Vorwärtspass basierendes Diagnoseverfahren für LayerNorm-Transformer ein, das unter Verwendung ausschließlich der LayerNorm-Skalierungsparameter eine exakte algebraische tote Richtung im Parameterraum identifiziert, eine Methode, die über 14 Modelle hinweg validiert wurde, um singuläre Strukturen präzise vorherzusagen und LayerNorm- von RMSNorm-Architekturen ohne Eigendekomposition zu unterscheiden.

Ursprüngliche Autoren: Tejas Pradeep Shirodkar, P. J. Narayanan

Veröffentlicht 2026-06-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Tejas Pradeep Shirodkar, P. J. Narayanan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein massives, komplexes maschinelles Lernmodell (einen Transformer) wie einen riesigen, mehrstöckigen Wolkenkratzer aus mathematischen Gleichungen vor. Wenn Ingenieure diese Modelle trainieren, drehen sie Milliarden von winzigen Knöpfen (Parametern) nachjustieren, damit das Gebäude perfekt gerade steht und gut funktioniert.

Dieses Paper stellt eine neue Art vor, in diesen Wolkenkratzer hineinzuschauen, um „tote Richtungen“ zu finden.

Was ist eine „tote Richtung“?

Betrachten Sie die Parameter des Modells als eine Landschaft aus Hügeln und Tälern. Normalerweise verändert sich die Funktionsweise des Modells, wenn man es in irgendeine Richtung leicht drückt. Aber in diesen „toten Richtungen“ ist die Landschaft vollkommen flach. Wenn man das Modell entlang einer toten Richtung drückt, passiert nichts. Es ist, als würde man auf einem gefrorenen See wandern: Man kann ewig gleiten, ohne einzusinken oder seinen Pfad zu ändern.

Diese Richtungen zu finden, ist normalerweise schwierig. Es erfordert typischerweise das Durchlaufen des Modells durch Tausende von Testfällen, komplexe Mathematik über die Ergebnisse oder die Simulation, wie das Modell lernt. Es ist, als würde man versuchen, einen verborgenen Riss in einer Wand zu finden, indem man tausendfach gegen sie klopft.

Die große Entdeckung: Der „magische Kompass“

Die Autoren haben eine Abkürzung gefunden, aber nur für Modelle, die eine spezifische Komponente namens LayerNorm (ein Standardwerkzeug in der KI) verwenden.

Sie haben entdeckt, dass man das Modell nicht ausführen oder schwere Mathematik betreiben muss, um diese toten Richtungen zu finden. Man muss lediglich auf eine ganz bestimmte Zahl innerhalb der Einstellungen des Modells schauen, den sogenannten „Gamma“-Parameter ( $\gamma$ ).

Die Analogie: Stellen Sie sich vor, die LayerNorm-Komponente hat ein Drehrad mit Zahlen darauf. Die Autoren haben herausgefunden, dass man, wenn man diese Zahlen einfach invertiert (auf den Kopf stellt) und sie normalisiert, eine perfekte Karte erhält, die direkt in die tote Richtung zeigt.
Die Magie: Man kann diese Karte sofort ablesen. Kein Forward Pass (Durchlauf des Modells), kein Backward Pass (Berechnung von Fehlern) und keine komplexen Eigenwertzerlegungen sind nötig. Es ist, als würde man den Bauplan betrachten und sofort wissen, wo die Schwachstellen liegen, ohne das Haus jemals gebaut zu haben.

Die zwei Arten von Gebäuden

Das Paper testete dies an 14 verschiedenen großen Modellen (einige für Text, einige für Bilder). Dabei fanden sie eine klare Trennung:

LayerNorm-Modelle (Die mit der Karte): In 9 von 9 Modellen, die LayerNorm verwenden, funktionierte der „magische Kompass“ perfekt. Die durch die einfache Zahl vorhergesagte Richtung entsprach der durch schwere Mathematik gefundenen tatsächlichen toten Richtung bis auf vier Dezimalstellen. Es war eine perfekte Übereinstimmung.
RMSNorm-Modelle (Die ohne die Karte): In 5 Modellen, die ein anderes Werkzeug namens RMSNorm verwenden, funktionierte dieser Trick nicht. Es gab keine universelle tote Richtung, die man allein durch das Betrachten der Zahlen finden konnte. Das ergibt Sinn, da RMSNorm keinen spezifischen mathematischen „Projektor“ besitzt, der in LayerNorm die tote Richtung erzeugt.

Was passiert beim Training?

Das Paper untersuchte auch, was passiert, während das Modell lernt.

Zu Beginn (Zufällig): Die tote Richtung existiert aufgrund der Architektur (des Bauplans), und der „magische Kompass“ findet sie sofort.
Nach dem Training: Das Modell wird in dieser Richtung noch „flacher“. Die tote Richtung wird zu einem tiefen Canyon. Die Lücke zwischen dem zufälligen Start und dem trainierten Modell zeigt, wie sehr der Trainingsprozess diese flachen Stellen vertieft hat.

Ein Sicherheitscheck für den Wolkenkratzer

Die Autoren nutzten diese Methode auch, um zu prüfen, ob der „Residual Stream“ (der Hauptflur, durch den Informationen durch das Gebäude fließen) stabil bleibt.

Die Regel: In einem gesunden Gebäude sollte der „schwächste Punkt“ des Flurs nicht schwächer werden, je weiter man nach oben geht.
Das Ergebnis: In 13 von 14 Modellen hielt diese Regel stand. Der Flur blieb stabil.
Die Ausnahme: Ein Modell (Gemma 4-31B) wies eine echte „tote Richtung“ auf, in der der Flur tatsächlich schwächer wurde. Die Methode der Autoren lokalisierte diesen Fehler sofort und zeigte, dass es sich nicht um einen Messfehler handelte, sondern um ein echtes strukturelles Problem in diesem spezifischen Modell.

Warum das wichtig ist (laut dem Paper)

Es ist kostenlos: Man kann die „singuläre Struktur“ (die flachen Stellen) eines Modells diagnostizieren, indem man einfach nur dessen Parameter liest. Es ist keine schwere Rechenleistung erforderlich.
Es ist ein Klassifizierer: Man kann feststellen, ob ein Modell LayerNorm oder RMSNorm verwendet, indem man einfach prüft, ob dieser „magische Kompass“ funktioniert.
Es ist ein Diagnosewerkzeug: Wenn man sieht, dass der Kompass bei einem Modell versagt oder der Flur schwächer wird, signalisiert dies eine potenzielle strukturelle Anomalie, die eine Untersuchung wert ist.

Kurz gesagt sagt das Paper: „Wenn Sie ein LayerNorm-Modell haben, müssen Sie es nicht ausführen, um seine schwächsten, flachsten Richtungen zu finden. Schauen Sie einfach auf eine Zahl, kehren Sie sie um, und Sie haben die Antwort.“

Technische Zusammenfassung: Algebraische tote Richtungen in LayerNorm-Transformern

Problemstellung
Vortrainierte Transformer operieren nahe singulärer Minima ihrer Verlustlandschaft, in denen der Fisher-Informations-Metrik entlang spezifischer „toter Richtungen“ im Parameterraum degeneriert. Entlang dieser Richtungen ist der Verlust flach und die gerichtete Fisher-Information verschwindet. Die Identifizierung dieser Richtungen ist entscheidend für das Verständnis der Modellgeometrie und der Singular Learning Theory, aber bestehende Methoden sind rechenintensiv oder indirekt. Das Lokalisieren einer toten Richtung erfordert typischerweise einen Vorwärtspass komb mit einer Eigendekomposition der Aktivierungen, sampling-basierte Komplexitätsschätzungen (z. B. Local Learning Coefficient) oder einen umfangreichen Gradientenzugriff. Entscheidend ist, dass keine bisherige Methode eine spezifische tote Richtung bereitstellt, die ausschließlich aus den Parametern des Netzwerks ohne Vorwärts- oder Rückwärtslauf berechenbar ist.

Methodik
Diese Arbeit entwickelt ein geschlossenes diagnostisches Verfahren für LayerNorm (LN) Transformer basierend auf dem Framework von Shirodkar (2026), das tote Richtungen aus einer KFAC-Zerlegung (Kronecker-factored approximate curvature) der Fisher-Information ableitet. Die zentrale Erkenntnis ist, dass der in der LayerNorm inhärente Mittelwert-Subtraktions-Projektor die post-normalisierte Aktivierungskovarianz algebraisch dazu zwingt, eine spezifische Kernel-Richtung zu erzeugen.

Die Autoren schlagen vor, dass für jeden mit LayerNorm ausgestatteten Transformer die Inverse-Skalierungs-Richtung des LayerNorm-Affinen-Parameters, definiert als $v^* = \gamma^{-1} / \|\gamma^{-1}\|$ , eine exakte algebraische Kernerichtung der zentrierten Post-Final-Norm-Aktivierungskovarianz für jede Eingangsverteilung ist. Diese Richtung lässt sich direkt aus dem gelernten Skalierungsparameter $\gamma$ allein ablesen.

Die Methodik umfasst drei primäre diagnostische Tests an 14 vortrainierten Transformern (von 160M bis 35B Parametern, einschließlich Sprach- und Vision-Modellen mit LayerNorm und RMSNorm):

Validierung der algebraischen Baseline: Bei zufälliger Initialisierung wird die vorhergesagte Richtung $v^*$ mit der gemessenen untersten singulären Richtung ( $u_\perp$ ) der Aktivierungskovarianz verglichen.
Norm-Seite-Dichotomie: Das Vorhandensein oder Fehlen dieser universellen Kernel-Richtung wird zur Klassifizierung des Normalisierungsschemas (LayerNorm vs. RMSNorm) verwendet.
Trainings-induzierter Gap: Der „Schur-Quotient“ $R(h)$ und sein Komplement $\Delta_\gamma = 1 - R(h)$ werden gemessen, um zu quantifizieren, wie viel tiefer die tatsächlichen toten Richtungen nach dem Training im Vergleich zur architektonischen Baseline werden.
Tiefen-Invarianz: Die Arbeit testet, ob der kleinste Singulärwert des Residual-Streams ( $\sigma_{\min}$ ) blockweise erhalten bleibt – eine Eigenschaft, die aus den Identitäts-Skip-Connections und der Non-Cancellation-Hypothese abgeleitet ist.

Alle Messungen werden mit einem einzigen Vorwärtspass pro Checkpoint durchgeführt, ohne Gradientenzugriff oder Sampling-Ketten, unter Verwendung von fp64-zentrierter Kovarianzakkumulation, um numerische Rauschschwellen zu vermeiden.

Wesentliche Beiträge

Algebraische tote Richtung für LayerNorm: Die Arbeit beweist und validiert empirisch, dass für jeden LayerNorm-Transformer die Richtung $\gamma^{-1}/\|\gamma^{-1}\|$ eine tote Richtung der zentrierten Post-Final-Norm-Aktivierungskovarianz ist. Diese Richtung ist allein aus dem affinen Parameter ohne Vorwärtspass ablesbar.
RMSNorm Negatives Differential: Es wird bewiesen, dass RMSNorm, da es den Mittelwert-Subtraktions-Projektor nicht besitzt, keine solche universelle tote Richtung aufweist, die allein von $\gamma$ abhängt. Dies schafft eine strikte algebraische Dichotomie zwischen den beiden Normalisierungstypen.
Residual-Stream $\sigma_{\min}$ Tiefen-Invarianz: Ein geschlossener Korollar sagt voraus, dass der kleinste Singulärwert des Residual-Streams nicht blockweise abnehmen kann ( $\sigma_{\min}(X_\ell)/\sigma_{\min}(X_0) \ge 1$ ) unter der No-Cancellation-Hypothese.
Schur-Quotient-Diagnostik: Die Arbeit führt eine quantitative Metrik ( $\Delta_\gamma$ ) ein, die die Lücke zwischen der architektonischen Baseline (zufällige Initialisierung) und der trainierten singulären Struktur misst. Diese Lücke dient als Vorwärts-Pass-Diagnostikum für die akkumulierte singuläre Struktur.

Ergebnisse
Die Vorhersagen wurden an 14 Modellen (9 LayerNorm, 5 RMSNorm) über verschiedene Zielsetzungen hinweg getestet (Next-Token-Prediction, Bildklassifizierung, selbstüberwachtes Lernen).

Algebraische Übereinstimmung: Bei zufälliger Initialisierung stimmt die vorhergesagte Richtung $\gamma^{-1}/\|\gamma^{-1}\|$ auf allen 9 LayerNorm-Modellen mit der gemessenen untersten singulären Richtung überein ( $|\cos| \ge 0,9999$ ); die mittlere Ausrichtung betrug 0,99999.
RMSNorm Abwesenheit: Die 5 RMSNorm-Modelle zeigten korrekt keine Ausrichtung mit einer $\gamma$ -abgeleiteten Richtung ( $|\cos| \le 0,10$ ) und lagen im Bereich der Zufallsrichtung.
Trainings-Gap: Auf trainierten Checkpoints sättigt der Schur-Quotient $\Delta_\gamma$ bei $\approx 1$ über alle Modellgrößen hinweg, was darauf hindeutet, dass das Training tote Richtungen etwa $10^3$ mal tiefer öffnet als die durch LayerNorm etablierte architektonische Baseline.
Tiefen-Invarianz: Die $\sigma_{\min}$ $σ_{m i n}$ -Tiefen-Invarianz gilt für 13 von 14 Modellen, wenn sie auf ihren eigenen Eingangsverteilungen gelesen wird.
- Die einzige Ausnahme, Gemma 4-31B, zeigt eine echte intrinsische tote Richtung, bei der der $\sigma_{\min}$ des Residual-Streams am Ausgang um den Faktor $\sim 18$ sinkt.
- Die andere Gemma 4-Variante (Gemma 4-E4B) zeigte einen Einbruch unter Text-nur-Kalibrierung, der sich unter multimodaler (Text+Bild+Audio) Kalibrierung auflöste, was sie als eine distributionsabhängige tote Richtung und nicht als eine intrinsische identifizierte.
Dynamische Validierung: Auf der Pythia-1B-Prätrainingstrajektorie blieb das $\sigma_{\min}$ -Verhältnis in jedem Schritt $\ge 1$ , während die Ausrichtung mit der vorhergesagten Kernel-Richtung hoch blieb ( $\ge 0,998$ ), selbst als sich $\gamma$ verteilte, was bestätigt, dass die Vorhersage das gelernte $\gamma$ verfolgt und nicht die Initialisierung.

Bedeutung und Ansprüche
Die Arbeit beansprucht, den „günstigsten Dead-Direction-Read“ bereitzustellen, der spezifisch für LayerNorm ist und nur die Inspektion eines einzelnen Parameters ( $\gamma$ ) ohne Vorwärts- oder Rückwärtsläufe erfordert. Dies ermöglicht es Praktikern:

Tote Subräume zu identifizieren: Detektion toter Richtungen in eingefrorenen Modellen ohne Sampling oder Gradientenzugriff.
Architektur zu klassifizieren: Bestimmung des Normalisierungsschemas (LN vs. RMSNorm) eines vortrainierten Modells rein aus dessen Parametern.
Pathologien zu diagnostizieren: Nutzung des $\sigma_{\min}$ -Tiefenprofils als Echtzeitsignal zur Erkennung architektonischer Anomalien (z. B. der Gemma 4 MLP-lokalisierten Kollaps), die Standard-Pipelines aufgrund von numerischen Rauschschwellen übersehen könnten.
Design zu informieren: Bereitstellung eines strukturellen Tests für neue Normalisierungsschemata, um vorherzusagen, ob diese einen $\gamma$ -abgeleiteten universellen Kernel tragen werden.

Die Autoren betonen, dass das Framework zwischen architektonisch garantierten toten Richtungen (vorhanden bei zufälliger Initialisierung in LayerNorm) und trainingsinduzierten toten Richtungen (die den Kernel in sowohl LN- als auch RMSNorm-Modellen vertiefen) unterscheidet. Die Lücke zwischen diesen beiden Zuständen dient als Diagnostikum für die während des Trainings akkumulierte singuläre Struktur. Die Arbeit behauptet nicht, die Ursache der Gemma 4-Anomalie zu lösen, lokalisiert sie jedoch erfolgreich im MLP-Sublayer und unterscheidet sie von Kalibrierungsartefakten.