🤖 machine learning

Measuring Dead Directions: Decomposing and Classifying Singular Structure off Canonical Alignment

Dieses Paper führt eine deterministische, alignment-freie Methode zur Messung und Klassifizierung singulärer Strukturen in trainierten neuronalen Netzen ein, indem es richtungsspezifische Lernordnungen aus der richtungsabhängigen Fisher-Rate an einem einzelnen Checkpoint extrahiert, wodurch globale Lernkoeffizienten wiederhergestellt und singuläre Fluktuationen ohne die Notwendigkeit einer kanonischen Ausrichtung oder Abstiegsvoraussetzungen abgebildet werden.

Ursprüngliche Autoren: Tejas Pradeep Shirodkar

Veröffentlicht 2026-07-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tejas Pradeep Shirodkar

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen eine gewaltige, komplexe Maschine (ein neuronales Netz), die darauf trainiert wurde, eine bestimmte Aufgabe zu erledigen. Im Laufe der Zeit, während sie lernt, hören einige ihrer internen Teile auf zu arbeiten oder werden redundant. In der Welt des Deep Learning nennt man diese Teile „tote Richtungen“ (dead directions).

Dieses Paper stellt eine neue Methode vor, um diese toten Teile zu messen und zu verstehen, ohne die Maschine neu starten oder durch einen langen, langsamen Prozess laufen lassen zu müssen. Hier ist die Aufschlüsselung unter Verwendung einfacher Analogien:

1. Das Problem: Die Suche nach den „Geisterteilen“

Stellen Sie sich ein trainiertes neuronales Netz wie einen riesigen, verhedderten Wollknäuel vor. Einige Fäden sind straff und leisten Arbeit (lebendige Teile), während andere locker, schlaff oder völlig nutzlos sind (tote Teile).

Der alte Weg: Um diese nutzlosen Fäden zu finden, mussten Wissenschaftler früher den Faden langsam auseinanderziehen (Abstieg/Descent) oder ihn perfekt an einem Lineal ausrichten (kanonische Ausrichtung), um zu sehen, wo die Erschlaffung lag. Wenn der Faden verdreht oder das Lineal schief war, konnten sie die toten Teile nicht finden.
Der neue Weg: Dieses Paper bietet eine „Taschenlampen“-Methode. Sie können eine Taschenlampe auf die Maschine richten, genau so, wie sie gerade dasteht (ein eingefrorener Checkpoint), selbst wenn sie verdreht oder chaotisch ist, und die toten Teile sofort identifizieren.

2. Das Werkzeug: Der „Directional Fisher“-Scan

Die Autoren verwenden ein Werkzeug namens Directional Fisher. Stellen Sie sich vor, Sie haben eine bestimmte Richtung in der Maschine, die Sie testen möchten.

Der Test: Sie drücken die Maschine ganz leicht in diese Richtung und schauen, wie stark sich der „Fehler“ (die Schwierigkeit der Aufgabe) verändert.
Das Ergebnis:
- Wenn die Maschine in dieser Richtung lebendig ist, ändert sich der Fehler sofort (wie das Drücken einer steifen Feder).
- Wenn die Maschine in dieser Richtung tot ist, bleibt der Fehler eine Weile flach, bevor er zu steigen beginnt.
- Die „Ordnung“ ( $k$ ): Das Paper misst, wie lange diese flache Stelle anhält. Diese Dauer wird als „Ordnung“ bezeichnet.
  - Eine kurze flache Stelle bedeutet, dass der Teil nur leicht tot ist.
  - Eine lange, tiefe flache Stelle bedeutet, dass der Teil völlig tot ist (eine Singularität).
  - Diese „Ordnung“ sagt uns genau, wie viel Komplexität die Maschine an dieser spezifischen Stelle verloren hat.

3. Der Clou: Es funktioniert auch bei Verdrehungen

Normalerweise musste der tote Teil perfekt an das interne Gitter der Maschine ausgerichtet sein (wie eine gerade Linie auf Millimeterpapier). Aber echte Maschinen verdrehen diese toten Teile oft so, dass sie diagonal oder rotiert sind.

Die Analogie: Stellen Sie sich vor, Sie versuchen, die Länge eines Schattens zu messen. Wenn die Sonne in einem seltsamen Winkel steht, ist der Schatten schief. Alte Methoden sagten: „Wir können das nicht messen, es sei denn, die Sonne steht direkt über uns.“
Die Innovation: Diese neue Methode sagt: „Es ist uns egal, in welchem Winkel.“ Sie kann den korrekten „Schatten“ (die tote Richtung) mathematisch aus den internen Daten der Maschine konstruieren und ihn perfekt messen, selbst wenn er um 45 Grad rotiert ist.

4. Sortierung der toten Teile: „Echter Tod“ vs. „Scheintod“

Das Paper lehrt uns auch, zwischen zwei Arten von „toten“ Richtungen zu unterscheiden:

Echter Tod (Knoten-Tod / Node-Death): Ein Teil, das tatsächlich aufgehört hat zu arbeiten, weil die Maschine gelernt hat, dass es nicht benötigt wird. Dies ist ein permanenter Verlust an Komplexität. Die Maschine hat dieses Merkmal „vergessen“.
Gaußsche Symmetrie (Gauge Symmetry / Scheintod): Ein Teil, das tot aussieht, aber eigentlich nur eine Regel des Designs der Maschine ist. Es ist wie eine Tür, die zwar aussehen kann, als wäre sie verschlossen, aber eigentlich nur ein dekoratives Paneel ist, das nie dazu gedacht war, sich zu öffnen. Das zählt nicht als Verlust des Lernens; es ist ein Merkmal der Architektur.
Die Lösung: Die Methode betrachtet die „Tiefe“ der Flachheit. Echter Tod hat eine spezifische mathematische Signatur; Scheintod (Gauge) liegt auf einem anderen Niveau. Das Paper trennt diese automatisch.

5. Warum das wichtig ist (laut dem Paper)

Geschwindigkeit: Es ist unglaublich schnell. Sie müssen das Modell nicht neu trainieren oder komplexe Simulationen durchführen. Sie machen einfach eine Momentaufnahme und führen eine schnelle Berechnung durch.
Klarheit: Anstatt nur eine vage Zahl für die gesamte Komplexität der Maschine zu erhalten, bricht diese Methode dies auf. Sie sagt Ihnen: „Hier sind 5 tote Teile vom Typ A und 3 tote Teile vom Typ B.“
Genauigkeit: Es funktioniert bei verschiedenen Arten von Maschinen (Transformern, Convolutional Networks) und verschiedenen Schichten, was beweist, dass die „Ordnung“ des Todes durch das Design der Maschine (wie die Art der Aktivierungsfunktion) bestimmt wird und nicht nur durch Zufall.

Zusammenfassung

Dieses Paper liefert uns ein deterministisches, sofortiges Röntgenbild für neuronale Netze. Es ermöglicht uns, eine trainierte KI zu betrachten, exakt zu finden, welche Teile nutzlos geworden sind, zu messen, wie nutzlos sie sind, und zu unterscheiden, ob Teile durch das Lernen wirklich gestorben sind oder ob sie lediglich so konstruiert wurden, dass sie dekorativ wirken – und das alles, ohne die Maschine perfekt ausrichten oder durch eine langsame Trainingsschleife laufen lassen zu müssen.

Technische Zusammenfassung: Messung toter Richtungen abseits der kanonischen Ausrichtung

Problemstellung
Die Singular Learning Theory charakterisiert trainierte neuronale Netze über die Watanabe-Tripel: den Lernkoeffizienten ( $\lambda$ ), die Multiplizität ( $m$ ) und die singuläre Fluktuation ( $\nu$ ). Diese Invarianten steuern die Bayessche freie Energie und den Generalisierungsfehler. Die Messung dieser Werte in realen Netzwerken ist jedoch kostspielig und stützt sich oft auf stochastische Posterior-Sampling-Verfahren (z. B. SGLD), die lediglich einen einzelnen globalen Skalar liefern, ohne die Struktur auf spezifische Netzwerkkoordinaten zu lokalisieren. Zudem erforderten frühere deterministische Methoden zum Auslesen der „Ordnung“ ( $k$ ) von Singularitäten zwei restriktive Voraussetzungen: kanonische Ausrichtung (die tote Richtung muss an jeder Schicht mit den Koordinatenachsen übereinstimmen) und Abstieg (das Auslesen muss entlang einer Trainings-Trajektorie erfolgen, die sich der Singularität nähert). Reale trainierte Netzwerke verletzen diese Bedingungen oft, da tote Richtungen abseits der Achsen rotiert sind oder diffuse Strukturen bilden, die von standardmäßigen pro-Koordinate Scans nicht erfasst werden.

Methodik
Die Arbeit schlägt eine abstiegsfreie, ausrichtungsfreie Messpipeline vor, die an einem einzigen eingefrorenen Checkpoint operiert. Die Methode besteht aus zwei Phasen: Detektion und Auslesen.

Detektion (Architektur-adaptiv):
- Der Detektor lokalisiert die „tote Richtung“ ( $u$ ), indem er das Nahe-Kernel des natürlichen Zweitmomenten-Objekts der Schicht identifiziert.
- Für generische Schichten nutzt er das K-FAC (Kronecker-faktorisierte approximative Krümmung) Faktorpaar ( $A \otimes G$ ) und nutzt dabei die A-G-Dualität: Wenn die Input-Kovarianz ( $A$ ) die Richtung nicht isolieren kann, schafft es die Output-Gradienten-Kovarianz ( $G$ ), und umgekehrt.
- Für Convolutional-Schichten verwendet er eine räumliche Patch-Kovarianz; für LayerNorm wird der geschlossene Kern der Normierungsskala genutzt.
- Entscheidend ist, dass die Methode den gemeinsamen Modus aus diesen Faktoren konstruiert, anstatt den Fisher-Spektrum zu durchsuchen, wodurch der „Gauge-Floor“ (flache Symmetrierichtungen) und das Sampling von Nullräumen vermieden wird, die unterhalb des ordnungsrelevanten Modus liegen.
Auslesen (Abstiegsfreier Scan):
- Sobald eine Richtung $u$ nominiert wurde, führt die Methode einen synthetischen Scan durch: $\theta(t) = \theta_0 + tu$ , wobei $\theta_0$ der eingefrorene Checkpoint ist.
- Es misst den gerichteten Fisher $F(\theta(t))$ entlang dieses Scans.
- Die Ordnung $k$ wird aus der Wachstumsrate des Fishers zurückgewonnen: $u^\top F(\theta(t)) u = \Theta(t^{2(k-1)})$ .
- Ein Reinheits-optimierter Fenster-Selektor isoliert das asymptotische Regime ( $t \to 0$ ), indem er die Anpassungsgüte maximiert ( $r^2 > 0.95$ ), um sicherzustellen, dass der extrahierte Exponent nicht durch niederwertige Komponenten oder Gauge-Rauschen kontaminiert wird.
- Die Methode klassifiziert Richtungen basierend auf Betrag und Steigung: Eine endliche Steigung indiziert eine echte Singularität (z. B. Node-Death, Tiefen-Singularität), während ein flacher Betrag am „Floor“ eine Gauge-Symmetrie (z. B. LayerNorm-Kernel, Rotation) darstellt.

Wesentliche Beiträge

Ausrichtungsfreie Ordnungswiederherstellung: Die Methode stellt die pro-Richtung Ordnung $k$ (und damit den lokalen Lernkoeffizienten $\lambda_{dir} = 1/(2k)$ ) wieder her, ohne dass die tote Richtung mit den Koordinatenachsen ausgerichtet sein muss. Sie liest erfolgreich rotierte Node-Deaths in tiefen Netzwerken aus, bei denen Standard-Scans versagen.
Taxonomie toter Strukturen: Die Arbeit klassifiziert tote Richtungen in echte Singularitäten (endliche Ordnung bestimmt durch die analytische Ordnung der Aktivierung oder die Netzwerk-Tiefe) und flache Gauges (unendliche Ordnung, die zur Multiplizität beiträgt, aber nicht zur Komplexität). Sie führt ein betragsbasiertes Kriterium ein, um gekrümmte Gauge-Orbits (die in der Steigung endliche Ordnungen imitieren) von echten Singularitäten zu unterscheiden.
Deterministische Dekomposition: Im Gegensatz zu Posterior-Samplern, die einen einzelnen globalen $\lambda$ zurückgeben, zerlegt diese Methode die Komplexität in pro-Richtung Ordnungen und die Dimension des toten Subraums (die Anzahl der Richtungen bei der dominanten Ordnung).
Optimizer-abhängige Geometrie: Die Untersuchung zeigt, dass während die Ordnung durch die Architektur (Aktivierungsfunktion oder Tiefe) festgelegt ist, die Basis und Schärfe der toten Struktur durch den Optimizer bestimmt werden. Orthogonalisierende Optimierer erzeugen saubere, lesbare Strukturen, während Standard-Optimierer Strukturen hinterlassen können, die zu diffus oder rotiert sind, um mit kanonischen Methoden gelesen zu werden.
Abbildung des Watanabe-Tripels:
- Ordnung ( $k$ ): Bestimmt die universelle singuläre Fluktuation $\nu(k)$ .
- Multiplizität ( $m$ ): Wird aus der Dimension des toten Subraums unter der Annahme von Normal-Crossing wiederhergestellt.
- Fluktuation ( $\nu$ ): Die Arbeit zeigt, dass die reale $\nu$ eines trainierten Netzwerks unter den universellen Wert $\nu(k)$ gedrückt wird, weil die „lebende“ Struktur die Datenfluktuation absorbiert, die für die tote Richtung vorgesehen war.

Ergebnisse

Validierung an konstruierten Zellen: Die Methode stellt vorhergesagte Ordnungen exakt wieder ( $k=2$ für GELU/ReLU Node-Deaths, $k=3$ für Squared-ReLU, $k=L$ für Tiefe- $L$ lineare Netzwerke) mit $r^2 \approx 1.000$ .
Reale Netzwerke:
- From-Scratch ViT: Erfolgreiche Wiederherstellung der aktivierungsgesteuerten Ordnung ( $k \approx 2$ oder $3$) für rotierte Node-Deaths in MLP-Blöcken, während per-Koordinate Scans abweichende Werte liefern.
- Fine-Tuned DINOv2: Identifiziert keine Node-Deaths, sondern klassifiziert die tote Struktur als architektonische Gauges (LayerNorm-Kernel, Attention QK-Rotation), was die Fähigkeit der Methode bestätigt, zwischen gelernten Singularitäten und Symmetrien zu unterscheiden.
- Optimizer-Vergleich: Vanilla Muon hinterlässt oft zu diffuse tote Strukturen zum Lesen, während skalierte-polare Orthogonalisierer saubere, achsen-ausgerichtete oder rotierte Strukturen erzeugen, die die Methode präzise liest.
Globaler Koeffizient: Bei analytischen Modellen, in denen die singuläre Struktur enumerierbar ist, stimmen die zusammengesetzten pro-Richtung Ordnungen bis auf Maschinengenauigkeit mit dem geschlossenen globalen $\lambda$ überein.

Bedeutung und Ansprüche
Die Arbeit beansprucht, die Ordnungswiederherstellung in eine deterministische, architektur-generische Messung zu verwandeln, welche die Voraussetzungen der kanonischen Ausrichtung und des Abstiegs aufhebt. Sie bietet eine „günstige“ (ein einziger Forward/Backward-Pass) Alternative zum teuren Posterior-Sampling zur Dekomposition des Lernkoeffizienten.

Die Autoren betonen die Bescheidenheit hinsichtlich des Umfangs:

Das Auslesen ist bedingt auf die erfolgreiche Nominierung der Richtung durch einen Detektor; es findet keine Struktur in zufälligen Richtungen.
Es charakterisiert die Struktur, die der Optimizer hinterlassen hat; wenn ein Optimizer eine diffuse Lösung hinterlässt (z. B. Vanilla Muon bei tiefen Transformern), gibt es keine klare Ordnung zu rekonstruieren.
Während die Ordnung und der lokale Koeffizient exakt wiederhergestellt werden, wird die realisierte singuläre Fluktuation in trainierten Netzwerken durch die Absorption durch die lebende Struktur unterdrückt, was bedeutet, dass das universelle $\nu(k)$ einen oberen Grenzwert darstellt, nicht den exakten realisierten Wert.
Die Methode behandelt derzeit „enumerierbare“ Strukturen; für komplexe determinantale Varietäten (z. B. weite Matrix-tiefe lineare Netzwerke) kann die globale Assemblierung weiterhin Posterior-Sampling oder fortgeschrittene algebraische Auflösungen erfordern.

Zusammenfassend etabliert das Paper einen praktischen Rahmen zum „Lesen“ der singulären Geometrie trainierter Netzwerke an einem eingefrorenen Checkpoint und bietet eine detaillierte, pro-Richtung Karte der Komplexität, die globale Sampling-Methoden ergänzt.