🤖 machine learning

Dead-Direction Conditioners: Gauge-Equivariant Preconditioning for Deep Networks

Dieses Paper führt Dead-Direction Conditioners (DDC) ein, ein gauge-äquivariantes Preconditioning-Framework, das Optimierer-Trajektorien mit dem Symmetrie-Quotienten der Parameterräume tiefer Netzwerke in Einklang bringt, wodurch Optimierungsdrift verhindert, die Generalisierung verbessert und die Entdeckung tieferer Minima im Vergleich zu Standardmethoden wie AdamW und Muon ermöglicht wird.

Ursprüngliche Autoren: Tejas Pradeep Shirodkar

Veröffentlicht 2026-06-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tejas Pradeep Shirodkar

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das „Flache Tal“-Problem

Stellen Sie sich vor, Sie versuchen, den tiefsten Punkt in einer riesigen, nebligen Landschaft zu finden (das ist das KI-Modell, das versucht zu lernen). Normalerweise gehen Sie einfach bergab. Aber im Deep Learning hat die Landschaft einen seltsamen Trick: Sie besitzt unsichtbare, flache Tunnel, die durch sie hindurchlaufen.

Diese Tunnel werden Symmetrien genannt.

Der Logit-Shift: Stellen Sie sich vor, Sie haben eine Waage, die das Gewicht misst. Wenn Sie 5 Pfund zum Nullpunkt der Waage hinzufügen und 5 Pfund vom Messwert abziehen, ändert sich das tatsächliche Gewicht des Objekts nicht. Die Mathematik funktioniert gleich, aber die Zahlen sehen anders aus.
Die Skalierung: Stellen Sie sich ein Paar Zahnräder vor. Wenn Sie das erste Zahnrad doppelt so groß machen und das zweite halb so groß, drehen sie sich immer noch perfekt zusammen. Die Maschine funktioniert gleich, aber die Teile haben unterschiedliche Größen.
Die Rotation: Stellen Sie sich ein Kreisel vor. Wenn Sie den Kreisel drehen, bleibt es derselbe Kreisel, der auf dieselbe Weise rotiert.

In diesen „Tunneln“ ändert sich die Leistung der KI (der Loss) überhaupt nicht. Es ist ein flacher Boden.

Das Problem: Der wandernde Wanderer (Adam)

Die populärste Art, KI zu trainieren, genannt Adam, ist wie ein Wanderer, der versucht, den Boden eines Tals zu finden.

Das Problem: Weil der Tunnel flach ist, wird Adam verwirrt. Er glaubt, Fortschritte zu machen, während er in Wirklichkeit nur seitwärts entlang des flachen Tunnels wandert.
Das Driften: Anstatt direkt nach unten zum wahren Boden zu gehen, driftet Adam ziellos entlang des Tunnels. Er sammelt „Rauschen“ an und verirrt sich in der Symmetrie.
Die Konsequenz: Da er driftet, kann er die wahre Form des Talbodens nicht erkennen. Er landet in einem „unordentlichen“ Punkt, der zwar wie ein Minimum aussieht, aber nicht das beste ist. Zudem ist es unmöglich zu messen, wie „singulär“ oder komplex die Lösung ist, da der Pfad zu verschwommen ist.

Die Lösung: Der DDC-Guide (Dead-Direction Conditioner)

Die Autoren haben ein neues Werkzeug namens DDC (Dead-Direction Conditioner) entwickelt. Denken Sie an DDC als ein spezialisiertes GPS- und Sicherungssystem für den Wanderer.

Die Sicherung (Der Split): DDC betrachtet die Bewegung des Wanderers und teilt sie in zwei Teile auf:
- Der „Nützliche“ Schritt: Die Bewegung hinab ins Tal (in Richtung einer besseren Antwort).
- Der „Tote“ Schritt: Die Bewegung seitwärts entlang des flachen Tunnels (was nichts verändert).
Die Verriegelung der Sicherung: DDC verriegelt die Bewegung des Wanderers, sodass dieser nicht seitwärts driften kann. Es zwingt den Wanderer, auf einem geraden, vertikalen Pfad direkt zum Talboden zu bleiben.
Das Ergebnis: Der Wanderer geht gerade zum Boden. Da der Pfad sauber und gerade ist, kann der Wanderer nun die Form des Talbodens klar sehen. Er kann genau messen, wie tief das Loch ist und wie komplex die Lösung ist.

Die vier Arten von Tunneln, die DDC handhabt

Das Paper identifiziert vier spezifische Arten von „flachen Tunneln“ in modernen KI-Modellen und zeigt, wie DDC diese verriegelt:

Der Logit-Shift (Der Skalen-Offset): Wie das Justieren des Nullpunkts einer Waage. DDC stellt sicher, dass die KI nicht dadurch driftet, dass sie nur den „Nullpunkt“ verändert.
Die Skalierung (Das Übersetzungsverhältnis): Wie ein Paar großer/kleiner Zahnräder. DDC stellt sicher, dass die KI nicht driftet, indem sie einfach die Größen zwischen den Schichten vertauscht.
Die LayerNorm-Skalierung (Der Lautstärkeregler): Wie das Drehen eines Lautstärkereglers an einem Lautsprecher hoch und an einem anderen runter, um den Gesamtschall gleich zu halten. DDC verriegelt dieses Gleichgewicht.
Die Rotation (Der Kreisel): Dies ist die schwierigste Aufgabe. Es ist, als würde man ein 3D-Objekt rotieren. Standard-KI-Werkzeuge werden verwirrt, weil das Rotieren des Objekts die Zahlen auf komplexe Weise verändert. DDC nutzt eine spezielle „Body-Frame“-Karte, um die Rotation festzuhalten und sicherzustellen, dass die KI nicht nutzlos herumwirbelt.

Was passiert, wenn man DDC verwendet?

Das Paper hat dies an echten KI-Modellen (Sprachmodellen und Vision-Modellen) getestet und drei wesentliche Vorteile gefunden:

1. Es stoppt den „Over-Training Collapse“ (Zusammenbruch durch Übertraining)

Ohne DDC: Stellen Sie sich einen Studenten vor, der so hart lernt, dass er die Testantworten auswendig lernt, aber vergisst, wie man denkt. Wenn er mit einem neuen Test konfrontiert wird, scheitert er kläglich. Dies ist der „Over-Training Collapse“.
Mit DDC: Der Student lernt die Konzepte statt nur die Zahlen auswendig zu lernen. Selbst nachdem er lange gelernt hat, bleibt er scharf und bricht nicht zusammen, wenn der Test schwieriger wird.

2. Es findet ein „saubereres“ Minimum

Ohne DDC: Die KI pendelt sich in einem unordentlichen, überfüllten Punkt im Tal ein.
Mit DDC: Die KI findet einen Punkt, der mathematisch „sauberer“ und weniger degeneriert ist. Es ist, als würde man ein ordentliches, aufgeräumtes Zimmer finden anstatt eines unordentlichen Dachbodens. Dies macht die KI zuverlässiger und robuster.

3. Es lässt „Grokking“ geschehen

Grokking ist ein Phänomen, bei dem eine KI plötzlich „es versteht“, nachdem sie lange Zeit so gewirkt hat, als würde sie scheitern.
Ohne DDC: Eine KI erreicht Grokking oft nie oder nur nach einigen zufälligen Versuchen.
Mit DDC: Die KI vollzieht Grokking zuverlässig. In einem Experiment scheiterte eine Standard-KI 11-mal von 11 Versuchen bei einem mathematischen Rätsel. Die DDC-Version löste es 10-mal von 11 Versuchen. Es machte den „Aha!“-Moment wesentlich konsistenter.

Das Fazit

Deep-Learning-Modelle besitzen verborgene Symmetrien (flache Tunnel), die Standard-Trainingswerkzeuge verwirren. DDC ist eine neue Methode, die wie ein Führer wirkt und den Trainingsprozess dazu zwingt, die nutzlosen Seitwärtsbewegungen zu ignorieren und sich ausschließlich auf die nützliche Abwärtsbewegung zu konzentrieren.

Dadurch hilft DDC nicht nur dabei, dass die KI schneller lernt; es hilft der KI auch, bessere, stabilere Lösungen zu finden, und ermöglicht es Forschern, die Geometrie des Lernprozesses tatsächlich zu messen, was zuvor aufgrund des verschwommenen Pfades unmöglich war.

Technisches Resümee: Dead-Direction Conditioners (DDC)

1. Problemstellung

Die Verlustfunktionen tiefer neuronaler Netze weisen kontinuierliche Symmetrien (Gauge-Symmetrien) in ihren Parameterräumen auf. Dazu gehören Logit-Shifts, ReLU/SwiGLU-Reskalierungen, LayerNorm-Skalierungsinvarianzen und Rotationen von Attention-Heads. Entlang der Orbits dieser Symmetrien ist die Verlustlandschaft flach (Dead Directions), was bedeutet, dass die Fisher-Informationsmetrik verschwindet.

Standardmäßige adaptive Optimierer wie Adam respektieren diese Symmetrien nicht. Adams pro-Koordinaten-Präkonditionierer ( $1/\sqrt{\hat{v}}$ ) ist nur unter Koordinatenpermutationen äquivariant. Wenn architektonische Gruppen Koordinaten mischen (z. B. das inverse Skalieren eines Paares von Gewichten oder das Rotieren eines Vektorraums), „leckt“ das Update von Adam in den Gauge-Orbit. Dieses Lecken verursacht zwei primäre Probleme:

Drift: Die Trajektorie des Optimierers driftet entlang des flachen Orbits ab, anstatt auf einem festen Schnitt der Symmetrie-Quotientenmenge $\bar{\Theta} = \Theta/G$ zu bleiben. Dieser Drift bewegt den Optimierer zu einem anderen Minimum, als er erreichen würde, wenn die Symmetrie respektiert würde.
Verwaschene Raten-Ablesbarkeit: Theoretische Ergebnisse (Shirodkar, 2026) etablieren, dass die singuläre Lernrate (der Zerfall der kleinsten Fisher-Eigenwerte) nur dann aus der Trajektorie ablesbar ist, wenn der Optimierer sauber auf dem Quotienten absteigt. Das Lecken von Adam führt Rauschen und Bias ein, was diese Rate verwaschen lässt und die Geometrie des Minimums unlesbar macht.

2. Methodik: Dead-Direction Conditioners (DDC)

Das Paper stellt DDC vor, ein Präkonditionierungs-Framework, das einen Basis-Optimierer (z. B. Adam oder Muon) in einen $G$ -äquivarianten Optimierer transformiert („lifte“). Der Kernmechanismus besteht darin, den Parameterraum und die Gradienten-Updates unter Verwendung einer $G$ -invarianten Riemannschen Metrik $\rho$ in vertikale (orbit-tangente) und horizontale (Quotienten-) Komponenten zu zerlegen.

Die Update-Regel

Für einen Gradienten $g_t$ spaltet DDC diesen in $g_t = \Pi_V g_t + \Pi_H g_t$ auf. Es pflegt separate Second-Moment-Schätzer:

Vertikale Komponente ( $\hat{v}_V$ ): Der vertikale Gradient wird auf einen einzelnen Skalar pro Orbit-Dimension kollabiert (z. B. via Zeilenmittelwert für CE-Shifts). Dieser Skalar wird verwendet, um das vertikale Update zu normalisieren, wodurch die gesamte Orbit-Dimension effektiv als eine einzige Einheit behandelt wird.
Horizontale Komponente ( $\hat{v}_H$ ): Der horizontale Gradient wird pro Koordinate präkonditioniert, jedoch strikt innerhalb eines $G$ -äquivarianten horizontalen Frames. Entscheidend ist, dass das Update nach der pro-Koordinaten-Division re-projiziert wird ( $\Pi_H$ ), um sicherzustellen, dass die Trajektorie horizontal bleibt.

Der Update-Schritt lautet:
$\theta_{t+1} = \theta_t - \eta \left[ \Pi_H \left( \frac{\Pi_H \hat{m}_t}{\sqrt{\hat{v}_H} + \epsilon} \right) + \text{lift}_V \left( \frac{\text{vert-to-scalar}(\Pi_V \hat{m}_t)}{\sqrt{\hat{v}_V} + \epsilon} \right) \right]$

Behandelte architektonische Gauges

DDC konstruiert spezifische Projektoren und Reduktionen für vier architektonische Gauges:

Cross-Entropy Shift: Additive Verschiebungen in den Logits (Bias oder Unembedding-Gewichte).
ReLU/SwiGLU Rescaling: Multiplikative Skalierung benachbarter Gewichtspaare ( $W_\ell, W_{\ell+1} \to cW_\ell, c^{-1}W_{\ell+1}$ ).
LayerNorm/RMSNorm Scale: Pro-Channel-Skalierung von Normalisierungsparametern und nachgeschalteten Gewichten.
Attention Head Rotation: Nicht-abelsche $O(d_{head})$ -Rotationen von QK- und VO-Gewichten.

Für den nicht-abelschen Rotations-Gauge versagt der Standard-pro-Koordinaten- $\hat{v}$ . DDC schlägt vier $O(d_{head})$ -bewusste Konstruktionen vor, wobei die eingesetzte Standardversion body_frame_topk ist. Diese bewahrt die pro-Koordinaten-Adaptivität in der Eigenbasis der Gram-Matrix $M = W_Q^T W_Q + W_K^T W_K$ , jedoch nur auf „lebenden“ Eigenrichtungen (die Eigenwerte über einem Schwellenwert haben), während sie „tote“ Richtungen nur mit Momentum behandelt.

Zusammensetzung des Basis-Optimierers

DDCAdam: Wendet die volle DDC-Konstruktion auf Adam an. Es behandelt alle vier Gauges exakt (oder näherungsweise für Body-Frame-Rotationen).
DDCMuon: Wendet DDC auf den Muon-Optimierer an (welcher Updates orthogonalisiert). Muons Orthogonalisierung kommutiert exakt mit Rotations-Gauges, wodurch DDCMuon exakt für Rotationen ist. Da die Orthogonalisierung von Muon jedoch die pro-Channel-Skalierungsfreiheit entfernt, kann DDCMuon die Rescaling-Gauges (ReLU/LN Scale) nicht konditionieren und fällt für diese Komponenten auf Adam zurück.

3. Zentrale Beiträge

Äquivariante Präkonditionierung: Eine allgemeine Konstruktion, die adaptive Optimierer so hebt, dass sie kontinuierliche architektonische Symmetrien respektieren, wodurch sichergestellt wird, dass die Trajektorie eine präkonditionierte Gradientenströmung auf dem Symmetrie-Quotienten $\bar{\Theta}$ bleibt.
Rate-Ablesbarkeit: Theoretischer Beweis (Theorem 1), dass DDC die Eigenschaft der „Trajektorie-Rate-Ablesbarkeit“ wiederherstellt. Auf dem Quotienten zerfällt der kleinste Fisher-Eigenwert als $\bar{t}^{2(k-1)}$ , wodurch der singuläre Ordnung $k$ direkt aus der Trajektorie abgelesen werden kann – eine Eigenschaft, die in Standard-Adam durch Rauschen und Bias verschleiert wird.
Gauge-Eindämmung (Gauge Containment): Empirische Demonstration, dass DDC das Driften von Gauge-Moden (z. B. Logit-Shifts, Gewicht-Reskalierungen) verhindert, was Adam plagt, indem es diese Moden bei ihren Initialwerten oder Fixpunkten hält.
Verbesserte Optimierungsergebnisse:
- Übertrainings-Resistenz: Bei Sprachmodellen, die über den Punkt des Fits hinaus trainiert wurden, widersteht DDCAdam dem „Over-training Collapse“, bei dem die Validierungsverlust-Kurve von der Trainingsverlust-Kurve abweicht.
- Grokking-Zuverlässigkeit: Bei tiefen Transformern (Tiefe 24) ermöglicht DDCMuon „Grokking“ (plötzliche Generalisierung) in 10/11 Seeds, während vanilla Muon vollständig scheitert (0/11).
- Kompression: Bei Vision Transformern komprimiert DDCAdam die überschüssige Feed-Forward-Kapazität unter Weight Decay aggressiver als AdamW und erreicht dabei einen niedrigeren Validierungsverlust.

4. Experimentelle Ergebnisse

Sprachmodelle (Tiefe-12, Over-training):
- Rate-Ablesbarkeit: DDCAdam liest die singuläre Rate in 32 von 65 beobachtbaren Zellen aus, während AdamW sie nur in 7 Zellen liest. In AdamW steigen die Fisher-Eigenwerte weg vom Minimum an; in DDCAdam kollabieren sie zum Boden.
- Over-training: DDCAdam hält eine Validierungs-Trainings-Verlustdifferenz von 0,67, im Vergleich zu 5,88 bei AdamW.
Grokking Transformer:
- Tiefe-24: DDCMuon erreicht 10/11 Grokking-Seeds mit einer Genauigkeit von >0,9, während vanilla Muon 0/11 erreicht.
- Tiefe-8 (RoPE): Die Anpassung des Rotations-Gauge an die spezifische Torus-Symmetrie von Rotary Position Embeddings ( $SO(2)^{d/2}$ ) liefert eine höhere Genauigkeit (0,977) und geringere Varianz als generische $O(d_{head})$ -Gauges (0,955).
Vision Transformer (ViT):
- Von Grund auf auf ImageNet-100 trainiert, erreicht DDCAdam einen niedrigeren Validierungsverlust (1,71 vs. 2,12 nats) und komprimiert das Netzwerk (Aktivierungs-Singularwerte 4x kleiner) bei demselben Weight Decay, bei dem AdamW die Kapazität intakt lässt.
Gauge-Eindämmung:
- Bei synthetischen Aufgaben reduziert DDCAdam das Cross-Seed-Driften von Gauge-Moden um das 14-fache (ReLU Rescale) und um das 65-fache (LayerNorm Scale) im Vergleich zu AdamW, während der finale Task-Loss identisch bleibt.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass der Einbau von Symmetrien in den Optimierer die Geometrie der gefundenen Lösung fundamental verändert. Durch das Respektieren der Gauge-Symmetrie:

Das Minimum ist schärfer: Der Optimierer pendelt sich in einem weniger degenerierten Minimum ein (höhere Fisher-Eigenwerte abseits des singulären Bodens).
Die Geometrie ist messbar: Die Trajektorie wird zu einem lesbaren Signal des zugrunde liegenden singulären Lernkoeffizienten, was die Diagnose der Modellkomplexität direkt aus der Trainingsdynamik ermöglicht.
Die Zuverlässigkeit steigt: Der Optimierer wird robust gegenüber dem „Drift“, der in tiefen oder übertrainierten Regimen zum Scheitern führt, insbesondere bei Aufgaben, die „Grokking“ erfordern.

Die Autoren betonen, dass die Konstruktion generisch für den Präkonditionierer ist und Adam, Muon sowie Shampoo „hebt“ (lifts), und dass die Vorteile nicht allein auf Weight Decay beruhen, sondern auf der geometrischen Beschränkung, auf dem Quotienten zu bleiben. Das Paper schließt mit der Feststellung, dass die Gauge-Symmetrie eines Netzwerks, wenn sie vom Optimierer respektiert wird, „das gefundene Minimum schärft und dessen Geometrie in etwas verwandelt, das die Trajektorie messen kann.“

Angemerkte Limitationen:

Die Beschleunigung von Muon beim Grokking wird teilweise dem inhärenten gebündelten Weight Decay der äquivarianten Aktualisierung zugeschrieben, obwohl die Projektion selbst für Zuverlässigkeit und eine sauberere Struktur sorgt.
Die exakte Äquivarianz für die Body-Frame-Rotationskonstruktion ist aufgrund der Eigenvektor-Vorzeichenambiguität näherungsweise (Leading-Order), wobei dieser Drift jedoch gering ist ( $\sim 10^{-3}$ über 20 Schritte).
Das vollständige Lesen der singulären Struktur (Ordnung und Multiplizität) erfordert Mechanismen, die in dieser Arbeit noch nicht vollständig entwickelt wurden.