🤖 machine learning

Conservation Laws for Modern Neural Architectures

Diese Arbeit etabliert einen einheitlichen theoretischen Rahmen zur Charakterisierung von Erhaltungssätzen im Gradientenfluss für moderne neuronale Architekturen – einschließlich Modellen mit GELU-, SiLU- und SwiGLU-Aktivierungen, verschiedenen Attention-Mechanismen sowie Mixture-of-Experts-Designs – und validiert diese Erkenntnisse durch Experimente, um den impliziten Bias überparametrisierter Modelle besser zu erklären.

Ursprüngliche Autoren: Viet-Hoang Tran, Vinh Khanh Bui, Tan Lai Ngoc, Nam Nguyen, Tuan Dam, Tan M. Nguyen

Veröffentlicht 2026-06-17

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Viet-Hoang Tran, Vinh Khanh Bui, Tan Lai Ngoc, Nam Nguyen, Tuan Dam, Tan M. Nguyen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie beobachten, wie eine gewaltige, komplexe Maschine in Echtzeit gebaut und angepasst wird. Diese Maschine ist ein modernes KI-Modell (wie jene, die Geschichten schreiben oder Bilder erkennen). Während die Maschine lernt, drehen sich ihre internen Knöpfe und Regler (die sogenannten „Parameter“) ständig, um Fehler zu minimieren.

Dieses Papier ist wie eine Detektivgeschichte darüber, was gleich bleibt, während sich alles andere verändert.

Die große Idee: Die „unveränderlichen Regeln“ des Lernens

Normalerweise denken wir beim Training einer KI an einen chaotischen Prozess, bei dem Zahlen zufällig steigen und fallen. Doch die Autoren entdeckten, dass selbst in diesem Chaos strikte Erhaltungssätze herrschen.

Denken Sie an diese Gesetze wie an die Energieerhaltung in der Physik. Wenn man einen Ball einen Hügel hinunterrollt, wird seine potenzielle Energie in kinetische Energie umgewandelt, aber die Gesamtenergie bleibt gleich. Ähnlich verhält es sich, wenn eine KI lernt: Bestimmte mathematische Kombinationen ihrer internen Einstellungen bleiben vollkommen konstant, egal wie viele Daten sie sieht oder wie lange sie trainiert.

Das Hauptziel des Papers war es, diese „verborgenen Invarianten“ für die populärsten, modernen KI-Architekturen von heute zu finden.

Die Detektivarbeit: Wie sie die Regeln fanden

Die Autoren haben nicht einfach nur geraten; sie nutzten eine mathematische „Lupe“. Sie fragten: „Wenn wir die Daten oder den Startpunkt ändern, welche mathematischen Formeln unter Einbeziehung der KI-Einstellungen werden sich niemals ändern?“

Sie behandelten den Lernprozess der KI wie einen fließenden Fluss. Selbst wenn das Wasser (die Daten und der spezifische Pfad) sich ändert, zwingt die Form des Flussbettes (die Architektur) das Wasser dazu, spezifischen Mustern zu folgen. Sie kartierten diese Muster für drei wichtige Arten moderner KI-Komponenten:

1. Die „glatten“ Feedforward-Netzwerke (Die Gehirne)

Moderne KIs nutzen spezielle „Aktivierungsfunktionen“ (mathematische Schalter), um zu entscheiden, worauf sie Aufmerksamkeit richten sollen.

GELU und SiLU: Dies sind glatte, sanfte Schalter. Die Autoren fanden heraus, dass es für Netzwerke, die diese nutzen, nichts Interessantes gibt, das konstant bleibt, außer der Tatsache, dass das System einfach nur seinen Job erledigt. Es ist wie ein glatter Fluss ohne Strudel; das Wasser fließt einfach nur dahin.
SwiGLU: Dies ist ein komplexerer Schalter, der in Top-Modellen (wie LLaMA) verwendet wird. Hier fanden sie ein verborgenes Gleichgewicht. Stellen Sie sich zwei Gewichte, A und C, vor, die wie eine Wippe wirken. Wenn A schwerer wird, muss C auf eine ganz bestimmte Weise leichter werden, um die gesamte „Balance-Punktzahl“ konstant zu halten. Das Paper beweist exakt, wie dieses Gleichgewicht funktioniert.

2. Der Attention-Mechanismus (Der Fokus)

Dies ist der Teil der KI, der entscheidet, welche Wörter in einem Satz wichtig sind.

Standard Multi-Head Attention: Die Autoren lösten ein Rätsel, das Forscher zuvor nicht abschließen konnten. Sie fanden heraus, dass es für jeden „Head“ (einen Teilprozessor) zwei Paare von Gewichten (Query/Key und Value/Output) gibt, die eine spezifische Differenz aufrechterhalten müssen. Denken Sie an ein Tauziehen: Die Stärke des „Zug-Teams“ muss immer der Stärke des „Druck-Teams“ in einer präzisen mathematischen Weise entsprechen.
Rotary Positional Encoding (RoPE): Dies ist eine ausgeklügelte Methode, um der KI mitzuteilen, wo sich Wörter in einem Satz befinden (z. B. „erstes Wort“ vs. „letztes Wort“). Die Autoren fanden heraus, dass dies die Regeln völlig verändert. Anstatt eines einfachen Tauziehens müssen die Gewichte nun in einem spezifischen Kreis rotieren, um das „Rotationsgleichgewicht“ konstant zu halten. Es ist wie eine Tänzerin, die sich dreht; ihre Geschwindigkeit und Position ändern sich, aber ihr Drehimpuls bleibt fixiert.

3. Mixture-of-Experts (Das Team von Spezialisten)

Stellen Sie sich eine KI vor, die nicht ein riesiges Gehirn nutzt, sondern ein Team aus 100 kleineren Experten, von denen jeweils nur wenige zu Aufgaben gerufen werden.

Der Gating-Mechanismus: Dies ist der „Manager“, der entscheidet, welche Experten arbeiten. Die Autoren fanden heraus, dass die Entscheidungen des Managers und die Einstellungen der Experten miteinander verknüpft sind.
Die Entdeckung: Ob der Manager die Top 2 Experten oder die Top 10 wählt, oder ob er eine „sanfte“ Abstimmung (Softmax) oder eine „harte“ Abstimmung (Sigmoid) nutzt – das Gesamtgewicht der Entscheidungen des Teams bleibt konstant. Die einzelnen Experten mögen sich ändern, aber der Einfluss ihrer Summe folgt einer strikten Regel.

Das Experiment: Funktioniert es in der Realität?

Die Autoren haben nicht nur Theorie auf dem Papier betrieben. Sie bauten kleine KI-Modelle und trainierten sie mit echten Daten (wie Bildern und Text).

Sie verfolgten diese „konservierten Größen“ über tausende Schritte hinweg.

Das Ergebnis: Genau wie ein Pendel, das schwingt, blieben die Werte unglaublich stabil.
Die Einschränkung: Wenn sie eine sehr hohe Lernrate (eine große Schrittweite) verwendeten, schwankten die Werte ein wenig, aber das Schwanken war vorhersehbar und klein. Wenn sie das Lernen verlangsamten, blieben die Werte fast perfekt unbeweglich. Dies bewies, dass diese Gesetze nicht nur theoretisch sind, sondern reale, physische Zwänge dafür sind, wie diese KI-Modelle lernen.

Zusammenfassung

Vereinfacht gesagt sagt dieses Paper: „Moderne KI-Modelle sind keine chaotischen Trümmerhaufen. Sie werden von verborgenen, unbrechbaren mathematischen Regeln geleitet.“

So wie ein Automotor Regeln hat, wie Treibstoff in Bewegung umgewandelt wird, haben diese KI-Modelle Regeln, wie ihre internen Zahlen einander ausgleichen müssen. Die Autoren haben erfolgreich das Regelbuch für die fortschrittlichsten KI-Architekturen geschrieben, die derzeit im Einsatz sind, und zeigten uns genau, was gleich bleibt, während die KI lernt.

Technische Zusammenfassung: Erhaltungssätze für moderne neuronale Architekturen

Problemstellung
Das Verständnis der Trainingsdynamik überparametrisierter neuronaler Netze ist zentral für die Erklärung ihres Erfolgs. Ein Schlüsselmechanismus in diesem Verständnis ist das Konzept der Erhaltungssätze (Conservation Laws) – Größen, die entlang von Optimierungstrajektorien (speziell des Gradientenflusses) invariant bleiben. Während diese Erhaltungssätze für lineare und ReLU-Netzwerke gut charakterisiert sind, bleiben sie für moderne Architekturen weitgehend unerforscht. Bestehende Frameworks haben Schwierigkeiten, eine vollständige Charakterisierung für zeitgenössische Modelle bereitzustellen, die glatte Aktivierungsfunktionen (z. B. GELU, SiLU), komplexe Attention-Mechanismen (Multihead Attention mit Positional Encodings) und Mixture-of-Experts-Designs (MoE) verwenden. Darüber hinaus war die bisherige Arbeit zu Multihead Attention (MHA) auf Single-Head-Einstellungen beschränkt, was den Fall der Multi-Head-Variante als offenes Problem hinterließ.

Methodik
Die Arbeit entwickelt ein vereinheitlichtes theoretisches Framework zur Charakterisierung von Erhaltungssätzen für moderne Deep-Learning-Modelle. Der Ansatz baut auf der Arbeit von Marcotte et al. (2023; 2025) auf, weicht jedoch in seiner analytischen Strategie davon ab:

Problemformulierung: Die Autoren definieren einen Erhaltungssatz $h(\theta)$ als eine Funktion, die unter dem euklidischen Gradientenfluss $\dot{\theta} = -\nabla L_D(\theta)$ invariant ist. Um das Problem handhabbar zu machen, treffen sie die Annahme, dass Erhaltungssätze für beliebige Datensätze gelten müssen, wodurch der implizite Bias, der ausschließlich durch die Architektur und die Optimierungsdynamik induziert wird, isoliert wird.
Reduktion auf PDEs: Anstatt sich auf Lie-theoretische Mechanismen zu verlassen, reduzieren die Autoren die Erhaltungsbedingung auf ein System von partiellen Differentialgleichungen (PDEs). Konkret fordern sie, dass der Gradient des Erhaltungssatzes $\nabla_\theta h$ für alle Eingaben orthogonal zum Span der Jacobi-Vektoren des Modells steht.
Komplex-analytische Techniken: Der Kern der Beweisstrategie besteht darin, die Orthogonalitätsbedingungen als komplexwertige Funktionen zu betrachten. Durch die Beschränkung dieser Funktionen auf spezifische Unterräume und die Nutzung des Identitätssatzes für meromorphe Funktionen leiten die Autoren datenunabhängige Constraints für die Gradienten von $h$ ab.
Charakterisierung über Invarianten: Die resultierenden PDE-Constraints werden gelöst, um „charakteristische Invarianten“ zu identenifizieren. Es zeigt sich, dass die Erhaltungssätze konstant auf den zusammenhängenden Komponenten der durch diese Invarianten definierten Level-Sets sind.

Zentrale Beiträge und Ergebnisse
Die Arbeit liefert vollständige Charakterisierungen der Erhaltungssätze für drei primäre Klassen moderner Architekturen:

Feedforward-Netzwerke (FFNs):
- GELU und SiLU: Die Autoren beweisen, dass für FFNs mit GELU- oder SiLU-Aktivierungen die einzigen Erhaltungssätze konstante Funktionen sind. Es existieren keine nicht-trivialen Invarianten.
- SwiGLU: Im Gegensatz dazu weisen SwiGLU-Architekturen (die eine multiplikative Interaktion zwischen Parameter-Matrizen beinhalten) nicht-triviale Erhaltungssätze auf. Die Invarianten werden durch die Größen $\|A_{:,i}\|^2 - \|C_{i,:}\|^2$ für jede Hidden Unit $i$ bestimmt, wobei $A$ und $C$ die beteiligten Gewichtmatrizen des Gating-Mechanismus sind.
Multihead Attention (MHA):
- Vanilla MHA: Die Autoren lösen das offene Problem der Charakterisierung von Erhaltungssätzen für Multi-Head-Attention und bestätigen, dass die Erhaltungssätze durch die Invarianten $Q_i^\top Q_i - K_i^\top K_i$ und $V_i^\top V_i - O_i^\top O_i$ für jeden Head $i$ charakterisiert werden.
- Sinusoidal Positional Encoding (PE): Da Sinusoidal PE als eine feste, bijektive Verschiebung des Inputs fungiert, bleibt die Erhaltungsstruktur identisch mit der des Vanilla-MHA-Falls.
- Rotary Positional Encoding (RoPE): RoPE verändert die interne Struktur der Attention grundlegend. Die Autoren leiten einen distinkten Satz von Invarianten ab: $\|Q_i^{(j)}\|_F^2 - \|K_i^{(j)}\|_F^2$ (wobei $Q$ und $K$ in $2 \times 2$ -Blöcke zerlegt sind) und $V_i^\top V_i - O_i^\top O_i$ . Dies zeigt, dass RoPE eine andere Klasse von Erhaltungssätzen einführt als absolute Positional Encodings.
Mixture-of-Experts (MoE):
- Dense und Sparse MoE: Die Studie deckt sowohl Dense Gating als auch Sparse MoE (SMoE) mit Top- $k$ Routing ab. Die Ergebnisse zeigen, dass die Erhaltungssätze für SMoE mit denen des entsprechenden Dense MoE übereinstimmen.
- Gating-Mechanismen: Die Invarianten sind auf Expertenebene lokalisiert (folgend den SwiGLU-Invarianten für jeden Experten) und beinhalten eine zusätzliche Invariante für die Gating-Gewichte: die Summe der Gating-Gewichtsvektoren $\sum W_i$ .
- Sigmoid Gating: Die Autoren zeigen, dass das Ersetzen von Softmax-Gating durch normalisiertes Sigmoid-Gating die Menge der Erhaltungssätze nicht verändert; die Invarianten bleiben identisch mit dem Softmax-Gated-Fall.

Experimentelle Validierung
Die theoretischen Erkenntnisse werden empirisch über Aufgaben der Sprachmodellierung (WikiText-103, Penn Treebank) und Computer Vision (CIFAR-10, ImageNet-1K) validiert.

Setup: Die Experimente nutzen sowohl Full-Batch Gradient Descent (um den kontinuierlichen Zeitfluss zu approximieren) als auch Mini-Batch SGD auf kleinen und großen Datensätzen.
Metriken: Die Autoren verfolgen den „Erhaltungsfehler“ (Abweichung der Invarianten von ihren Initialwerten) über die Trainingsschritte hinweg.
Ergebnisse: Die Experimente bestätigen, dass die Erhaltungssätze während des Trainings beschränkt bleiben. Insbesondere skaliert der Fehler wie theoretisch vorhergesagt mit der Lernrate $\tau$ und der Anzahl der Schritte $k$ als $O(\tau^2 k)$ bei konstanten Schrittweiten. Die Ergebnisse halten konsistent über MHA, SwiGLU FFNs, RoPE und MoE-Gating-Mechanismen hinweg, unabhängig vom Datensatz oder Trainingsregime.

Bedeutung und Ansprüche
Die Arbeit beansprucht, das theoretische Verständnis der Trainingsdynamik voranzutreiben, indem sie die erste vollständige Charakterisierung der Erhaltungssätze für ein breites Spektrum moderner neuronaler Architekturen liefert.

Theoretische Vereinheitlichung: Sie etabliert ein vereinheitlichtes Framework, das frühere Ergebnisse von linearen/ReLU-Netzwerken auf glatte Aktivierungen und komplexe Attention-Mechanismen erweitert.
Lösung offener Probleme: Sie löst explizit das offene Problem der Charakterisierung von Erhaltungssätzen für Multi-Head-Attention und erweitert die Analyse auf Positional Encodings und MoE-Gating.
Impliziter Bias: Durch die Identifizierung dieser Invarianten beleuchtet die Arbeit die geometrischen Beschränkungen, die inhärent für moderne Architekturen sind, und zeigt Eigenschaften auf, die von der Initialisierung bis zur Konvergenz bestehen bleiben.
Limitierungen: Die Autoren merken bescheiden an, dass ihre Abhängigkeit von komplex-analytischen Techniken (meromorphe Erweiterungen) die Anwendung des Frameworks derzeit auf Architekturen mit nicht-meromorphen Komponenten einschränkt, wie etwa Layer Normalization oder tiefe Kompositionen mit Funktionen wie $\sqrt{x}$ oder $e^{1/x}$ . Sie räumen zudem ein, dass die datenunabhängige Annahme, obwohl sie zur Isolierung des architektonischen Bias prinzipiell fundiert ist, in breiteren Kontexten als restriktiv betrachtet werden kann.