💬 NLP

Why Geometric Continuity Emerges in Deep Neural Networks: Residual Connections and Rotational Symmetry Breaking

Dieser Artikel erklärt, dass geometrische Kontinuität in tiefen neuronalen Netzen aus den kombinierten Effekten von Residualverbindungen, die Gewichtsaktualisierungen über die Schichten hinweg ausrichten, und symmetriebrechenden Nichtlinearitäten resultiert, die die Schichten auf einen gemeinsamen Koordinatenrahmen beschränken, um eine Rotationsdrift zu verhindern.

Ursprüngliche Autoren: Kyungwon Jeong, Won-Gi Paeng, Honggyo Suh

Veröffentlicht 2026-05-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kyungwon Jeong, Won-Gi Paeng, Honggyo Suh

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein tiefes neuronales Netzwerk als eine riesige, mehrstöckige Fabrik vor. Jede Etage (oder „Schicht") nimmt ein Rohmaterial, verarbeitet es und gibt es an die nächste Etage weiter. Damit diese Fabrik effizient funktioniert, müssen die Werkzeuge auf jeder Etage auf eine bestimmte Weise ausgerichtet sein.

Diese Arbeit untersucht eine seltsame Entdeckung: In gut trainierten Fabriken (neuronalen Netzwerken) sind die „Werkzeuge" (Gewichtsmatrizen) auf benachbarten Etagen überraschend ähnlich. Wenn man die wichtigste Richtung betrachtet, auf die jedes Werkzeug zeigt, scheinen sie alle in dieselbe allgemeine Richtung zu zeigen und bilden einen glatten, kontinuierlichen Pfad vom Boden bis zur Spitze des Gebäudes. Die Autoren nennen dies „Geometrische Kontinuität".

Die große Frage, die diese Arbeit beantwortet, lautet: Warum passiert das? Ist es Magie, oder gibt es ein spezifisches Rezept?

Durch Experimente mit einfachen Modellen (Spielzeugfabriken) und komplexen (Transformern) stellten die Autoren fest, dass zwei spezifische Zutaten erforderlich sind, um diese glatte Ausrichtung zu erzeugen. Fehlt eine davon, zerfällt die Fabrik in Chaos.

Die zwei geheimen Zutaten

1. Das Aufzugsystem (Residualverbindungen)

Stellen Sie sich vor, die Fabriketagen sind durch einen speziellen Aufzug verbunden, der eine „Nachricht" vom Erdgeschoss bis zur Spitze trägt, ohne sie wesentlich zu verändern. Dies ist eine Residualverbindung.

Was sie bewirkt: Sie stellt sicher, dass die „Fehlersignale" (Nachrichten, die der Fabrik mitteilen, was schiefgelaufen ist) glatt von der obersten Etage zurück nach unten zum Boden reisen.
Die Analogie: Ohne diesen Aufzug geht die Nachricht auf jeder Etage verloren oder wird durcheinandergebracht. Mit ihm hört jede Etage dieselbe Geschichte darüber, was repariert werden muss. Dies schafft eine gemeinsame „Kohärenz" oder Einigung darüber, was zu tun ist.
Das Ergebnis: Diese Ausrichtung der Nachrichten ist der erste Schritt. Sie bewirkt, dass die Etagen in dieselbe Richtung zeigen wollen.

2. Der Verriegelungsmechanismus (Symmetriebrechende Nichtlinearitäten)

Dies ist der kritischste und überraschendste Teil. Selbst mit dem Aufzug kann die Fabrik dennoch versagen. Stellen Sie sich vor, jede Etage könnte ihre gesamte Maschinerie frei um 360 Grad drehen. Selbst wenn sie sich alle darüber einig sind, was zu tun ist, könnten sie ihre Werkzeuge in verschiedene Richtungen drehen und zufällig nach Norden, Süden, Osten oder Westen zeigen. Der „glatte Pfad" würde brechen.

Um dies zu verhindern, benötigt die Fabrik einen Verriegelungsmechanismus. In neuronalen Netzwerken wird dieser durch Aktivierungsfunktionen (wie ReLU) und Normalisierung (wie LayerNorm) bereitgestellt.

Die Analogie: Betrachten Sie diese Funktionen als ein „magnetisches Schloss", das die Maschinerie in ein festes Koordinatensystem einrastet. Sie brechen die „Rotationssymmetrie".
- Ohne das Schloss (Linear/Keine Aktivierung): Die Maschinerie ist frei zu drehen. Selbst wenn sich die Etagen über die Aufgabe einig sind, driftet ihre Orientierung auseinander. Der glatte Pfad kollabiert.
- Mit dem Schloss (ReLU/SiLU): Die Maschinerie ist an ein bestimmtes Gitter gepinnt. Sie können nicht mehr frei drehen. Da sie alle an dasselbe Gitter gepinnt sind und alle dieselbe Nachricht vom Aufzug gehört haben, richten sie ihre Werkzeuge natürlich in dieselbe Richtung aus.
Die Wendung: Es ist nicht die „Nichtlinearität" (die Komplexität der Mathematik), die zählt; es ist das Brechen der Rotationssymmetrie. Die Autoren bewiesen dies, indem sie eine spezielle „rotationserhaltende" mathematische Funktion verwendeten, die zwar komplex (nichtlinear) war, aber die Rotation nicht verriegelte. Das Ergebnis? Die Fabrik zerfiel dennoch. Das Schloss ist der Held, nicht die Komplexität.

Wie sich die Fabriketagen ausrichten (Der Prozess)

Die Arbeit beschreibt einen zweistufigen Tanz:

Formation: Der Aufzug (Residualverbindung) bringt die Etagen dazu, sich über die Richtung des Gradienten (den Pfad zur Fehlerbehebung) zu einigen.
Erhaltung: Der Verriegelungsmechanismus (Aktivierung/Norm) friert diese Einigung ein, damit sich die Werkzeuge im Laufe der Zeit nicht auseinanderdriften.

Wenn Sie das Schloss entfernen, mögen sich die Etagen für einen Moment ausgerichtet sein, aber dann driften sie langsam wie Schiffe im Nebel auseinander und zerstören den glatten Pfad.

Die Transformer-Wendung: Lesen vs. Schreiben

Die Arbeit untersuchte auch Transformer (die Architektur hinter moderner KI wie LLMs). Dies sind komplexere Fabriken mit verschiedenen Arten von Arbeitern:

Leser (Q, K, Gate, Up): Diese Arbeiter schauen auf das Hauptförderband (den Residualstrom). Sie entwickeln Kontinuität im Eingaberaum (wie sie die Welt sehen).
Schreiber (O, Down): Diese Arbeiter schreiben zurück auf das Förderband. Sie entwickeln Kontinuität im Ausgaberaum (wie sie die Welt beeinflussen).
Der Außenseiter (V): Die „Value"-Projektion ist ein Leser, hat aber direkt daneben kein „Schloss" (keine Aktivierungsfunktion). Da ihr der symmetriebrechende Verriegelungsmechanismus fehlt, entwickelt sie niemals einen glatten Pfad. Sie bleibt chaotisch und unausgerichtet.

Zusammenfassung in einfacher Sprache

Die Arbeit kommt zu dem Schluss, dass die glatte, kontinuierliche Struktur, die wir in KI-Gewichten sehen, kein Zufall ist. Sie ist ein direktes Ergebnis zweier Designentscheidungen:

Residualverbindungen fungieren als Kommunikationsautobahn und stellen sicher, dass alle Schichten dieselben Anweisungen hören.
Aktivierungsfunktionen wirken wie eine magnetische Klammer und verhindern, dass sich die Schichten aus der Ausrichtung drehen.

Wenn Sie die Autobahn, aber keine Klammer haben, driften die Schichten auseinander. Wenn Sie die Klammer, aber keine Autobahn haben, einigen sie sich nicht darauf, was zu tun ist. Sie benötigen beides, um ein tiefes, stabiles und geometrisch kontinuierliches neuronales Netzwerk zu bauen.

Technische Zusammenfassung: Warum geometrische Kontinuität in tiefen neuronalen Netzwerken entsteht

Problemstellung

Neue Beobachtungen deuten darauf hin, dass Gewichtsmatrizen in benachbarten Schichten tiefer neuronaler Netzwerke, insbesondere großer Sprachmodelle (LLMs), geometrische Kontinuität aufweisen: Ihre führenden singulären Vektoren zeigen in ähnliche Richtungen und bilden glatte Trajektorien über die Netzwerktiefe hinweg. Obwohl dieses Phänomen empirisch dokumentiert und mit praktischen Vorteilen wie dem Schneiden von Schichten (Layer Pruning) und der teilweisen Parameterfreigabe über Schichten hinweg in Verbindung gebracht wurde, bleibt sein fundamentaler Ursprung ungeklärt. Es ist unklar, ob diese Kontinuität eine unvermeidbare Konsequenz des Trainings tiefer Netzwerke ist oder ob sie spezifische architektonische Voraussetzungen erfordert. Dieser Beitrag untersucht die mechanistischen Ursprünge der geometrischen Kontinuität, um zu bestimmen, ob sie ein Artefakt spezifischer Optimierer oder ein strukturelles Nebenprodukt des Lernens in residualen Netzwerken ist.

Methodik

Die Autoren verwenden eine Kombination aus kontrollierten Ablationsstudien an „Toy"-Multi-Layer-Perceptrons (MLPs) und kleinen Transformern sowie eine Analyse vortrainierter LLMs.

Toy-MLP-Experimente (MNIST):
- Architektur: Ein residualer MLP mit 16 Schichten und 256 versteckten Dimensionen.
- Variablen: Die Studie isoliert systematisch architektonische Komponenten durch:
  - Entfernen der residualen Verbindungen (NoRes).
  - Entfernen der Aktivierungsfunktionen (Res+None).
  - Ersetzen der Standardaktivierungen durch rotationsäquivariante Nichtlinearitäten (Res+Radial, unter Verwendung von $\sigma_{rad}(x) = x \cdot \tanh(\|x\|)$ ).
  - Variieren der Initialisierungsskalen und Optimierer-Einstellungen (z. B. Adam mit $\beta_2=0$ ).
- Metriken: Die Autoren messen die Kosinus-Ähnlichkeit der führenden singulären Vektoren ( $v_1$ für den Eingaberaum, $u_1$ für den Ausgaberaum) zwischen benachbarten Schichten. Sie definieren zudem eine $\sigma^2$ -gewichtete Ausrichtungsmetrik, um die Kontinuität über das gesamte singuläre Spektrum zu bewerten, und verfolgen die kumulative Gradientenkohärenz.
Transformer-Experimente (WikiText-103 & vortrainierte LLMs):
- Kleiner Maßstab: Ein Llama-artiger Transformer (8 Schichten, 34 Millionen Parameter), trainiert auf WikiText-103. Die Autoren führen Ablationen an MLP-Aktivierungen durch, um deren spezifischen Einfluss auf verschiedene Projektionsmatrizen (Q, K, V, Gate, Up, O, Down) zu testen.
- Großer Maßstab: Analyse vortrainierter Modelle wie Llama-3.1-8B und Modelle mit bis zu 70 Milliarden Parametern, um zu verifizieren, ob die beobachteten Muster auch in großem Maßstab gelten.

Hauptbeiträge und Ergebnisse

1. Zwei notwendige Bedingungen für geometrische Kontinuität

Der Beitrag identifiziert zwei distincte Mechanismen, die für das Entstehen und Bestehen geometrischer Kontinuität erforderlich sind:

Bedingung 1: Residuale Verbindungen (Gradientenkohärenz):
Residuale Verbindungen stellen sicher, dass benachbarte Schichten ähnliche Fehlersignale erhalten. In residualen Netzwerken enthält der Gradient bezüglich des Eingangs einer Schicht einen Identitätsterm ( $I$ ), was eine kohärente Gradientenübertragung über Schichten hinweg erzeugt. Empirische Ergebnisse zeigen, dass ohne residuale Verbindungen die Gradientenkohärenz auf zufällige Werte absinkt (~0,05) und sich keine Gewichtskontinuität entwickelt.
Bedingung 2: Symmetriebrechende Nichtlinearitäten (Stabilisierung des Koordinatensystems):
Während residuale Verbindungen kohärente Gradienten liefern, reichen sie ohne Symmetriebrechung nicht aus, um die Gewichtskontinuität aufrechtzuerhalten.
- Das Versagen von „Res+None": Das Entfernen der Aktivierungsfunktion (Hinterlassen eines linearen residualen Netzwerks) führt zu einer hohen Gradientenkohärenz (~~0,93), aber zu einer niedrigen Gewichtskontinuität (~~0,22). Die Gewichte bilden zunächst eine kontinuierliche Struktur, kollabieren jedoch aufgrund von Rotationsdrift.
- Mechanismus: In linearen Netzwerken besitzen Gewichtsprodukte eine kontinuierliche rotationssymmetrische Eigenschaft ($SO(d)$), was flache Richtungen im Verlustlandschaft erzeugt, in denen Gewichte unabhängig voneinander driften können. Elementweise Aktivierungen (ReLU, GELU, SiLU) brechen diese Symmetrie, zwingen die Schichten in einen gemeinsamen Koordinatenrahmen und verhindern Drift.
- Nichtlinearität vs. Symmetriebrechung: Entscheidend ist, dass Nichtlinearität allein nicht der aktive Faktor ist. Eine rotationsäquivariante Aktivierung (Res+Radial), die nichtlinear ist, aber die $SO(d)$-Symmetrie bewahrt, scheitert daran, die Kontinuität aufrechtzuerhalten (Gewicht $v_1 \approx 0,22$ ). Dies isoliert die Symmetriebrechung als den kritischen Faktor.

2. Distinkte Rollen von Aktivierung und Normalisierung

Aktivierung: Konzentriert die geometrische Kontinuität in der führenden singulären Richtung ( $v_1$ ).
LayerNorm: Brecht die Symmetrie auf andere Weise, indem sie die Kontinuität über mehrere singuläre Richtungen verteilt. In Kombination dominiert der auf $v_1$ konzentrierte Modus der Aktivierung.

3. Projektionsspezifische Kontinuität in Transformern

In Transformer-Architekturen ist die geometrische Kontinuität nicht einheitlich, sondern projektionsspezifisch, bestimmt durch die Nähe einer Nichtlinearität und die Richtung des Informationsflusses relativ zum Residualstrom:

Kontinuität im Eingaberaum ( $v_1$ ): Projektionen, die aus dem Residualstrom lesen und von einer Nichtlinearität gefolgt werden, entwickeln eine starke Kontinuität im Eingaberaum. Dazu gehören Q, K (stabilisiert durch Softmax), Gate (stabilisiert durch die MLP-Aktivierung) und Up (stabilisiert durch die gating-Multiplikation mit dem aktivierten Gate).
Kontinuität im Ausgaberaum ( $u_1$ ): Projektionen, die in den Residualstrom schreiben und Signale nach der Nichtlinearität empfangen, entwickeln eine Kontinuität im Ausgaberaum. Dazu gehören O und Down.
Niedrige Kontinuität: Die V (Value)-Projektion entwickelt nur eine niedrige Kontinuität in beiden Räumen, da ihr eine benachbarte Nichtlinearität fehlt, um die Symmetrie zu brechen und ihren Rahmen zu verankern.

4. Dynamik des Transfers von Gradienten zu Gewichten

Die Studie enthüllt eine kausale Abfolge:

Gradientenkohärenz: Eine kohärente Gradientenverteilung über Schichten hinweg existiert sofort bei der Initialisierung (vor Gewichtsaktualisierungen) aufgrund der residualen Verbindungen.
Gewichtsbildung: Mit fortschreitendem Training akkumulieren Gewichtsaktualisierungen. Sobald die Größe der kumulierten Aktualisierungen ( $\|\Delta W\|$ ) die initialen Gewichte ( $\|W^{(0)}\|$ ) dominiert, richtet sich die Gewichtsstruktur an der kumulativen Gradientenstruktur aus.
Stabilisierung: Symmetriebrechende Nichtlinearitäten verhindern die „Rotationsdrift", die andernfalls die Gewichtsstruktur vom kohärenten Gradientensignal entkoppeln würde.

Bedeutung und Behauptungen

Der Beitrag behauptet, dass geometrische Kontinuität ein strukturelles Nebenprodukt des Lernens in residualen Netzwerken mit symmetriebrechenden Nichtlinearitäten ist und kein Artefakt spezifischer Optimierer oder Trainingstricks.

Mechanistische Erklärung: Die Arbeit liefert eine mechanistische Erklärung dafür, warum benachbarte Schichten in LLMs ähnliche singuläre Vektorstrukturen teilen, und verknüpft architektonische Entscheidungen (Residuen, Aktivierungen) direkt mit der emergenten Gewichtsgeometrie.
Validierung von Kompressionsstrategien: Die Ergebnisse bieten eine theoretische Grundlage für bestehende Modellkomprimierungstechniken (z. B. Schneiden von Schichten, teilweises Teilen von Parametern über Schichten hinweg). Der Beitrag argumentiert, dass, da Kontinuität natürlich aus dem Lernprozess hervorgeht, gut trainierte Modelle inhärent die schichtenübergreifenden Ähnlichkeiten besitzen, die diese Kompressionsstrategien machbar machen.
Implikationen für das Design: Das projektionsspezifische Muster legt nahe, dass Kompressions- oder Parameterfreigabestrategien den spezifischen Raum (Eingabe vs. Ausgabe) respektieren sollten, in dem jede Projektion strukturiert ist. Beispielsweise teilen Q, K, Gate und Up Basen im Eingaberaum, während O und Down Basen im Ausgaberaum teilen, wohingegen V keine offensichtliche Möglichkeit zur schichtenübergreifenden Teilung bietet.

Die Autoren bleiben bezüglich ihrer Behauptungen bescheiden und weisen darauf hin, dass, obwohl der Mechanismus für den MLP und die Gate-Projektion (durch direkte Ablation) klar ist, die Behauptungen für Q/K und V in Transformern auf indirekten Beweisen bzw. dem Fehlen einer Nichtlinearität beruhen. Sie räumen zudem ein, dass, obwohl die Muster über verschiedene Maßstäbe hinweg gelten (bis zu 70 Milliarden Parametern), die spezifischen Trainingsdynamiken der Rotationsdrift in größerem Maßstab noch nicht vollständig verifiziert wurden.