🤖 machine learning

Beyond Structural Symmetries: Linear Mode Connectivity via Neuron Identifiability

Dieses Paper führt einen theoretischen Rahmen effektiver Funktionsklassen und Neuronen-Identifizierbarkeit ein, um zu demonstrieren, dass neuronale Netze große Familien annähernd äquivalenter Lösungen zulassen und das Verschmelzen von Repräsentationen über lineare Low-Loss-Pfade ermöglichen, selbst in strukturell asymmetrischen Modellen.

Ursprüngliche Autoren: Vincent Bürgin, Daniel Herbst, Ya-Wei Eileen Lin, Stefanie Jegelka

Veröffentlicht 2026-06-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Vincent Bürgin, Daniel Herbst, Ya-Wei Eileen Lin, Stefanie Jegelka

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben zwei verschiedene Teams von Köchen (neuronale Netze), die die Aufgabe haben, exakt dasselbe komplexe Gericht zu kochen (ein Problem zu lösen). Obwohl sie mit unterschiedlichen Rezepten und unterschiedlichen Ausgangszutaten starten, bereiten beide am Ende ein Gericht zu, das fast identisch schmeckt.

In der Welt des Deep Learning ist dies ein häufiges Rätsel. Normalerweise, wenn man die „Gewichte“ (die spezifischen Rezeptzahlen) von Team A und Team B nimmt und versucht, diese zur Hälfte zu mischen, entsteht ein schreckliches, ungenießbares Chaos. Das liegt daran, dass die beiden Teams mathematisch gesehen wahrscheinlich ihre Rollen getauscht haben. Der „Saucenchef“ von Team A könnte exakt dieselbe Aufgabe erfüllen wie der „Gewürzchef“ von Team B, aber weil ihre Namen unterschiedlich sind, hält der Computer sie für inkompatibel.

Dieses Paper mit dem Titel „Beyond Structural Symmetries: Linear Mode Connectivity via Neuron Identifiability“ untersucht, warum das passiert und wie man es behebt, ohne die Köche manuell neu beschriften zu müssen.

Das Problem: Die „Wer ist wer“-Verwirrung

Stellen Sie sich eine Schicht eines neuronalen Netzes wie eine Küche mit 100 identisch aussehenden Köchen vor. In einer Standardküche ist es egal, ob Koch #1 und Koch #2 die Arbeitsstationen tauschen – das Essen schmeckt gleich. Dies wird als Symmetrie bezeichnet. Aufgrund dessen können zwei unabhängig voneinander trainierte Teams die Aufgabe „Sauce“ bei Team A vielleicht Koch #1 zuweisen, bei Team B jedoch Koch #50.

Wenn Sie versuchen, die Rezepte von Team A und Team B direkt zu mischen, mischen Sie „Saucenchef #1“ mit „Gewürzchef #50“. Das Ergebnis ist Chaos. Normalerweise müssen Wissenschaftler anhalten und manuell herausfinden, welcher Koch aus Team A welchem Koch aus Team B entspricht (ein Prozess, der „Alignment“ genannt wird), bevor sie sie mischen können.

Die Lösung: Den Köchen einzigartige Uniformen geben

Die Autoren schlagen einen Weg vor, diese Symmetrie zu brechen, damit die Köche ganz natürlich in ihre korrekten Rollen fallen, ohne dass eine manuelle Prüfung erforderlich ist.

Stellen Sie sich vor, man gibt jedem Koch eine einzigartige, leicht unterschiedliche Uniform oder ein spezifisches Werkzeug, das nur dieser Koch benutzen kann.

Der alte Weg (Symmetrisch): Alle Köche tragen den gleichen weißen Hut. Wenn sie tauschen, bemerkt es niemand.
Der neue Weg (Asymmetrisch/Identifizierbar): Der Küchenmanager (die Forscher) gibt Koch #1 einen roten Hut, Koch #2 einen blauen Hut und so weiter. Jetzt, wenn Koch #1 mit Koch #2 tauschen möchte, macht die Unstimmigkeit der Uniformen deutlich, dass dies „teuer“ (im Sinne von Aufwand oder Fehler) wäre.

Das Paper führt eine Methode ein, bei der sie eine kleine, feste, zufällige „Bias“ (wie eine einzigartige Uniform) zu den Neuronen hinzufügen. Dies verändert das fertige Gericht nicht, zwingt aber den Trainingsprozess dazu, spezifische Merkmale (wie das „Erkennen von Kanten“ oder das „Erkennen von Kurven“) konsistent über verschiedene Trainingsläufe hinweg bestimmten Neuronen zuzuweisen.

Die entscheidende Entdeckung: Es geht nicht nur um die Uniform

Das Paper macht eine entscheidende, kontraintuitive Entdeckung. Es reicht nicht aus, den Köchen einfach nur unterschiedliche Uniformen zu geben, wenn die Zutaten (die Daten) zu einfach oder zu gleichförmig sind.

Die „Low-Rank“-Falle: Stellen Sie sich vor, die Küche erhält immer nur Kartoffeln. Wenn jeder Koch nur jemals gefragt wird, Kartoffeln zu bearbeiten, spielt es keine Rolle, ob sie rote oder blaue Hüte tragen; sie machen alle genau das Gleiche. Die „Uniformen“ sind nebensächlich, weil die Aufgabe zu simpel ist.
Die „High-Rank“-Freiheit: Wenn die Küche eine riesige Vielfalt an Zutaten erhält (Kartoffeln, Karotten, Zwiebeln, Gewürze), beginnen die einzigartigen Uniformen eine Rolle zu spielen. Koch #1 mit dem roten Hut könnte beispielsweise von Natur aus besser darin sein, Karotten zu bearbeiten, während Koch #2 mit dem blauen Hut besser für Zwiebeln geeignet ist. Der Trainingsprozess verankert sie dann fest in diesen Rollen.

Die Autoren nennen dies Neuron Identifiability (Neuronale Identifizierbarkeit). Das bedeutet, dass das Netzwerk aufgrund der Kombination aus seinen einzigartigen Uniformen (den festen Gewichten) und der Vielfalt der Zutaten (der Datenstruktur) genau „weiß“, welches Neuron welche Aufgabe hat.

Das Ergebnis: Ein glatter Pfad zwischen den Teams

Wenn das Netzwerk diese „Identifizierbarkeit“ erreicht, geschieht etwas Magisches: Linear Mode Connectivity.

Wenn Sie zwei trainierte Teams haben, die sich aufgrund ihrer Uniformen und der Daten natürlich in dieselben Rollen eingependelt haben, können Sie nun deren Rezepte zur Hälfte mischen.

Ohne Identifizierbarkeit: Das Mischen der Rezepte erzeugt eine hohe „Loss-Barriere“ (einen Berg aus schlechtem Geschmack). Man muss einen Berg überqueren, um von Team A zu Team B zu gelangen.
Mit Identifizierbarkeit: Der Pfad zwischen ihnen ist flach. Man kann direkt von Team A zu Team B gehen, und das Gericht schmeckt den ganzen Weg über gut.

Warum das wichtig ist

Das Paper zeigt, dass wir Netzwerke nicht immer manuell abgleichen müssen, um sie zu verschmelzen. Wenn wir die Netzwerkarchitektur korrekt entwerfen (indem wir diese „einzigartigen Uniformen“ oder festen Gewichte hinzufügen) und sicherstellen, dass die Daten reichhaltig genug sind, wird sich das Netzwerk von selbst organisieren. Dies erleichtert es, verschiedene Modelle zu kombinieren, zu verstehen, wie sie funktionieren, und sie potenziell zu einem einzigen, stärkeren Modell zu verschmelzen, ohne die üblichen Kopfschmerzen zu verursachen.

Kurz gesagt: Das Paper beweist, dass wir durch das Geben von ein wenig „Persönlichkeit“ (festen, zufälligen Biases) und das Füttern mit vielfältigen Daten die Neuronen dazu bringen können, ihre eigenen einzigartigen Jobs zu finden. Sobald sie das tun, werden verschiedene Versionen desselben Netzwerks kompatibel, was es uns ermöglicht, sie wie zwei perfekte Chargen Teig sanft miteinander zu vermengen.

Technisches Resümee: Jenseits struktureller Symmetrien: Lineare Modus-Konnektivität durch Neuronale Identifizierbarkeit

Problemstellung

Deep-Learning-Modelle, insbesondere überparametrisierte neuronale Netze, weisen ein Phänomen auf, bei dem unabhängig trainierte Lösungen oft zu Modellen konvergieren, die ähnliche Vorhersagen und Generalisierungsleistungen erzielen, obwohl sie in hochgradig nichtkonvexen Verlustlandschaften liegen. Eine Schlüsseleigenschaft, die dies erklärt, ist die Lineare Modus-Konnektivität (Linear Mode Connectivity, LMC), bei der zwei trainierte Lösungen in den Gewichtsräumen linear interpoliert werden können, während der Verlust niedrig bleibt.

LMC wird jedoch oft durch Parametersymmetrien behindert, insbesondere durch Permutationssymmetrien der verborgenen Einheiten. In Standardarchitekturen lässt das Permutieren verborgener Einheiten unter Kompensation in benachbarten Schichten die realisierte Funktion unverändert. Folglich explorieren unabhängige Trainingsläufe unterschiedliche Repräsentanten derselben Funktionsorbit, was eine direkte lineare Interpolation (hohe Verlustbarrieren) verhindert, sofern keine Post-hoc-Ausrichtung (Permutationsabgleich) durchgeführt wird.

Neuere Arbeiten versuchten, diese strukturellen Symmetrien durch architektonische Interventionen (z. B. Fixierung zufälliger Gewichte oder Masken) zu brechen, um eine unausgerichtete LMC (unaligned LMC) (LMC ohne Ausrichtung) zu erreichen. Dennoch sind die empirischen Ergebnisse gemischt: Einige Methoden zur Symmetriebrechung führen zu ungerichteter LMC, andere hingegen nicht. Diese Arbeit untersucht, warum das Brechen struktureller Symmetrien manchmal unzureichend ist, und schlägt vor, dass effektive Symmetriebrechung von dem Zusammenspiel zwischen Architektur, Datengeometrie und der Identifizierbarkeit von Neuronen abhängt.

Methodik

1. Theoretischer Rahmen: Effektive Funktionsklassen und Realisierungskosten

Die Autoren entwickeln einen theoretischen Rahmen, der auf effektiven Funktionsklassen und Realisierungskosten basiert.

Effektive Funktionsklasse ( $H_i(X)$ ): Für ein Neuron $i$ in einer Schicht ist dies die Menge der Funktionen, die es auf dem Eingangsstützpunkt $X$ (der Datenverteilung oder den gelernten Repräsentationen) realisieren kann.
Realisierungskosten: Die minimale Gewichtsnorm, die ein Neuron benötigt, um eine bestimmte Funktion $h$ zu realisieren. Diese Kosten werden relativ zur effektiven Funktionsklasse des Neurons gemessen.
Symmetriebrechung durch Identifizierbarkeit: Das Papier definiert neuronale Identifizierbarkeit als die konsistente Zuweisung von Merkmalen zu Neuronen über unabhängige Trainingsläufe hinweg. Dies geschieht, wenn architektonische Asymmetrien das Training zu einer eindeutigen, kostengünstigen Zuweisung von Merkmalen zu Neuronen lenken.

Die Autoren modellieren den Eingangsstützpunkt $X$ als liegend auf einem niedrigdimensionalen Unterraum $U$ (Annahme 3.1). Sie analysieren eine Symmetriebrechung-Intervention, bei der die effektive Gewichtsmatrix $W_{eff} = F + D \odot W$ ist, wobei $F$ (fixierte Offsets) und $D$ (fixierte diagonale Masken) architektonische Komponenten sind und $W$ trainierbar ist.

2. Quantifizierung der Symmetriebrechung

Der Kern der Analyse besteht in der Quantifizierung der Sensitivität der Realisierungskosten gegenüber Permutationen.

Permutationssensitivität ( $\Delta_{\pi, \tau}$ ): Die Änderung der gesamten Realisierungskosten, wenn Merkmale anderen Neuronen neu zugewiesen werden (Ausgabe-Permutation $\pi$ ) oder wenn Eingangskoordinaten neu indiziert werden (Eingangs-Permutation $\tau$ ).
Zentrumsdominierte Regime: Die Autoren identifizieren ein Regime, in dem die fixierten Gewichte $F$ die trainierbaren Gewichte $W$ dominieren. In diesem Regime wird der Kostenaufwand für das Vertauschen von Neuronen primär durch den Abstand zwischen deren fixierten Zentren projiziert auf den Eingangsunterraum bestimmt.
Subraum-Kohärenz ( $\nu(U)$ ): Das Papier führt das Konzept der Subraum-Kohärenz ein, um zu messen, wie gut die Hauptrichtungen der Daten mit der Standardbasis ausgerichtet sind. Eine hohe Kohärenz impliziert, dass das Maskieren spezifischer Eingangskoordinaten (via $D$ ) einen ausgeprägten Effekt darauf hat, welche Merkmale von welchen Neuronen realisierbar sind.

3. Verbindung zur Linearen Modus-Konnektivität

Das Papier stellt eine Verbindung zwischen neuronaler Identifizierbarkeit und LMC her.

Chord-Abweichung (Chord Deviation): Die Autoren analysieren die Abweichung des Netzwerkausgangs entlang eines linearen Interpolationspfades zwischen zwei Lösungen. Sie zeigen, dass, wenn Neuronen „zentrumsdominiert“ sind (fixierte Gewichte dominieren), die Chord-Abweichung klein ist ( $O(\beta^{3/2})$ ), was eine niedrige Verlustbarriere impliziert.
Verschmelzen ohne Ausrichtung: Wenn Neuronen identifizierbar sind (d. h. ihre Rollen sind durch die Architektur und die Daten fixiert), können Repräsentationen ohne explizite Ausrichtung verschmolzen werden, was zu ungerichteter LMC führt.

Zentrale Beiträge

Theoretischer Rahmen für neuronale Identifizierbarkeit: Das Papier formalisiert neuronale Identifizierbarkeit als die konsistente Zuweisung von Merkmalen zu Neuronen über Trainingsläufe hinweg, getrieben durch die Minimierung von Realisierungskosten. Es unterscheidet zwischen struktureller Symmetriebrechung (Brechen von Symmetrien im rohen Parameterraum) und effektiver Symmetriebrechung (Brechen von Symmetrien auf dem tatsächlichen Eingangsstützpunkt).
Charakterisierung von Realisierungskosten: Die Autoren leiten geschlossene Ausdrücke für Realisierungskosten als Mahalanobis-Normen ab, die von den Gram-Matrizen der fixierten architektonischen Komponenten ( $F$ und $D$ ) projiziert auf den Eingangsunterraum abhängen.
Bedingungen für effektive Symmetriebrechung:
- Fixierte Gewichte ( $F$ ): Im zentrumsdominierten Regime erfordert effektive Symmetriebrechung, dass die projizierten Zentren der Neuronen ausreichend weit voneinander entfernt sind. Das Papier liefert asymptotische Schranken, die zeigen, dass diese Trennung von der Anzahl der Neuronen ( $m$ ) und der intrinsischen Dimension der Daten ( $k$ ) abhängt. Wenn $k$ klein im Verhältnis zu $m$ ist, ist eine Trennung schwierig und Symmetrien können effektiv intakt bleiben.
- Eingangsunterraum-Kohärenz: Das Papier zeigt, dass selbst ohne große fixierte Gewichte eine hohe Subraum-Kohärenz eine effektive Symmetriebrechung über den diagonalen Operator $D$ ermöglichen kann, da dies bestimmte Merkmalsrichtungen für spezifische Neuronen „teuer“ in der Realisierung macht.
Abwägung zwischen Identifizierbarkeit und Merkmalslernen: Die Autoren beweisen ein Härteergebnis, das nahelegt, dass starke Symmetriebrechung (Erzwingung konsistenter Neuronenrollen) die Menge der Merkmale, die ein Netzwerk innerhalb eines gegebenen Norm-Budgets lernen kann, einschränkt, was die Expressivität im Vergleich zu einer voll symmetrischen Random-Feature-Baseline potenziell begrenzt.
Vereinheitlichte Erklärung empirischer Phänomene: Der Rahmen erklärt, warum einige Symmetriebruch-Methoden (wie W-asymmetrische Netzwerke mit großen fixierten Gewichten) ungerichtete LMC liefern, während andere (wie dünnbesetzte Netzwerke ohne fixierte Offsets) dies nicht tun.

Experimentelle Ergebnisse

Die Autoren validieren ihre Theorie durch Experimente an MLPs und ResNets (sowie einer vorläufigen Transformer-Erweiterung) unter Verwendung von MNIST und CIFAR-10.

Effekt der Skalierung der fixierten Gewichte ( $\sigma_F$ ): Experimente durch das Durchlaufen von $\sigma_F$ zeigen, dass bei kleinem $\sigma_F$ (effektiv symmetrisch) das Aktivierungsabgleichsziel (ein Proxy für Identifizierbarkeit) für Identitäts-Permutationen niedrig ist und die ungerichteten LMC-Barrieren hoch sind. Mit steigendem $\sigma_F$ werden Identitäts-Permutationen nahezu optimal und die ungerichteten LMC-Barrieren sinken signifikant.
Intrinsische Dimension ( $k$ ): Unter Verwendung synthetischer Gauß-Mischdaten zeigen die Autoren, dass die Kosten für das Vertauschen von Neuronen (ein Maß für Symmetriebrechung) niedrig sind, wenn die intrinsische Dimension $k$ klein im Verhältnis zur Netzwerkbreite ist, selbst bei symmetriebrechenden Architekturen. Mit steigendem $k$ steigen die Austauschkosten und die ungerichtete LMC verbessert sich.
Subraum-Kohärenz: Experimente, welche die Kohärenz des Eingangsunterraums variieren, bestätigen, dass eine hohe Kohärenz es ermöglicht, dass diagonales Maskieren ( $D$ ) allein effektive Symmetriebrechung und ungerichtete LMC induziert, selbst wenn die fixierten Gewichte ( $F$ ) Null sind.
Transformer: Vorläufige Ergebnisse zu Vision Transformern deuten darauf hin, dass, obwohl der W-asymmetrische Mechanismus Interpolationsbarrieren reduziert, die komplexen Symmetrien von Attention-Mechanismen (die über einfache Permutationen hinausgehen) das Erreichen einer perfekten ungerichteten LMC schwieriger machen als bei MLPs.

Bedeutung und Ansprüche

Das Papier beansprucht, eine vereinheitlichende theoretische Linse zu bieten, um zu verstehen, wann und warum die Brechung von Parametersymmetrien zu neuronaler Identifizierbarkeit und linearer Modus-Konnektivität führt.

Jenseits struktureller Symmetrien: Die primäre Bedeutung liegt im Wechsel von der Betrachtung der Symmetriebrechung als rein strukturelle Eigenschaft der Architektur hin zu einer effektiven Eigenschaft, die durch die Interaktion zwischen der Architektur, der Datenverteilung und den gelernten Repräsentationen bestimmt wird.
Mechanismus für ungerichtete LMC: Die Arbeit klärt, dass ungerichtete LMC nicht allein durch das Brechen von Permutationssymmetrien im Gewichtsraum garantiert wird; es erfordert, dass die Architektur eine eindeutige, kostengünstige Zuweisung von Merkmalen zu Neuronen induziert, die über Trainingsläufe hinweg stabil ist.
Rolle der Datengeometrie: Das Papier hebt hervor, dass die Geometrie der Daten (speziell Subraum-Kohärenz und intrinsische Dimension) eine entscheidende Rolle dabei spielt, ob eine Symmetriebruch-Intervention effektiv ist.
Limitierungen und Trade-offs: Die Autoren merken bescheiden an, dass eine starke Symmetriebrechung mit Lasten bei der Fähigkeit zum Merkmalslernen einhergehen kann, da das Netzwerk auf spezifische Feature-Neuron-Mappings beschränkt wird. Sie räumen zudem ein, dass ihr aktueller Rahmen sich auf Permutationssymmetrien konzentriert und möglicherweise auf reichere Symmetriegruppen (z. B. in Transformern) erweitert werden muss.

Zusammenfassend argumentiert das Papier, dass die neuronale Identifizierbarkeit der Schlüsselmechanismus ist, der architektonische Interventionen, Datengeometrie und das Entstehen von linearer Modus-Konnektivität verbindet, und bietet einen prädiktiven Rahmen dafür, wann das Zusammenführen (Merging) ungerichteter Modelle erfolgreich sein wird.