🤖 machine learning

The Symmetries of Three-Layer ReLU Networks

Dieser Beitrag stellt einen vollständigen Rahmen zur Charakterisierung von Parametersymmetrien in dreischichtigen ReLU-Netzen bereit, der explizite semi-algebraische Beschreibungen der Fasern funktionaler Äquivalenz sowie einen Algorithmus mit polynomieller Laufzeit für deren Entscheidung liefert, und analysiert zudem, wie diese Symmetrien lokale Erhaltungssätze entlang des Gradientenflusses induzieren.

Ursprüngliche Autoren: Johanna Marie Gegenfurtner, Moritz Grillo, Guido Montúfar

Veröffentlicht 2026-05-19

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Johanna Marie Gegenfurtner, Moritz Grillo, Guido Montúfar

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein neuronales Netz als eine komplexe Maschine vor, die aus Schichten von Schaltern und Hebeln besteht. In einem ReLU-Netzwerk (ein sehr häufiger Typ von KI) schalten diese Schalter „ein", wenn ein Signal positiv ist, und bleiben „aus" (null), wenn es negativ ist.

Die von Ihnen bereitgestellte Arbeit stellt eine fundamentale Frage: Wenn zwei verschiedene Maschinen für jeden möglichen Eingabewert exakt denselben Ausgang liefern, sind sie dann tatsächlich dieselbe Maschine im Inneren?

Die Antwort lautet nein. Genau wie zwei verschiedene Rezepte denselben Kuchen backen können, können zwei verschiedene Sätze von Zahlen (Parametern) innerhalb eines neuronalen Netzes exakt dieselbe Funktion erzeugen. Die Gesamtheit all dieser „verschiedenen, aber identischen" Einstellungen wird als Faser bezeichnet.

Hier ist eine Aufschlüsselung dessen, was die Autoren entdeckt haben, unter Verwendung einfacher Analogien:

1. Die „versteckten" Symmetrien

In einfachen, flachen Netzwerken waren wir bereits über zwei Möglichkeiten Bescheid, die Zahlen zu ändern, ohne das Ergebnis zu verändern:

Neuronen tauschen: Stellen Sie sich eine Reihe von Glühbirnen vor. Wenn Sie Birne A und Birne B tauschen, sieht der Raum gleich aus.
Umskalieren: Wenn Sie Birne A um das 2-fache aufdrehen und das Kabel, das sie mit der nächsten darunterliegenden Schicht verbindet, ebenfalls um das 2-fache skalieren, bleibt die endgültige Helligkeit unverändert.

Die Autoren entdeckten, dass in dreischichtigen Netzwerken neue, seltsamere Symmetrien existieren, die es in einfacheren Netzwerken nicht gibt. Diese entstehen durch die Art und Weise, wie die Schichten miteinander interagieren.

2. Der „Versteck"-Mechanismus

Die aufregendste Entdeckung betrifft das Verstecken.

Stellen Sie sich vor, die erste Schicht des Netzes zeichnet mit mehreren Linien (Hyperebenen) eine Karte der Welt. Die zweite Schicht soll diese Karte betrachten und Entscheidungen treffen.

Der normale Fall: Die zweite Schicht sieht alle Linien klar. Wenn Sie eine Linie verschieben, bemerkt die zweite Schicht dies, und der endgültige Ausgang ändert sich.
Der Versteck-Fall: Manchmal ist die zweite Schicht auf eine spezifische Weise angeordnet (wie ein spezifisches Muster von Gewichten), das als Blindfold (Verhüllung) wirkt. Sie ignoriert eine bestimmte Linie, die von der ersten Schicht gezeichnet wurde, vollständig.

Die Analogie: Stellen Sie sich vor, Sie zeichnen auf einem Blatt Papier (Schicht 1). Eine zweite Person (Schicht 2) betrachtet Ihre Zeichnung durch eine bestimmte Sonnenbrille.

Wenn die Sonnenbrille klar ist, sehen sie jede Linie, die Sie zeichnen.
Wenn die Sonnenbrille eine bestimmte Linie „versteckt", können sie sie nicht sehen.
Die Symmetrie: Da sie diese bestimmte Linie nicht sehen können, können Sie diese Linie nach links, rechts, oben oder unten verschieben, und die zweite Person wird es nicht bemerken. Sie können auch die Richtung der Linie umkehren, und sie werden es immer noch nicht bemerken. Das Endergebnis (der „Kuchen") schmeckt exakt gleich, obwohl das „Rezept" (die Parameter) sich geändert hat.

3. Die „Engpass"-Entdeckung

Die Autoren konzentrierten sich auf eine bestimmte Art von Netzwerk, die Engpass-Architektur genannt wird.

Die Analogie: Stellen Sie sich einen Trichter vor. Der Eingang ist breit, die mittlere Schicht ist schmal (der Hals des Trichters), und der Ausgang ist wieder breit.
In dieser spezifischen „Trichter"-Form bewiesen die Autoren, dass sie jede einzelne mögliche Art gefunden haben, die Zahlen zu ändern, ohne die Funktion zu verändern. Sie erstellten eine vollständige „Karte" aller versteckten Symmetrien.

4. Was dies für die „Identifizierbarkeit" bedeutet

In der Wissenschaft bedeutet „Identifizierbarkeit": „Wenn ich den Ausgang sehe, kann ich dann die exakten Einstellungen herausfinden, die zu seiner Erzeugung verwendet wurden?"

Die Arbeit zeigt, dass für diese dreischichtigen Engpass-Netzwerke die Antwort normalerweise nein lautet, es sei denn, die Einstellungen sind sehr spezifisch.
Sie fanden eine einfache Regel basierend auf Vorzeichen (positive oder negative Zahlen) in der zweiten Schicht. Wenn die Vorzeichen einem bestimmten Muster folgen, „versteckt" das Netzwerk Informationen, und Sie können keinen Unterschied zwischen den ursprünglichen Einstellungen und den „versteckenden" Einstellungen feststellen.
Gute Nachricht: Da sie diese Muster so gut verstehen, entwickelten sie einen schnellen Computeralgorithmus (polynomielle Zeit), der zwei Sätze von Zahlen betrachten und sofort sagen kann: „Ja, diese erzeugen dieselbe Funktion" oder „Nein, das tun sie nicht."

5. Die „Global" vs. „Lokal"-Überraschung

Eine der kontraintuitivsten Erkenntnisse betrifft die Lokalisierbarkeit.

Die Erwartung: Man könnte denken: „Wenn Schicht 1 eindeutig ist und Schicht 2 eindeutig ist, dann muss die gesamte Maschine eindeutig sein."
Die Realität: Die Autoren bewiesen, dass dies falsch ist. Sie können ein Netzwerk haben, bei dem Schicht 1 eindeutig ist und Schicht 2 eindeutig ist, aber wenn man sie kombiniert, erzeugen sie eine neue, versteckte Symmetrie, die das Ganze nicht eindeutig macht.
Die Metapher: Es ist wie zwei Menschen, die beide hervorragende, einzigartige Tänzer sind. Aber wenn sie zusammen tanzen, erzeugen sie versehentlich eine Bewegung, die exakt wie eine Bewegung aussieht, die von zwei anderen Menschen erzeugt wurde. Die Kombination erzeugt eine neue Art von Redundanz, die vorher nicht existierte.

6. Training und „Erhaltungsgrößen"

Schließlich geht die Arbeit darauf ein, wie diese Netzwerke lernen (unter Verwendung von Gradientenfluss).

In einigen Fällen wirken diese Symmetrien wie Erhaltungssätze in der Physik (wie Energie oder Impuls). Während das Netzwerk trainiert, bleiben bestimmte mathematische Größen exakt gleich, egal wie sich die Zahlen ändern.
Die Autoren fanden jedoch heraus, dass die neuen „versteckenden" Symmetrien, die sie entdeckten, keine dieser Erhaltungssätze erzeugen. Dies bedeutet, dass der Trainingspfad des Netzwerks unterschiedlich verläuft, je nachdem, welcher Symmetrietyp aktiv ist.

Zusammenfassung

Die Arbeit liefert ein komplettes „Benutzerhandbuch" für die versteckten Symmetrien in dreischichtigen ReLU-Netzwerken. Sie enthüllt, dass:

Schichten sich gegenseitig verstecken können: Eine Schicht kann die geometrischen Merkmale einer vorherigen Schicht für den Rest des Netzwerks unsichtbar machen.
Dies erzeugt unendliche Variationen: Sie können diese „versteckten" Merkmale verschieben oder umkehren, ohne den Ausgang des Netzwerks zu ändern.
Wir können es erkennen: Es gibt einen schnellen Weg, festzustellen, ob zwei Netzwerke funktional identisch sind.
Es ist eine globale Eigenschaft: Man kann nicht einfach Schicht für Schicht prüfen; man muss betrachten, wie die gesamte Maschine zusammenpasst, um diese versteckten Redundanzen zu erkennen.

Die Autoren kommen zu dem Schluss, dass sie dies zwar für „Engpass"-Netzwerke gelöst haben, aber das Netzwerk breiter oder tiefer zu machen das Problem exponentiell schwieriger macht und wahrscheinlich auf eine Wand der rechnerischen Komplexität trifft.

Technische Zusammenfassung: Die Symmetrien von ReLU-Netzwerken mit drei Schichten

Problemstellung
Eine fundamentale Eigenschaft der Parametrisierung neuronaler Netze ist Redundanz: Verschiedene Parameterkonfigurationen können exakt dieselbe Funktion realisieren. Diese Redundanzen werden als Fasern formalisiert, definiert als die Menge aller Parameter, die eine gegebene Funktion realisieren. Während Parametersymmetrien (Transformationen, die die Funktion unverändert lassen) für ReLU-Netze mit einer versteckten Schicht gut verstanden sind – wobei generische Fasern bis auf Permutation und Skalierung trivial sind –, bleibt die Struktur von Fasern in tiefen Architekturen weitgehend uncharakterisiert. In tiefen Netzen können zusätzliche lokale Symmetrien aus spezifischen nicht-entarteten Konfigurationen entstehen, und die Identifizierbarkeit ist im Parameterraum oft nicht einheitlich. Das zentrale behandelte Problem ist die systematische Beschreibung aller Parameter, die eine gegebene Funktion in tiefen ReLU-Netzwerken realisieren, insbesondere die Untersuchung, wie die Schichtkomposition Redundanzen einführt, die nicht auf Symmetrien reduziert werden können, die innerhalb einzelner Schichten wirken.

Methodik
Die Autoren entwickeln einen Rahmen auf Basis der polyedrischen Geometrie und der tropischen Geometrie zur Analyse von Parametersfasern. Zu den wichtigsten methodischen Komponenten gehören:

Hyperflächendarstellung: Für Netze mit einer versteckten Schicht auf dem nichtnegativen Orthanten wird die realisierte Funktion durch eine gewichtete Hyperflächenanordnung charakterisiert. Die Funktion ist bis auf eine globale affine Transformation durch die Anordnung der „gebogenen Hyperflächen" (wo Neuronen von inaktiv zu aktiv wechseln) und ihre zugehörigen Gewichtsvektoren (Gradientensprünge) bestimmt.
Annahmen zur Allgemeingültigkeit: Die Analyse konzentriert sich auf generische Parameter, definiert durch zwei Bedingungen: (1) Supertransversalität, die sicherstellt, dass sich gebogene Hyperflächen in den erwarteten Kodimensionen schneiden, und (2) Maximaler Rang maskierter Produkte, der algebraische Entartungen in der Komposition von Gewichtsmatrizen verhindert. Dies gewährleistet, dass die kombinatorische Struktur des kanonischen polyedrischen Komplexes stabil ist.
Schichtweise versus kompositionelle Analyse: Der Artikel charakterisiert zunächst Fasern für einzelne Schichten (schichtweise Symmetrien) und analysiert dann, wie diese interagieren, wenn Schichten komponiert werden. Ein kritischer identifizierter Mechanismus ist das „Verbergen" geometrischer Merkmale: Eine Hyperfläche einer früheren Schicht kann im endgültigen Ausgang funktional unsichtbar sein, wenn sie von den aktiven Regionen nachfolgender Schichten „verankert" oder überdeckt wird.
Semialgebraische Beschreibungen: Die Fasern werden explizit als Vereinigungen semialgebraischer Mengen beschrieben, die durch Polynomgleichungen und -ungleichungen definiert sind, was Dimensionsberechnungen und algorithmische Entscheidungsprozeduren ermöglicht.

Hauptbeiträge und Ergebnisse

Schichtweise Fasern (Eine versteckte Schicht):
Der Artikel liefert eine vollständige Beschreibung von Fasern für Netze mit einer versteckten Schicht auf dem nichtnegativen Orthanten. Es wird gezeigt, dass die Faser eine disjunkte Vereinigung semialgebraischer Mengen ist, die verschiedenen Orientierungswahlen der nichtlinearen Neuronen entsprechen. Sobald die Orientierungen festgelegt sind, entsprechen die verbleibenden Freiheitsgrade der Faktorisierung einer affinen Abbildung durch lineare Neuronen. Die Dimension dieser Komponenten wird basierend auf dem nichtnegativen Spaltenrang des erforderlichen linearen Teils berechnet.
Symmetrien aus Schichtkomposition (Netze mit drei Schichten):
Die Autoren identifizieren neue Symmetrien, die spezifisch aus der Komposition von ReLU-Schichten entstehen und in der Analyse einzelner Schichten nicht vorhanden sind.
- Kontinuierliche Symmetrie: Wenn ein Neuron der zweiten Schicht eine Hyperfläche der ersten Schicht „versteckt" (indem es nur dann aktiv ist, wenn das Neuron der ersten Schicht linear ist, und sonst inaktiv), kann der Bias der ersten Schicht kontinuierlich verschoben werden. Diese Translation wird exakt durch eine entsprechende Verschiebung der Biases der zweiten Schicht kompensiert, wodurch die realisierte Funktion invariant bleibt.
- Diskrete Symmetrie: Im spezifischen Fall, dass die zweite versteckte Schicht aus einem einzigen Neuron besteht ( $n_2=1$ ), entsteht eine diskrete „Vorzeichen-Umkehr"-Symmetrie. Dies ermöglicht eine endliche Gruppe von Transformationen der Gewichte der ersten Schicht, die die Funktion erhalten, und unterscheidet sich von der Standard-Permutation und -Skalierung.
Vollständige Charakterisierung für drei-schichtige Engpässe:
Für drei-schichtige Engpass-Architekturen ( $n_1 \leq d$ ) beweist der Artikel, dass die oben beschriebenen Symmetrien (Permutation, Skalierung, schichtweise Faktorisierung, versteckungsinduzierte Translation und diskrete Vorzeichen-Umkehr) für generische Parameter vollständig sind.
- Bedingungen für Identifizierbarkeit: Ein generischer Parameter ist genau dann identifizierbar, wenn keine Hyperfläche der ersten Schicht versteckt ist. Diese Bedingung wird ausschließlich durch die Vorzeichenmuster der Gewichte und Biases der zweiten Schicht bestimmt. Spezifisch tritt Nicht-Identifizierbarkeit auf, wenn eine Zeile der Gewichts-Bias-Matrix der zweiten Schicht vollständig negativ ist (totes Neuron), vollständig positiv ist (lineares Neuron) oder ein spezifisches „Versteck"-Muster aufweist (positiv in einer Spalte, negativ in den anderen).
- Algorithmus in Polynomialzeit: Basierend auf dieser Charakterisierung stellen die Autoren einen Algorithmus in Polynomialzeit bereit, um zu entscheiden, ob zwei generische Parameter in einer Engpass-Architektur dieselbe Funktion realisieren.
Nicht-Lokalisierbarkeit von Fasern:
Der Artikel zeigt, dass die Identifizierbarkeit in tiefen ReLU-Netzwerken nicht lokalisierbar ist. Es wird ein Netzwerk konstruiert, bei dem paarweise Kompositionen von Schichten ( $f_2 \circ f_1$ und $f_3 \circ f_2$ ) identifizierbar sind, die vollständige Komposition ( $f_3 \circ f_2 \circ f_1$ ) jedoch nicht. Dies zeigt, dass Parameterredundanz als globale Eigenschaft der Netzwerkkomposition entstehen kann, abhängig von der Interaktion zwischen dem Bereich früherer Schichten und den Nichtlinearitäten späterer Schichten.
Erhaltungssätze im Gradientenfluss:
Die Autoren unterscheiden zwischen Symmetrien, die entlang des Gradientenflusses Erhaltungsgrößen induzieren, und solchen, die dies nicht tun.
- Symmetrien, die von linearen Neuronen herrühren (schichtweise Skalierung), induzieren lokal erhaltene Größen (bezogen auf Matrixprodukt-Symmetrien).
- Umgekehrt induzieren die kontinuierlichen „Versteck"-Symmetrien, die in Abschnitt 5 identifiziert wurden, keine Erhaltungsgrößen, da die Symmetriekurve nicht orthogonal zum Gradientenfluss ist in einer Weise, die eine Potentialfunktion erzeugt.

Bedeutung und Behauptungen
Der Artikel beansprucht, die erste systematische und vollständige Beschreibung von Parametersfasern für tiefe ReLU-Netzwerke jenseits des Falls mit einer versteckten Schicht zu liefern, speziell für den Engpass-Bereich. Durch die Feststellung, dass Fasernstrukturen davon abhängen, ob tiefere Schichten geometrische Strukturen vorhergehender Schichten verbergen oder bewahren, klärt die Arbeit die Natur der Parameterredundanz im Deep Learning.

Die Autoren positionieren ihre Ergebnisse nahe einer Grenze der Handhabbarkeit. Sie argumentieren, dass explizite, effizient überprüfbare Beschreibungen von Fasern speziell aufgrund der Allgemeingültigkeits- und Engpass-Annahmen möglich sind. Sie stellen fest, dass das Entfernen dieser Annahmen (z. B. in breiteren oder tieferen Netzen) zu kombinatorischen Explosionen führt und mit bekannten komplexitätstheoretischen Barrieren (coNP-Härte) für die Entscheidung der funktionalen Äquivalenz in allgemeinen ReLU-Netzwerken konsistent ist. Somit isoliert der Artikel einen Bereich, in dem genuinely tiefe kompositionelle Symmetrien entstehen, aber analytisch handhabbar bleiben.