🤖 machine learning

The Implicit Bias of Depth: From Neural Collapse to Softmax Codes

Dieser Artikel zeigt, dass in tiefen, unregulierten, unbeschränkten Merkmalsmodellen die Tiefe allein einen impliziten Low-Rank-Bias induziert, der Softmax-Codes gegenüber dem traditionell beobachteten Neural Collapse fördert, indem sie die Trainingsdynamik verändert und das Einzugsgebiet für Lösungen mit hohem Rang verkleinert.

Ursprüngliche Autoren: Connall Garrod, Jonathan P. Keating, Christos Thrampoulidis

Veröffentlicht 2026-05-25

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Connall Garrod, Jonathan P. Keating, Christos Thrampoulidis

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Worum geht es in dem Paper?

Stellen Sie sich vor, Sie unterrichten eine Gruppe von Schülern (ein neuronales Netz), um verschiedene Obstsorten (Klassen wie Äpfel, Bananen und Orangen) zu erkennen.

In den letzten Jahren haben Forscher etwas Faszinierendes entdeckt, das Neural Collapse (Neuronaler Kollaps) genannt wird. Wenn diese Schüler die Aufgabe wirklich gut beherrschen, merken sie sich die Früchte nicht nur auswendig; sie organisieren ihre innere „mentale Karte" in einem perfekten, symmetrischen Muster. Es ist, als würden sie sich alle darauf einigen, in einem perfekten Kreis zu stehen, gleichmäßig voneinander entfernt, sodass jede Frucht genau so weit von jeder anderen entfernt ist wie möglich. Dies ist der „Goldstandard" des Lernens, bekannt als Neural Collapse (NC).

Dieses Paper stellt jedoch eine knifflige Frage: Passiert dieser perfekte Kreis immer?

Die Autoren stellten fest, dass, wenn man das Netz tiefer macht (mehr „Denk"-Schichten zwischen Eingabe und Ausgabe hinzufügt), das Netz diesen perfekten Kreis oft verweigert. Stattdessen kollabiert es in eine flachere, niedrigdimensionale Form. Sie nennen dies Low-Rank Bias (Bias zu niedrigem Rang).

Stellen Sie es sich so vor:

Flaches Netz (1 Schicht): Die Schüler ordnen sich in einer perfekten 3D-Kugel an (Neural Collapse).
Tiefes Netz (Viele Schichten): Die Schüler werden auf ein flaches Blatt Papier oder sogar auf eine dünne Linie gequetscht (Low-Rank), obwohl sie immer noch auf die Kugel gepasst hätten.

Das Paper beweist, dass die Tiefe selbst diesen Druck verursacht, ohne dass externe Regeln ihn erzwingen.

Die Hauptcharaktere und Konzepte

1. Das „Unconstrained Feature Model" (UFM)

Um dies zu untersuchen, verwenden die Autoren eine vereinfachte Version eines echten neuronalen Netzes. Stellen Sie sich ein Klassenzimmer vor, in dem der Lehrer (das Netz) die Schüler (die Merkmale) magisch überall auf dem Boden hinbewegen kann, um das beste Ergebnis zu erzielen. Sie müssen sich keine Sorgen um die physischen Einschränkungen der Schüler machen (wie etwa, in einem bestimmten Raum festzustecken). Dies ermöglicht den Forschern, die reinste Form zu sehen, wie das Netz denkt.

2. Der „Reich-wird-reicher"-Effekt

Dies ist die geheime Zutat dafür, warum die Tiefe den perfekten Kreis zerstört.

Stellen Sie sich ein Spiel vor, bei dem Sie einen Stapel Münzen (singuläre Werte) haben, der darstellt, wie „stark" verschiedene Ideen sind.

In einem flachen Netz: Wenn Sie einige Münzen und einige Ideen haben, wachsen alle im gleichen Tempo. Alle bleiben gleich, und der perfekte Kreis bildet sich.
In einem tiefen Netz: Die Mathematik ändert sich. Die Ideen, die mit etwas mehr Münzen starten, wachsen viel schneller als diejenigen mit weniger Münzen.
- Analogie: Es ist wie ein Schneeball, der einen Hang hinunterrollt. Wenn Sie zwei Schneebälle haben und einer ist etwas größer, nimmt der größere viel schneller Schnee auf als der kleinere. Wenn sie unten ankommen, ist der große riesig, und der kleine ist fast verschwunden.
- Ergebnis: Das Netz verlässt sich am Ende nur noch auf wenige „superstarke" Ideen und ignoriert den Rest. Dies erzeugt eine Low-Rank-Struktur (ein flaches Blatt) anstelle einer vollen 3D-Kugel.

3. Der „Softmax Code"

Wenn das Netz in diese flache Form gequetscht wird, kollabiert es nicht einfach zufällig. Es bildet ein spezifisches, geordnetes Muster namens Softmax Code.

Analogie: Stellen Sie sich den perfekten Kreis (Neural Collapse) als einen runden Tisch vor, an dem alle gleichmäßig verteilt sind. Wenn das Netz durch die Tiefe gequetscht wird, werden die Schüler gezwungen, auf einer langen, schmalen Bank zu sitzen. Sie versuchen immer noch, so weit wie möglich voneinander entfernt zu sein, aber sie landen in einem spezifischen, sich wiederholenden Muster (wie ein regelmäßiges Vieleck) anstatt in einem Kreis.
Das Paper zeigt, dass, je tiefer das Netz wird, dieses „Bankenmuster" zur neuen optimalen Lösung wird und den „runden Tisch" ersetzt.

Die zwei Hauptentdeckungen

Entdeckung 1: Die Landschaft verändert sich (Asymptotik)

Die Autoren betrachteten die „Landschaft" des Problems (die Karte aller möglichen Lösungen).

Flach: Die Karte hat nur ein Tal (den perfekten Kreis). Egal wo Sie starten, Sie rutschen an dieselbe Stelle hinunter.
Tief: Die Karte hat mehrere Täler. Der perfekte Kreis ist immer noch ein Tal, aber es ist nicht mehr das tiefste. Es gibt andere Täler (die Low-Rank-Lösungen), die tatsächlich „tiefer" sind (besser für die Mathematik).
Warum? Low-Rank-Strukturen sind besser darin, Energie durch die Schichten zu „propagieren". Es ist, als wäre ein Low-Rank-Signal ein effizienterer Lieferwagen, der mehr Fracht durch einen tiefen Tunnel transportieren kann als ein sperriger, vollkugelförmiger Lieferwagen.

Entdeckung 2: Das Rennen zum Ziel (Dynamik)

Die Autoren beobachteten auch den Trainingsprozess in Echtzeit.

Die Falle: Ganz am Anfang des Trainings, wenn das Netz klein und schwach ist, setzt der „Reich-wird-reicher"-Effekt ein. Die etwas stärkeren Ideen werden sehr schnell stärker.
Der Punkt ohne Rückkehr: Bis das Netz groß genug geworden ist, um die „lineare" Phase zu verlassen, hat es sich bereits auf den Low-Rank-Pfad festgelegt. Es ist wie ein Fluss, der sich zu teilen beginnt; wenn ein Ast früh etwas breiter wird, strömt das Wasser dorthin, und der andere Ast trocknet aus. Das Netz bleibt im Low-Rank-Tal stecken und findet den perfekten Kreis nie wieder.

Der Twist: Warum sehen wir im echten Leben immer noch perfekte Kreise?

Sie könnten fragen: „Wenn Tiefe dieses Low-Rank-Chaos verursacht, warum zeigen echte tiefe Netze (wie die in Ihrem Handy) immer noch Neural Collapse?"

Das Paper bietet eine überraschende Erklärung: Zufällige Initialisierung und Breite.

Die Gegenkraft: Wenn Sie das Netz mit einem zufälligen „Mischen" der Gewichte starten und das Netz sehr breit machen (viele Neuronen), wirkt die Zufälligkeit wie eine Kraft, die das Netz zurück zum perfekten Kreis drängt.
Das Gleichgewicht:
- Tiefe drängt das Netz in Richtung einer flachen, Low-Rank-Form.
- Breite + Zufälligkeit drängen das Netz in Richtung des vollen, High-Rank-Kreises.
- In vielen realen Szenarien ist der „Breiten"-Druck stark genug, um den Kampf zu gewinnen, weshalb wir im praktischen Einsatz immer noch Neural Collapse sehen. Aber wenn Sie das Netz sehr tief und schmal machen, gewinnt der „Tiefe"-Druck, und das Netz kollabiert in den Low-Rank-„Softmax Code".

Zusammenfassung auf den Punkt gebracht

Neural Collapse ist eine perfekte, symmetrische Anordnung von Daten, die Deep Learning normalerweise anstrebt.
Tiefe (das Hinzufügen weiterer Schichten) führt heimlich einen Bias ein, der flachere, Low-Rank-Anordnungen dem perfekten Kreis vorzieht.
Dies geschieht aufgrund eines „Reich-wird-reicher"-Effekts, bei dem dominante Merkmale in tiefen Netzen schneller wachsen und die schwächeren verdrängen.
Das Ergebnis ist eine neue Art von Ordnung namens Softmax Codes.
Allerdings können Zufälligkeit und breite Netze diesen Bias bekämpfen, weshalb wir in vielen realen Anwendungen immer noch den perfekten Kreis sehen.

Das Paper enthüllt im Wesentlichen, dass Tiefe ein zweischneidiges Schwert ist: Sie gibt Netzen Kraft, verändert aber auch subtil die Geometrie ihres Lernens und drängt sie von der „perfekten" Symmetrie weg, von der wir dachten, sie würden sie immer anstreben.

Technische Zusammenfassung: Der implizite Bias der Tiefe: Von Neural Collapse zu Softmax-Codes

Problemstellung

Tiefe neuronale Netzwerkklassifikatoren, die über die Interpolation hinaus trainiert werden, konvergieren häufig zu einer strukturierten geometrischen Anordnung, die als Neural Collapse (NC) bekannt ist, wobei die Klassenmittelwerte ein einfaches gleichwinkliges straffes Gerüst (Simplex ETF) bilden und die Merkmale mit diesem Gerüst ausgerichtet sind. Während NC in flachen Modellen und regularisierten tiefen Settings gut verstanden ist, bleibt sein Auftreten in unregularisierten tiefen Architekturen theoretisch unklar.

Bisherige theoretische Arbeiten zum Unconstrained Features Model (UFM) haben sich weitgehend auf explizite $L_2$ -Regularisierung verlassen, um NC zu induzieren. Neuere Erkenntnisse deuten jedoch darauf hin, dass in tiefen UFMs $L_2$ -Regularisierung tatsächlich einen Low-Rank-Bias induziert, der NC unterdrückt und NC suboptimal macht. Es besteht eine kritische Lücke im Verständnis der impliziten Biases des unregularisierten tiefen Trainings: Begünstigt die Tiefe allein über die Gradientenabstiegsdynamik NC, oder treibt sie das System zu alternativen geometrischen Strukturen? Insbesondere: Wie interagieren Tiefe, Optimierungsdynamik und Initialisierung, um die finale geometrische Konfiguration ohne explizite Regularisierung zu bestimmen?

Methodik

Die Autoren analysieren das Deep Unconstrained Features Model (UFM), das mit Cross-Entropy (CE)-Verlust ohne explizite Regularisierung trainiert wird. Dieses Modell behandelt Merkmale der letzten Schicht als freie Optimierungsvariablen und abstrahiert effektiv ein tiefes lineares Netzwerk mit orthogonalen Eingaben. Die Studie verwendet zwei komplementäre analytische Perspektiven:

Asymptotische Analyse: Die Autoren untersuchen den Grenzwert des Gradientenflusses (GF) für $t \to \infty$ . Sie nutzen das Framework von Lyu & Li (2019), um zu zeigen, dass GF auf CE-Verlust implizit eine nicht-konvexe Margin-Maximierung durchführt. Sie charakterisieren die Landschaft des entsprechenden eingeschränkten Optimierungsproblems, um globale und lokale Minima zu identifizieren.
Dynamische Analyse: Um das Verhalten in endlicher Zeit zu verstehen, verwenden die Autoren eine Hadamard-Initialisierung (speziell Sylvester-Hadamard-Matrizen). Diese Initialisierung erhält die Singulärvektoren der Parametermatrizen während des gesamten Trainings und reduziert die komplexe Matrixdynamik auf ein handhabbares System von Differentialgleichungen, das nur die Singulärwerte steuert. Dies ermöglicht eine präzise Charakterisierung der Stabilität und der Trajektorienentwicklung in der Nähe des Ursprungs sowie während des Übergangs in den Regime großer Normen.

Hauptbeiträge und Ergebnisse

1. Die Tiefe bricht die harmlose Landschaft

Die Arbeit zeigt, dass die „harmlose" Landschaft des flachen UFM (wo NC das eindeutige globale Minimum ist) in tiefen Settings ( $L > 1$ ) nicht erhalten bleibt.

Satz 3.1: Für $L=2$ mit $K \ge 6$ Klassen (oder $L \ge 3$ mit $K \ge 4$ ) ist NC nicht global optimal. Obwohl NC ein lokales Optimum bleibt, erlaubt die Landschaft mehrere verschiedene, stabile lokale Minima.
Mechanismus: Die Suboptimalität von NC ergibt sich daraus, dass Low-Rank-Strukturen Normen effizienter durch aufeinanderfolgende Matrixmultiplikationen propagieren. In einem tiefen Netzwerk erlauben Low-Rank-Matrizen größere Logit-Normen (und damit größere euklidische Margins) bei fester Parameternorm im Vergleich zur vollrängigen NC-Konfiguration. Dies ist ein rein geometrischer Effekt der Tiefe, unabhängig von expliziter Regularisierung.

2. Charakterisierung optimaler Low-Rank-Strukturen: Softmax-Codes

Die Autoren identifizieren die spezifischen geometrischen Strukturen, die NC im tiefen Grenzwert ersetzen.

Satz 3.2: Im Grenzwert unendlicher Tiefe ( $L \to \infty$ ) entspricht das globale Optimum einer Rang-2-Lösung, bei der die Klassenmittelwerte als Eckpunkte eines regelmäßigen $K$ -Ecks auf einem Kreis angeordnet sind.
Verbindung zu Softmax-Codes: Diese Struktur stimmt mit der optimalen Lösung eines einlagigen UFM unter einem extremen Breiten-Engpass ( $d=2$ ) überein, bekannt als Softmax-Code (Jiang et al., 2023). Die Arbeit argumentiert, dass die Tiefe als implizite Rangbeschränkung wirkt und Lösungen auswählt, die andernfalls explizite architektonische Engpässe erfordern würden. Empirische Ergebnisse deuten darauf hin, dass diese Verbindung auch auf endliche Tiefen ausgedehnt werden kann, wobei Netzwerke zu Rang- $r$ -Softmax-Codes konvergieren.

3. Dynamische Instabilität und der „Reich-wird-reicher"-Effekt

Die Arbeit analysiert die Trajektorie des Gradientenflusses, um zu erklären, wie das System NC vermeidet.

Instabilität von NC: Im Gegensatz zum flachen Fall, wo NC während der gesamten Trajektorie stabil ist, beweist Satz 4.3, dass für $L > 1$ die NC-Richtung in der Nähe des Ursprungs (bei kleinen Parameternormen) instabil ist. Der Bereich der Instabilität wächst mit der Anzahl der Schichten.
Mechanismus: Die Instabilität wird durch einen „Reich-wird-reicher"-Effekt angetrieben (Satz 4.4). Im linearisierten Regime in der Nähe der Initialisierung wachsen größere Singulärwerte schneller als kleinere ( $L > 1$ ), was anfängliche Diskrepanzen verstärkt und das System zu Low-Rank-Strukturen treibt, bevor es den linearisierten Regime verlässt.
Divergenz der KL-Divergenz: Die Arbeit zeigt, dass die KL-Divergenz zu NC, die in flachen Modellen als Lyapunov-Funktion dient, in tiefen Modellen divergieren kann, was bestätigt, dass Trajektorien sich vollständig von NC entfernen können.

4. Die Rolle der Initialisierung und der Breite

Trotz des theoretischen Vorzugs für Low-Rank-Strukturen wird NC in der Praxis häufig beobachtet. Die Autoren erklären dies durch Initialisierungseffekte.

Satz 4.5: Unter zufälliger Initialisierung mit hinreichend großer Netzwerkbreite ( $d$ ) ist die anfängliche Geschwindigkeit der Logits zu einer Ausrichtung mit dem Simplex-ETF (dem Signaturmerkmal von NC) hin verzerrt.
Konzentration des Maßes: Eine große Breite induziert eine Konzentration des Maßes in den anfänglichen Eigenwerten, wodurch die Singulärwerte nahezu gleich bleiben. Dies wirkt dem „Reich-wird-reicher"-Effekt entgegen und ermöglicht es dem System, mit hoher effektiver Rangzahl in den Regime großer Normen einzutreten, wo NC lokal stabil ist. Dies liefert eine dynamische Begründung dafür, warum NC in breiten, zufällig initialisierten Netzwerken trotz des impliziten Low-Rank-Bias der Tiefe bestehen bleibt.

5. Empirische Verifikation

Die Autoren validieren ihre Theorie an tiefen UFMs und ResNet-20-Architekturen, die auf MNIST und CIFAR-10 trainiert wurden.

Tiefe vs. Rang: Eine Erhöhung der Tiefe des Netzwerkheads verringert systematisch den effektiven Rang der mittleren Logit-Matrix und bestätigt den tiefeninduzierten Low-Rank-Bias.
Breite vs. Rang: Eine Erhöhung der Breite erhöht im Allgemeinen den effektiven Rang und stützt die theoretische Behauptung, dass die Breite das Training zu höherrangigen (NC-ähnlichen) Lösungen hin verzerrt.
Generalisierung: Ein niedrigerer effektiver Rang (verbunden mit Low-Rank-Alternativen) korreliert im Allgemeinen mit einer schlechteren Generalisierung im Vergleich zu NC-Lösungen, was darauf hindeutet, dass der implizite Bias der Tiefe zu Low-Rank-Strukturen auf Kosten einer reduzierten Margin und Generalisierungsleistung gehen kann.

Bedeutung und Behauptungen

Die Arbeit behauptet, die erste umfassende Charakterisierung zu liefern, wie implizite Biases aus Tiefe, Optimierungsdynamik und Initialisierung interagieren, um das Auftreten von Neural Collapse in unregularisierten tiefen Netzwerken zu bestimmen.

Theoretische Neuheit: Sie stellt fest, dass die Tiefe allein ausreicht, um einen Low-Rank-Bias zu induzieren, der NC suboptimal macht, und stellt die Ansicht in Frage, dass NC das unvermeidliche Ergebnis des Deep Learnings sei oder dass eine explizite Regularisierung für sein Auftreten erforderlich ist.
Identifikation des Mechanismus: Sie identifiziert die „Reich-wird-reicher"-Dynamik im linearisierten Regime als Treiber für das Entstehen von Low-Rank-Strukturen und charakterisiert die resultierenden Optima als Softmax-Codes.
Praktische Einsicht: Die Arbeit bietet eine dynamische Erklärung für die Allgegenwart von NC in der Praxis: Während die Tiefe theoretisch Low-Rank-Strukturen begünstigt, können große Breite und zufällige Initialisierung die Optimierung zurück zu NC lenken.
Einschränkungen: Die Autoren räumen ein, dass ihre Analyse auf der UFM-Abstraktion und spezifischen Initialisierungsschemata (Hadamard) für handhabbare Dynamiken beruht, obwohl sie Belege dafür liefern, dass diese Phänomene auch unter kleiner zufälliger Initialisierung bestehen bleiben. Sie weisen darauf hin, dass die Theorie asymptotisch ist und dass Raten in endlicher Zeit eine offene Richtung bleiben.

Zusammenfassend neu definiert die Arbeit das Verständnis der Geometrie des Deep Learnings und geht davon aus, dass die Tiefe einen impliziten Low-Rank-Bias einführt, der mit der hochrangigen Struktur von Neural Collapse konkurriert, wobei das Endergebnis durch das Zusammenspiel von Netzwerktiefe, -breite und Initialisierung bestimmt wird.