🤖 Maschinelles Lernen

A Closed Form Depth-Width Law for Neural Collapse in Deep Linear Networks

Diese Arbeit leitet ein geschlossenes Tiefen-Breiten-Skalierungsgesetz für Neural Collapse in tiefen linearen Netzwerken ab und zeigt auf, dass die schichtweise Repräsentationsgeometrie analytisch aus dem Verhältnis von Tiefe zu Breite sowie den Dateneigenschaften vorhergesagt werden kann, ohne dass eine Analyse nach dem Training erforderlich ist.

Ursprüngliche Autoren: Pankhil Gawade, Kirsten Fischer, Guy Wolf, Ewa Szczurek

Veröffentlicht 2026-10-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Pankhil Gawade, Kirsten Fischer, Guy Wolf, Ewa Szczurek

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Deep Learning hat die Art und Weise, wie Maschinen die Welt sehen, hören und verstehen, transformiert, doch das Innenleben dieser Systeme bleibt oft ein Mysterium. Wir wissen, dass neuronale Netze aus Schichten einfacher Verarbeitungseinheiten aufgebaut sind, die gestapelt werden, um enorme Tiefe zu erzeugen, und dass jede Schicht Tausende dieser Einheiten enthält, was eine große Breite schafft. Jahrelang haben Wissenschaftler sich gefragt, wie das spezifische Gleichgewicht zwischen der Anzahl der Schichten und der Anzahl der Einheiten in jeder Schicht beeinflusst, was das Netzwerk tatsächlich lernt. Normalerweise ist der einzige Weg, dies herauszufinden, ein Netzwerk zu bauen, es mit Daten zu trainieren und dann die Ergebnisse zu betrachten – ein Prozess, der uns zwar sagt, was passiert ist, aber nicht, warum es geschah oder wie man es vor dem Trainingsbeginn vorhersagen kann. Ein zentrales Phänomen, das in diesen trainierten Netzwerken beobachtet wurde, wird als „Neural Collapse“ bezeichnet. Während ein Netzwerk lernt, neigen die Repräsentationen, die es für verschiedene Datenkategorien aufbaut, dazu, extrem verschieden voneinander zu werden, während die Repräsentationen für Objekte innerhalb derselben Kategorie nahezu identisch werden. Es ist, als ob das Netzwerk seine interne Landkarte so organisiert, dass jedes Beispiel einer Katze eng zusammenclustert und jedes Beispiel eines Hundes eng zusammenclustert, wobei die beiden Gruppen weit voneinander entfernt stehen.

Ein Team von Forschern hat nun gezeigt, dass diese Organisation bei einem spezifischen Typ von Netzwerk kein zufälliger Unfall des Trainings ist, sondern ein vorhersagbares Ergebnis, das im Voraus berechnet werden kann. Durch die Konzentration auf eine vereinfachte Version eines neuronalen Netzwerks, das lineare Mathematik verwendet, entdeckten die Wissenschaftler eine präzise Regel, die die Architektur des Netzwerks mit der Geometrie der Daten verknüpft, die es lernt. Sie fanden heraus, dass der Grad, zu dem das Netzwerk ähnliche Datenpunkte zusammendrückt, direkt vom Verhältnis der Tiefe des Netzwerks zu seiner Breite abhängt. Wenn man weiß, wie viele Schichten das Netzwerk hat und wie viele Einheiten in jeder Schicht vorhanden sind, sowie die grundlegenden Eigenschaften der Daten, die es lernt, kann man genau bestimmen, wie stark das Netzwerk die Daten komprimiert, ohne jemals eine einzige Trainingssitzung durchführen zu müssen. Dies ist ein bedeutender Wandel vom üblichen Trial-and-Error-Ansatz und bietet ein klares, mathematisches Gesetz, das beschreibt, wie die Struktur eines Netzwerks sein Verständnis der Welt formt.

Die Forscher näherten sich diesem Problem, indem sie die internen Repräsentationen des Netzwerks nicht als eine Sammlung einzelner Datenpunkte, sondern als eine einzige, einheitliche Karte von Beziehungen behandelten. Sie entwickelten eine Methode, um die „Engheit“ dieser Cluster mithilfe eines Konzepts namens „Feature Kernel“ zu messen, das wie ein Bauplan dafür fungiert, wie das Netzwerk die Ähnlichkeit zwischen zwei beliebigen Datensätzen wahrnimmt. Mit diesem Bauplan konnten sie drei verschiedene Maße dafür, wie gut das Netzwerk seine Daten organisiert hat, vollständig in Bezug auf diesen Bauplan und die Labels der Daten ausdrücken. Das bedeutet, dass man nicht die tatsächlichen Datenpunkte innerhalb des Netzwerks sehen muss, um dessen Verhalten zu verstehen, sondern einfach die mathematischen Beziehungen zwischen ihnen betrachten kann. Das Team bewies, dass diese Beziehungen für Netzwerke mit einer spezifischen, symmetrischen Struktur einem strengen Muster folgen, während die Daten von der ersten zur letzten Schicht wandern.

In diesen symmetrischen Netzwerken leiteten die Forscher eine exakte Formel her, die zeigt, dass die Kompression der Daten innerhalb einer Kategorie in einer geometrischen Progression erfolgt. Mit jeder neuen Schicht, die die Daten durchlaufen, schrumpft die Streuung ähnlicher Objekte um einen konstanten Faktor. Dieser Faktor wird durch das Verhältnis der Tiefe des Netzwerks zu seiner Breite bestimmt. Wenn das Netzwerk im Vergleich zu seiner Tiefe sehr breit ist, erfolgt die Kompression langsam. Wenn das Netzwerk relativ zu seiner Breite tief ist, beschleunigt sich die Kompression. Entscheidend ist, dass die Rate, mit der diese Kompression erfolgt, keine feste Zahl ist, die vom Ingenieur gewählt wird; sie wird durch die Daten selbst, die initialen Einstellungen des Netzwerks und die Architektur bestimmt, die alle zusammen in einer selbstkonsistenten Schleife wirken. Die Forscher verifizierten diese Theorie mit Computersimulationen und zeigten, dass die vorhergesagte Kompressionsrate das tatsächliche Verhalten des Netzwerks perfekt widerspiegelte. Sie testeten dies auch an etwas komplexeren, nicht-linearen Netzwerken und fanden, dass, obwohl die exakte Formel nicht anwendbar war, der allgemeine Trend, dass sich die Daten in dieselbe Richtung organisieren, bestehen blieb, was darauf hindeutet, dass das zugrunde liegende Prinzip robust ist.

Diese Arbeit bietet einen seltenen Einblick in die „Naturgesetze“ der Künstlichen Intelligenz. Genau wie ein Physiker vorhersagen kann, wie sich ein Gas basierend auf Temperatur und Druck ausdehnt, ohne jedes einzelne Molekül beobachten zu müssen, haben diese Forscher gezeigt, dass man vorhersagen kann, wie ein neuronales Netzwerk sein Wissen organisiert, basierend auf seiner Größe und den Daten, die es sieht. Die Ergebnisse legen nahe, dass das Tiefen-Breiten-Verhältnis ein fundamentaler Kontrollregler für das Repräsentationslernen ist. Durch das Verständnis dieser Beziehung könnten Designer schließlich in der Lage sein, die richtige Architektur für eine spezifische Aufgabe zu wählen, ohne dutzende verschiedene Modelle trainieren zu müssen, um zu sehen, welches am besten funktioniert. Die Studie bestätigt, dass die Geometrie der gelernten Repräsentationen nicht chaotisch ist, sondern einem präzisen, berechenbaren Pfad folgt, wodurch der mysteriöse Prozess des Deep Learnings in etwas verwandelt wird, das von Beginn an verstanden und vorhergesagt werden kann.

Technisches Resümee: Ein geschlossener Tiefen-Breiten-Gesetz für Neural Collapse in tiefen linearen Netzwerken

Problemstellung

Die Beziehung zwischen der Netzwerkarchitektur (speziell Tiefe und Breite) und der Geometrie gelernter Repräsentationen wird typischerweise empirisch nach dem Training analysiert. Während frühere Arbeiten bereits identifiziert haben, dass das Tiefen-zu-Breiten-Verhältnis ( $L/N$ ) ein steuernder Parameter für Fluktuationen des endlichen Breiten-Kernels und die effektive Tiefe ist, bleibt ein prädiktives, geschlossenes Verständnis darüber, wie architektonische Entscheidungen die Repräsentationsgeometrie während des Feature-Learnings formen, schwer fassbar. Speziell die Entwicklung von Neural Collapse (NC) – ein Phänomen, das durch die Minimierung der Varianz innerhalb einer Klasse (NC1), die Bildung von Simplex-strukturierten Klassenzentren (NC2) und die Ausrichtung von Klassifikatoren an den Klassenzentren (NC3) gekennzeichnet ist – über die Schichten hinweg hat sich bisher nicht analytisch aus ersten Prinzipien in einem handhabbaren Setting des Feature-Learnings herleiten lassen.

Methodik

Die Autoren entwickeln einen theoretischen Rahmen, der Neural Collapse-Observablen mit der selbstkonsistenten Feature-Learning-Theorie für tiefe lineare Netzwerke kombiniert.

Kernel-Formulierung von NC-Observablen:
Die Arbeit erweitert zunächst die Kernel-Formulierung von Neural Collapse. Während Kothapalli und Tirer [2025] etabliert haben, dass NC1 über den Feature-Kernel ausgedrückt werden kann, leitet diese Arbeit geschlossene Kernel-Ausdrücke für NC2 (winklige Abweichung von einem Simplex-ETF) und NC3 (Fehlausrichtung zwischen dem Ridge-Readout und zentrierten Klassenzentren) her. Diese Ausdrücke hängen ausschließlich vom Feature-Kernel $K$ und den Klassenlabels $Y$ ab, wodurch die explizite Notwendigkeit von Feature-Koordinaten entfällt.
Feature-Learning-Theorie:
Die Autoren nutzen den Bayesianischen Feature-Learning-Rahmen von Fischer et al. [2024], der gekoppelte Vorwärts-Rückwärts-Selbstkonsistenzgleichungen für die Maximum-A-Posteriori (MAP) schichtweisen Kernel ableitet. Diese Theorie ist exakt im proportionalen Limit, in dem die Anzahl der Stichproben $P$ und die Netzwerkbreite $N$ gemeinsam skalieren ( $P/N = \alpha$ ).
Austauschbare Klassen-Geometrie:
Um eine analytische Lösung zu erhalten, nehmen die Autoren eine austauschbare Klassen-Geometrie an, bei der der Input-Kernel unter Permutationen von Stichproben innerhalb von Klassen sowie unter Permutationen von Klassen invariant ist. Unter dieser Symmetrie entkoppeln sich die matrixwertigen Kernel-Gleichungen in drei skalare Kanäle:
- Globaler Mittelwert ( $E$ )
- Zentrierte Zwischenklassen-Mittelwerte ( $P_B$ )
- Innerhalb-der-Klasse-Fluktuationen ( $P_W$ )
Diese Reduktion ermöglicht die Ableitung eines skalaren geometrischen Gesetzes, welches die Entwicklung des Verhältnisses von Varianz innerhalb der Klasse zur Varianz zwischen den Klassen über die Schichten hinweg regelt.

Kernbeiträge

1. Kernel-Identitäten für NC2 und NC3

Das Paper liefert neue Identitäten, die NC2 und NC3 direkt in Abhängigkeit vom Feature-Kernel $K$ und den Labels $Y$ ausdrücken.

NC2 wird als Frobenius-Norm-Distanz zwischen der Cosinus-normalisierten Gram-Matrix der zentrierten Klassenzentren und der Gram-Matrix eines Einheits-Norm-Simplex-ETF formuliert.
NC3 wird als durchschnittliche Cosinus-Fehlausrichtung zwischen den bias-freien Ridge-Readout-Richtungen und den zentrierten Klassenzentren formuliert.
Diese Identitäten ermöglichen die Berechnung aller drei Trainingssatz-NC-Observablen, ohne die Feature-Matrix $Z$ explizit bilden zu müssen.

2. Exaktes geometrisches Tiefen-Gesetz

Für tiefe lineare Netzwerke mit austauschbarer Klassenstruktur leiten die Autoren ein exaktes Gesetz für die schichtweise Entwicklung von NC1 ab:
$NC^{(l)}_1 = NC^{(0)}_1 \left( \frac{t_W}{t_B} \right)^l$
wobei $t_W$ und $t_B$ lageunabhängige Transferfaktoren sind, die durch Daten, Prior und Architektur bestimmt werden. Dies zeigt, dass die Kompression innerhalb der Klasse geometrisch mit der Tiefe erfolgt, getrieben durch das Verhältnis der Transferfaktoren für die Within-Class- und Between-Class-Kanäle.

3. Tiefen-Breiten-Skalierungsgesetz

Im Grenzfall der großen Breite bei kleiner Regularisierung ( $\kappa$ ) wird gezeigt, dass die akkumulierte Kompression durch das Tiefen-zu-Breiten-Verhältnis $L/N$ gesteuert wird. Der terminale NC1 skaliert als:
$NC^{(L)}_1 \approx NC^{(0)}_1 \exp\left( -\frac{rL}{N} \right)$
Hierbei ist $r$ ein Rate-Parameter, der selbstkonsistent durch das Signal-Rausch-Verhältnis (SNR), die Prior-Varianz und die Architektur bestimmt wird. Dies etabliert $L/N$ als die primäre architektonische Variable, welche die Repräsentationskompression kontrolliert, wobei die Rate $r$ aus den Daten- und Modelleigenschaften hervorgeht und kein externer Hyperparameter ist.

Ergebnisse

Analytische Verifizierung: Numerische Experimente am exakt austauschbaren Populations-Kernel bestätigen, dass das geschlossene geometrische Gesetz die numerische Fixed-Point-Lösung über verschiedene Tiefen und Breiten hinweg präzise abbildet.
Datenabhängigkeit: Es wurde gezeigt, dass die Kontraktionsrate $\log(t_W/t_B)$ explizit vom Input-SNR abhängt, was die selbstkonsistente Bestimmung der Rate validiert.
Skalierungsverhalten: Experimente, bei denen $L$ und $N$ variiert wurden, während $L/N$ konstant blieb, zeigen, dass der terminale NC1 dem vorhergesagten exponentiellen Zerfall folgt, was das $L/N$ -Skalierungsgesetz bestätigt.
Trainierte Netzwerke mit endlicher Breite: Bei der Anwendung auf SGLD-trainierte lineare Netzwerke endlicher Breite mit gesampelten Gaußschen Daten stimmt die geschlossene Vorhersage (unter Verwendung gemessener Input-Eigenwerte) eng mit dem beobachteten geometrischen Zerfall von NC1 überein, trotz Abweichungen vom idealisierten Populations-Setting.
Nichtlineare Erweiterungen: Bei einer nichtlinearen vierklassigen XOR-Aufgabe entwickeln sich die aus der selbstkonsistenten Theorie abgeleiteten Kernel-Observablen (NC1, NC2, NC3) in dieselbe qualitative Richtung wie jene in trainierten Netzwerken endlicher Breite, was darauf hindeutet, dass der Kernel-Rahmen die Geometrie der Repräsentationsentwicklung auch jenseits des lösbaren linearen Regimes erfasst.

Bedeutung und Ansprüche

Das Paper beansprucht, ein handhabbares Skalierungsgesetz auf Repräsentations-Ebene geliefert zu haben, das aus der Feature-Learning-Theorie abgeleitet und nicht nach dem Training angepasst wurde. Die primäre Bedeutung liegt in:

Prädiktiver Kraft: Es ermöglicht die Vorhersage der Repräsentationsgeometrie (speziell des Grades des Neural Collapse) direkt aus den Daten, dem Prior und der Architektur, ohne Test-Netzwerke trainieren zu müssen.
Architektonischem Einblick: Es identifiziert das Tiefen-zu-Breiten-Verhältnis $L/N$ als den steuernden Parameter für die Repräsentationskompression in tiefen linearen Netzwerken, wobei die Kompressionsrate selbstkonsistent durch die Problemstruktur bestimmt wird.
Theoretische Vereinigung: Es vereinigt die Untersuchung von Neural Collapse mit der Finite-Width-Kernel-Theorie, erweitert die bekannte NC1-Identität auf NC2 und NC3 und bietet eine geschlossene Beschreibung ihrer schichtweisen Entwicklung.

Die Autoren merken an, dass, obwohl das exakte geometrische Gesetz für austauschbare tiefe lineare Netzwerke abgeleitet wurde, die Kernel-Observablen auch für nichtlineare Netzwerke informativ bleiben und die qualitative Entwicklung der Repräsentationsgeometrie erfassen. Die Erweiterung dieser prädiktiven Gesetze auf allgemeine nichtlineare Netzwerke und beliebige Datengeometrien wird als zukünftige Forschungsrichtung identifiziert.