📊 statistics

Approximating Simple ReLU Networks based on Spectral Decomposition of Fisher Information

Dieser Artikel identifiziert, dass die wichtigsten Eigenräume der Fisher-Information-Matrix für 2-Schichten-ReLU-Netzwerke mit zufälligen versteckten Gewichten den von sphärischen Harmonischen Funktionen der Ordnung höchstens 2 aufgespannten Funktionsräumen entsprechen, die gemeinsam über 97 % der Spur der Matrix ausmachen.

Ursprüngliche Autoren: Ka Long Keith Ho, Yoshinari Takeishi, Junichi Takeuchi

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ka Long Keith Ho, Yoshinari Takeishi, Junichi Takeuchi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine riesige, komplexe Maschine vor – ein zweischichtiges neuronales Netz mit einer „ReLU"-Aktivierungsfunktion (denken Sie daran als eine Maschine, die nur dann aktiviert wird, wenn ein Signal stark genug ist). Diese Maschine verfügt über eine versteckte Schicht mit Tausenden winziger Zahnräder (Neuronen), die zufällig eingestellt und niemals bewegt werden. Nur die letzte Schicht der Zahnräder ist justierbar.

Die Autoren dieses Papers wollten verstehen: Wenn wir diese Maschine trainieren, welche spezifischen Muster oder Formen lernt sie zuerst?

Um dies zu beantworten, beobachteten sie nicht nur, wie die Maschine lernt; sie betrachteten ihre „Baupläne" mithilfe eines mathematischen Werkzeugs namens Fisher-Information-Matrix. Stellen Sie sich diese Matrix als eine Karte vor, die zeigt, welche Richtungen im „Lernraum" der Maschine am einfachsten zu durchlaufen sind. Genau wie eine hügelige Landschaft steile Hänge und flache Täler hat, weist diese Karte „einfache Pfade" (große Eigenwerte) und „schwierige Pfade" (kleine Eigenwerte) auf.

Das Paper macht eine faszinierende Entdeckung: 97,7 % der Lernkraft der Maschine sind auf nur drei spezifische „Richtungen" oder „Moden" konzentriert. Unabhängig davon, wie riesig die Maschine wird, ignoriert sie fast vollständig die anderen 2,3 % der Möglichkeiten.

So sehen diese drei Haupt„Moden" tatsächlich aus, einfach erklärt:

1. Der „Abstands"-Modus

Das allererste und stärkste Muster, das die Maschine lernt, ist einfach wie weit ein Punkt vom Zentrum entfernt ist.

Die Mathematik: Sie lernt eine Funktion, die proportional zu $\|x\|$ (der Länge des Eingabevektors) ist.
Die Analogie: Stellen Sie sich vor, Sie stehen in einem dunklen Raum mit einer Taschenlampe. Das erste, was die Maschine lernt, ist, wie hell das Licht ist, basierend darauf, wie weit Sie vom Zentrum des Raumes entfernt sind. Es ist ihr egal, wo Sie sind (links oder rechts), sondern nur, wie weit Sie entfernt sind.

2. Der „Koordinaten"-Modus

Die zweite Gruppe von Mustern (es gibt $d$ davon, wobei $d$ die Anzahl der Eingabedimensionen ist) lernt über einzelne Richtungen.

Die Mathematik: Sie lernt Funktionen, die proportional zu $x_l$ (dem Wert einer spezifischen Koordinate) sind.
Die Analogie: Jetzt lernt die Maschine, Ihnen zu sagen, ob Sie sich nach Norden, Süden, Osten oder Westen bewegen. Sie zerlegt die Welt in einfache, gerade Linien. Wenn Sie sich entlang der „x-Achse" bewegen, bemerkt sie genau das.

3. Der „Interaktions"-Modus

Die dritte und größte Gruppe von Mustern lernt darüber, wie verschiedene Richtungen miteinander interagieren, aber auf eine sehr spezifische Weise.

Die Mathematik: Sie lernt Funktionen, die proportional zu $x_\alpha x_\beta / \|x\|$ sind.
Die Analogie: Dies ist wie das Bemerkens, dass eine Bewegung nach Norden und Osten gleichzeitig einen spezifischen diagonalen Effekt erzeugt, die Maschine dies jedoch durch die Gesamtdistanz „normalisiert". Sie lernt über die Form der Interaktion zwischen zwei Richtungen, nicht nur über die Richtungen selbst.

Warum ist das wichtig?

Das Paper behauptet, dass, da die „einfachen Pfade" (die drei oben genannten Moden) so dominant sind, Gradientenabstieg (der Algorithmus, der die Maschine trainiert) natürlich zuerst lernt, diese drei Dinge zu lernen. Es ist wie ein Ball, der einen Hügel hinunterrollt; er wird natürlich zuerst die steilsten, breitesten Täler hinunterrollen (die Abstands- und Koordinatenmoden), bevor er überhaupt an die winzigen, schmalen Risse im Felsen denkt (die anderen 2,3 % der Muster).

Die „sphärische" Verbindung

Die Autoren weisen darauf hin, dass diese drei Muster tatsächlich mit Kugelflächenfunktionen (Spherical Harmonics) zusammenhängen.

Die Analogie: Stellen Sie sich die Oberfläche eines Basketballs vor. Mathematiker haben eine spezielle Reihe von „Musiknoten" (Kugelflächenfunktionen), die jede Schwingung auf diesem Ball beschreiben können.
- Der „Abstands"-Modus ist wie der Ball, der als Ganzes vibriert (die tiefste Note).
- Die „Koordinaten"-Moden sind wie der Ball, der in einfachen Auf-und-Ab- oder Links-Rechts-Wellen vibriert.
- Die „Interaktions"-Moden sind wie komplexere, sich verdrehende Wellen auf der Oberfläche.
  Das Paper zeigt, dass dieses zufällige neuronale Netz im Wesentlichen die ersten paar Noten dieses sphärischen Liedes „spielt".

Was sie testeten

Die Autoren führten Computersimulationen durch, um dies zu beweisen. Sie bauten diese zufälligen Maschinen in verschiedenen Größen und prüften, ob die Ausgabe tatsächlich den einfachen Formeln entsprach, die sie hergeleitet hatten (wie „Abstand" oder „Koordinate").

Das Ergebnis: Die Mathematik hielt perfekt stand. Als sie die versteckte Schicht größer machten (mehr Zahnräder), näherte sich das Verhalten der Maschine den einfachen Formeln immer mehr an. Der Fehler (Unterschied zwischen Maschine und Formel) wurde immer kleiner.

Der Haken (Einschränkungen)

Das Paper ist sehr vorsichtig und weist darauf hin, dass dies nur unter spezifischen Bedingungen funktioniert:

Zufällige Eingaben: Die Daten, mit denen die Maschine trainiert wird, müssen wie eine Standard„Glockenkurve" (Gaußsche Verteilung) aussehen, wie das Werfen von Pfeilen auf ein Brett, wobei die meisten in der Mitte landen. Wenn die Daten seltsam sind oder in einer spezifischen Form gruppiert sind, könnten diese einfachen Regeln versagen.
Unendliche Größe: Die Theorie geht davon aus, dass die versteckte Schicht unendlich groß ist. Im echten Leben, bei kleineren Maschinen, sind die Ergebnisse eine Näherung, obwohl die Simulationen zeigen, dass es auch bei vernünftig großen Größen gut funktioniert.

Zusammenfassend: Dieses Paper enthüllt, dass ein zufälliges, breites neuronales Netz kein chaotisches Durcheinander ist. Es hat eine sehr klare, einfache „Stimme". Wenn es zu lernen beginnt, singt es fast ausschließlich drei Arten von Liedern: „Wie weit bin ich?", „In welche Richtung gehe ich?" und „Wie mischen sich diese beiden Richtungen?" Alles andere ist nur Hintergrundrauschen.

Technische Zusammenfassung: Approximation einfacher ReLU-Netzwerke basierend auf der spektralen Zerlegung der Fisher-Information

Problemstellung
Diese Arbeit untersucht den Funktionsraum, der durch ein zweischichtiges, bias-freies ReLU-Neurales Netzwerk mit zufällig fixierten versteckten Gewichten und trainierbaren Ausgabegewichten repräsentiert wird. Konkret zielen die Autoren darauf ab, die spezifischen Funktionsformen zu identifizieren, die den dominanten Eigenräumen der Fisher-Informationsmatrix (FIM) entsprechen. Vorherige Arbeiten von Takeishi et al. [7, 8, 9] haben gezeigt, dass für solche Netzwerke die Eigenwertverteilung der FIM stark auf die ersten drei Eigenräume konzentriert ist, die gemeinsam unabhängig von der Anzahl der versteckten Einheiten ( $m$ ) etwa 97,7 % des Spurbetrags der Matrix ausmachen. Während die spektralen Eigenschaften bekannt waren, blieben die spezifischen Funktionsräume, die durch diese dominanten Eigenräume induziert werden, unidentifiziert.

Methodik
Die Studie analysiert ein Modell, bei dem der Eingangsvektor $x \in \mathbb{R}^d$ einer Standard-Gauß-Verteilung $N(0, I_d)$ folgt und die Ausgabe $y = f_v(x) + \epsilon$ lautet, wobei $f_v(x) = X(x)^\top v$ . Hier repräsentiert $X(x) = \sigma(x^\top W)$ den Ausgang der versteckten Schicht unter Verwendung der ReLU-Aktivierung $\sigma(\cdot)$ , wobei $W \in \mathbb{R}^{d \times m}$ i.i.d. Gaußsche Gewichte $N(0, 1/m)$ enthält und $v \in \mathbb{R}^m$ der trainierbare Ausgabegewichtsvektor ist.

Die Methodik verläuft wie folgt:

Spektralanalyse: Die Autoren nutzen die in der vorherigen Literatur abgeleitete approximative spektrale Zerlegung der FIM, $J = \mathbb{E}_{x}[X(x)X(x)^\top]$ $J = E_{x} [X (x) X (x)^{⊤}]$ . Sie konzentrieren sich auf die drei dominanten Eigenräume, die den größten Eigenwerten entsprechen:
- Der erste Eigenraum (Vielfachheit 1) mit dem Eigenwert $\approx (2d+1)/4\pi$ .
- Der zweite Eigenraum (Vielfachheit $d$ ) mit dem Eigenwert $1/4$ .
- Der dritte Eigenraum (Vielfachheit $d(d+1)/2 - 1$ ) mit dem Eigenwert $\approx 1/(2\pi(d+2))$ .
Abbildung des Funktionsraums: Durch die Definition des Skalarprodukts im Funktionsraum als $\langle f, g \rangle = \mathbb{E}_{x \sim N(0, I_d)}[f(x)g(x)]$ bilden die Autoren die approximativen Eigenvektoren des Parameterraums ( $v$ ) auf ihre entsprechenden asymptotischen Funktionsformen im Grenzwert $m \to \infty$ ab.
Asymptotische Herleitung: Die Arbeit leitet den Grenzwert von $X(x)^\top v$ für die spezifischen Eigenvektoren ab, die den drei dominanten Clustern zugeordnet sind, und beweist die Konvergenz in Wahrscheinlichkeit zu spezifischen Funktionen, die Kugelflächenfunktionen (Sphärische Harmonische) beinhalten.
Validierung: Die theoretischen Ergebnisse werden durch numerische Simulationen über verschiedene Eingabedimensionen ( $d$ ) und Größen der versteckten Schicht ( $m$ ) hinweg validiert, wobei der mittlere absolute Fehler (MAE) zwischen den realisierten Netzwerkausgaben und den abgeleiteten asymptotischen Grenzen gemessen wird.

Hauptbeiträge und Ergebnisse
Der primäre Beitrag ist die Identifizierung der spezifischen Basisfunktionen, die den Funktionsraum aufspannen, der 97,7 % des Spurbetrags der FIM entspricht. Wenn $m \to \infty$ , konvergieren die Netzwerkausgaben, die den drei dominanten Eigenräumen entsprechen, zu folgenden Formen:

Erster Eigenraum: Die Funktion konvergiert zu einer radialen Komponente, die proportional zur euklidischen Norm ist:
$F_0(x) \propto \|x\|$
Zweiter Eigenraum: Die Funktionen konvergieren zu koordinatenspezifischen linearen Termen:
$F_l(x) \propto x_l \quad \text{für } l \in \{1, \dots, d\}$
Dritter Eigenraum: Die Funktionen konvergieren zu Termen, die Produkte von Koordinaten beinhalten, normiert durch die Norm, und beziehen sich spezifisch auf Kugelflächenfunktionen (Sphärische Harmonische) vom Grad 2:
$F_{\alpha\beta}(x) \propto \frac{x_\alpha x_\beta}{\|x\|} \quad (\alpha < \beta)$
$F_\gamma(x) \propto \frac{x_\gamma^2}{\|x\|} - \text{Korrekturterme} \quad (\gamma \in \{1, \dots, d-1\})$

Die Autoren zeigen, dass diese Funktionen unter der Fisher-Metrik eine annähernd orthogonale Basis im Funktionsraum bilden. Die Simulationsergebnisse bestätigen, dass der mittlere absolute Fehler zwischen der Realisierung des Netzwerks und diesen theoretischen Grenzen mit zunehmendem $m$ abnimmt, was die asymptotischen Approximationen validiert.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass diese Ergebnisse eine rigorose Charakterisierung der „Lern-Dynamik" einfacher ReLU-Netzwerke im Grenzwert unendlicher Breite liefern. Indem sie die spektrale Zerlegung der FIM mit spezifischen Funktionsformen verknüpfen, argumentieren die Autoren, dass:

Priorisierung durch Gradientenabstieg: Da der Gradientenabstieg in Richtungen, die größeren Eigenwerten der Hesse-Matrix (die in der Nähe des Optimums die FIM approximiert) entsprechen, schneller konvergiert, priorisiert das Netzwerk das Erlernen von Merkmalen, die proportional zu $\|x\|$ sind, gefolgt von $x_l$ und dann den quadratischen Termen $x_\alpha x_\beta / \|x\|$ .
Verbindung zu Neural Tangent Kernels (NTK): Die Ergebnisse werden so interpretiert, dass sie die Eigenwerte und Eigenfunktionen der ersten drei Grade der Mercer-Zerlegung des Neural Tangent Kernel für zweischichtige Netzwerke identifizieren. Dies verbindet die Analyse der FIM endlicher Breite mit der Literatur zum NTK unendlicher Breite, insbesondere im Zusammenhang mit der Arbeit von Bietti und Ma [3].
Dynamik des Funktionsraums: Die Arbeit bietet einen Rahmen zum Verständnis, wie überparametrisierte Netzwerke Funktionen ausdrücken, und legt nahe, dass die initiale Trainingsphase von Kugelflächenfunktionen niedrigen Grades (Ordnungen 0, 1 und 2) dominiert wird.

Einschränkungen
Die Autoren weisen explizit auf mehrere Einschränkungen hin:

Eingangsverteilung: Die Orthogonalität und die spezifischen Funktionsformen hängen stark davon ab, dass die Eingabe $x$ rotationsinvariant ist (speziell standard-gaußverteilt). Nicht-Gaußsche oder nicht-rotationsinvariante Verteilungen können die Hierarchie der Basisfunktionen verändern.
Endliche Breite: Die Analyse geht vom Grenzwert unendlicher Breite ( $m \to \infty$ ) aus. Netzwerke endlicher Breite können aufgrund stochastischer Effekte Abweichungen aufweisen.
Daten-Mannigfaltigkeiten: Der aktuelle Rahmen adressiert keine Daten, die auf niedrigdimensionalen Mannigfaltigkeiten verteilt sind, wo die FIM degeneriert werden könnte.
Architektur: Die Studie beschränkt sich auf zweischichtige, bias-freie ReLU-Netzwerke; Erweiterungen auf tiefere Architekturen oder andere Aktivierungsfunktionen werden nicht behandelt.