Technische Zusammenfassung: Wie Feature-Learning den Funktionsraum neu formt

1. Problemstellung

Moderne neuronale Netze (NN) unterscheiden sich von Methoden mit festem Kernel (wie Random-Feature-Modelle oder Regime des „lazy training") durch ihre Fähigkeit zum Feature-Learning – die Anpassung interner Repräsentationen an die Datenstruktur während des Trainings. Obwohl der Erfolg von NNs häufig diesem Mechanismus zugeschrieben wird, ist der genaue Einfluss des Feature-Learnings auf den induzierten Funktionsraum nach wie vor schlecht verstanden. Bestehende Charakterisierungen von Kernels und neuronalen Netzen sind weitgehend statisch; sie beschreiben den Funktionsraum bei der Initialisierung oder im Grenzfall unendlicher Breite, vermögen aber nicht zu erklären, wie Trainingsalgorithmen, insbesondere Gradientenabstieg, diesen Raum dynamisch neu formen.

Diese Arbeit adressiert die Frage: Wie entwickelt sich der Kernel (und der damit verbundene Funktionsraum) unter Gradienten-Updates, und welche Informationen werden schrittweise gelernt? Die Autoren konzentrieren sich auf die frühen Phasen des Trainings eines zweischichtigen neuronalen Netzes auf einem Gaußschen Single-Index-Modell, einem Setting, das bekanntermaßen die allgemeinste Klasse von Funktionen erfasst, die im hochdimensionalen proportionalen Regime lernbar sind.

2. Methodik

Die Autoren analysieren die Entwicklung des Funktionsraums nach einem einzelnen großen Gradientenabstiegs-Schritt auf den Gewichten der ersten Schicht eines zweischichtigen Netzes. Das Setup umfasst:

• Datenmodell: Ein Gaußsches Single-Index-Modell $y_i = g(\langle w^*, x_i \rangle) + \epsilon_i$, wobei $x_i \sim \mathcal{N}(0, I_d)$.
• Netzwerkarchitektur: Ein zweischichtiges Netz $f(x) = \frac{1}{\sqrt{m}} \sum_{j=1}^m a_j \sigma(w_j^\top x)$ mit ReLU- oder allgemeinen Lipschitz-Aktivierungen.
• Trainingsregime: Das „proportionale Regime", bei dem die Anzahl der Stichproben $n$, der versteckten Einheiten $m$ und die Dimension $d$ bei festen Verhältnissen gegen unendlich wachsen ($\alpha = n/d, \beta = m/d$). Die Schrittweite $\eta$ skaliert als $\Theta(d^\zeta)$ mit $\zeta \in [1/2, 1)$, was signifikante Gewichts-Updates ermöglicht.
• Zweistufiges Training:
  1. Feature-Learning: Ein einzelner Gradientenschritt aktualisiert die Gewichte der ersten Schicht $W$, während die zweite Schicht $a$ fixiert bleibt.
  2. Lineare Auslesung: Die Gewichte der zweiten Schicht werden mittels Ridge-Regression auf einem frischen Satz von Stichproben optimiert.

Der zentrale analytische Ansatz umfasst die Charakterisierung der Post-Update-Feature-Verteilung und die Herleitung des resultierenden datenadaptiven Kernels. Die Autoren nutzen Random-Matrix-Theorie, Spektralanalyse von Integraloperatoren und Taylor-ähnliche Entwicklungen, um den aktualisierten Kernel mit dem initialen isotropen Kernel in Beziehung zu setzen.

3. Hauptbeiträge und Ergebnisse

A. Approximation durch einen zielabhängigen „Spiked"-Gauß

Die Arbeit beweist, dass nach einem großen Gradientenschritt die Verteilung der gelernten Features gut durch einen zielabhängigen „Spiked"-Gauß approximiert werden kann. Konkret transformiert sich die Kovarianzmatrix der Feature-Gewichte von einer isotropen Form zu:
$$\Gamma = A I_d + B w^* (w^*)^\top$$
wobei $A$ und $B$ Konstanten sind, die von der Schrittweite, den Datendimensionen und der Link-Funktion $g$ abhängen. Dies führt zu einem datenadaptiven Kernel $k_1$, der ausgedrückt werden kann als:
$$k_1(x, x') = k_0(\Gamma^{1/2}x, \Gamma^{1/2}x')$$
Diese Formulierung interpretiert Feature-Learning als eine distributionelle Transformation entweder im Parameterraum (Verschiebung der Gewichtsverteilung) oder im Eingaberaum (Transformation der Datenrepräsentation).

B. Spektrale Expansion und Kernel-Deformation

Die Autoren führen eine Taylor-Entwicklung des neuen Kernels $k_1$ um den initialen isotropen Kernel $k_0$ durch. Sie zeigen, dass der „Spike" (das rang-eins Update, das mit $w^*$ ausgerichtet ist) Terme höherer Ordnung einführt, die mit wachsender Dimension verschwinden, und eine dominante Störung erster Ordnung hinterlassen.

• Ergebnis: Der Feature-Learning-Prozess setzt effektiv eine zusätzliche, zielabhängige Kernel-Komponente durch.
• Mechanismus: Diese Komponente verstärkt selektiv Eigenwerte, die mit der Zielrichtung $w^*$ ausgerichtet sind, und mischt führende Eigenfunktionen.

C. Explizite Charakterisierung für ReLU-Aktivierungen

Für den spezifischen Fall der ReLU-Aktivierung liefern die Autoren eine präzise Spektralanalyse:

1. Linearer Eigenraum: Die lineare Funktion, die mit dem Ziel ausgerichtet ist, $\psi^*(x) = \langle x, w^* \rangle$, erhält eine selektive Boostung ihres Eigenwerts. Lineare Funktionen, die orthogonal zu $w^*$ stehen, bleiben unbeeinflusst.
2. Mischung des Top-Eigenraums: Die führende Eigenfunktion des aktualisierten Operators ist nicht rein die konstante harmonische Funktion (wie beim initialen Kernel), sondern wird zu einer Superposition des konstanten radialen Modus ($Y_0$) und eines mit dem Ziel ausgerichteten quadratischen harmonischen Terms ($Y_2$).
3. Kopplung: Dies zeigt, dass Feature-Learning den führenden radialen Modus mit einem quadratischen harmonischen Term koppelt, der mit dem Signal ausgerichtet ist, und formt effektiv die Geometrie des Funktionsraums so um, dass Richtungen, die das Signal enthalten, priorisiert werden.

D. Numerische Validierung

Experimente mit synthetischen Daten bestätigen die theoretischen Befunde:

• Ausrichtung: Der führende Eigenvektor des aktualisierten Kernels ($k_1$) zeigt eine zunehmende Ausrichtung mit dem quadratischen Feature $Y_2$, wenn die Spike-Stärke $B$ zunimmt, wohingegen der initiale Kernel ($k_0$) keine solche Ausrichtung aufweist.
• Generalisierung: Neuronale Netze, die mit einem einzigen Gradientenschritt trainiert werden, konvergieren in Richtung der Leistung des „Spiked"-Kernels $k_1$ und übertreffen den festen Kernel $k_0$ beim Lernen der Zielfunktion, insbesondere wenn das Ziel nicht-lineare Komponenten enthält.

4. Bedeutung und Behauptungen

Die Arbeit bietet eine präzise funktionsraumbezogene Perspektive auf das Feature-Learning in frühen Phasen. Ihre Hauptbehauptung ist, dass Gradientenabstieg nicht lediglich einen festen Kernel neu skaliert; vielmehr induziert er eine datenadaptive Deformation des Funktionsraums.

• Lernmechanismus: Feature-Learning wird als Transformation charakterisiert, die Richtungen im Funktionsraum, die mit dem Signal in den Daten ausgerichtet sind, bevorzugt verstärkt.
• Abhängigkeit von der Schrittweite: Das Ausmaß dieser Transformation wird durch die Schrittweite moduliert; größere Schritte induzieren stärkere Deformationen und erhöhen den Beitrag sowohl linearer als auch höherer nicht-linearer Features.
• Theoretische Brücke: Die Ergebnisse überbrücken die Lücke zwischen datenadaptiven Kernels und neuronalen Netzen und legen nahe, dass die „Magie" des Feature-Learnings durch die Linse verstanden werden kann, wie die spektrale Struktur des Kernels modifiziert wird, um mit der Zielfunktion übereinzustimmen.

Die Autoren schließen, dass das Verständnis dieser distributionellen Verschiebungen einen potenziellen Weg bietet, frühe Trainingsphasen zu „überspringen", indem Netze direkt mit diesen adaptierten Kernels initialisiert werden, wobei sie dies jedoch als Richtung für zukünftige Forschung und nicht als nachgewiesene Anwendung in der aktuellen Arbeit kennzeichnen.