Label-NTK Alignments and A Tighter Convergence Bound in the NTK Regime

Technisches Fazit: Label-NTK-Ausrichtungen und eine engere Konvergenzschranke im NTK-Regime

Problemstellung
Das Framework des Neural Tangent Kernel (NTK) hat die Optimierung überparametrisierter neuronaler Netze erfolgreich erklärt, indem es die Trainingsdynamiken als annähernd linear charakterisiert. Während bestehende Theorien eine exponentielle Konvergenz zu einem globalen Minimum garantieren, sind diese Garantien im Vergleich zu empirischen Beobachtungen oft übermäßig pessimistisch. Insbesondere hängen klassische Konvergenzraten kritisch vom kleinsten Eigenwert ($\lambda_{\min}$) der NTK-Matrix ab. In realistischen Szenarien ist $\lambda_{\min}$ typischerweise extrem klein, was zu theoretischen Konvergenzschranken führt, die um Größenordnungen langsamer sind als die tatsächlichen Trainingskurven. Darüber hinaus gehen diese Worst-Case-Analysen implizit davon aus, dass der Daten-Label-Vektor mit dem Eigenvektor korrespondierend zu $\lambda_{\min}$ ausgerichtet ist, ein Szenario, das in der Praxis selten eintritt. Dieser Beitrag schließt die Lücke zwischen theoretischen Schranken und praktischen Trainingsdynamiken, indem er untersucht, ob eine engere Konvergenzschranke hergeleitet werden kann, die die spezifische Beziehung zwischen Daten-Labels und dem NTK-Eigenspektrum berücksichtigt.

Methodik
Die Autoren schlagen eine neuartige Analyse vor, die auf der empirischen und theoretischen Beobachtung von „Ausrichtungen" (Alignments) zwischen Datenvektoren (Labels und Residuen) und dem NTK-Eigensystem basiert.

1. Empirische Beobachtung: Durch Experimente mit Multi-Layer Perceptrons (MLPs) und Convolutional Neural Networks (CNNs) über Datensätze wie CIFAR-10 hinweg beobachten die Autoren zwei distinkte Skalierungsgesetze:

   • Label-NTK-Ausrichtung: Die quadratische Projektion des Label-Vektors $y$ auf den $i$-ten Eigenvektor $v_i$ skaliert mit dem Quadrat des entsprechenden Eigenwerts: $(v_i^\top y)^2 \sim \lambda_i^2$.
   • Residual-NTK-Ausrichtung: Die quadratische Projektion des initialen Residuenvektors $r_0 = f(w_0) - y$ auf die Eigenvektoren skaliert linear mit den Eigenwerten: $(v_i^\top r_0)^2 \sim \lambda_i$.
     Diese Beziehungen gelten insbesondere im Regime kleiner Eigenwerte, was darauf hindeutet, dass Labels und Residuen vernachlässigbare Komponenten in Richtungen kleiner Eigenwerte aufweisen.

2. Theoretische Begründung: Die Autoren liefern einen theoretischen Beweis für die Label-NTK-Ausrichtung unter milden Datenannahmen, einschließlich der Einheitslänge der Eingaben, Nicht-Entartung und der Lipschitz-Stetigkeit der Ground-Truth-Daten-Label-Funktion. Durch die Analyse eines Zwei-Punkt-Datensatzes und die Verallgemeinerung auf $n$ Punkte zeigen sie, dass die Lipschitz-Eigenschaft der wahren Funktion den Label-Vektor zwingt, stärker mit größeren Eigenwerten ausgerichtet zu sein, und damit den beobachteten Skalierungsexponenten von 2 präzise vorhersagt.

3. Herleitung neuer Schranken: Unter Ausnutzung der Residual-NTK-Ausrichtung als Bedingung (Bedingung 4.2) leiten die Autoren eine verfeinerte Konvergenzschranke für den Gradientenabstieg ab. Anstatt sich auf $\lambda_{\min}$ zu verlassen, hängt die neue Schranke von der Spur einer Funktion der vollständigen NTK-Matrix ab: $L(w_t) \sim \text{tr}[(I - \eta K)^{2t} K]$.

Hauptbeiträge

• Identifikation von Ausrichtungsphänomenen: Der Beitrag identifiziert und quantifiziert Label-NTK- und Residual-NTK-Ausrichtungen und zeigt, dass Daten-Labels und Residuen natürlicherweise mit den führenden Eigenvektoren des NTK ausgerichtet sind, wodurch die in der früheren Literatur angenommenen Worst-Case-Szenarien effektiv vermieden werden.
• Engere Konvergenztheorie: Die Autoren etablieren einen neuen Konvergenzsatz (Satz 4.5), bei dem der Verlustabfall vom vollständigen Spektrum des NTK und nicht nur vom kleinsten Eigenwert bestimmt wird. Dies führt zu einer Schranke, die, wie in Abbildung 1 demonstriert, eng mit empirischen Trainingskurven übereinstimmt.
• Verbesserte Generalisierungsschranken: Durch die Nutzung der Label-NTK-Ausrichtungs-Eigenschaft leitet der Beitrag verbesserte Generalisierungsschranken für überparametrisierte Netze her und zeigt, dass der Testverlust durch $O(\text{tr}[K]/n)$ nach oben beschränkt ist, was enger ist als frühere Ergebnisse, die von $\lambda_{\min}$ abhängig waren.
• Zeitkomplexitätsanalyse: Der Beitrag liefert eine Zeitkomplexitätsanalyse unter der Annahme eines Potenzgesetz-Abfalls der Eigenwerte und zeigt, dass die Anzahl der Iterationen, die erforderlich ist, um eine Zielverlustgrenze $\epsilon$ zu erreichen, signifikant niedriger ist als die Standard-Schranke $O(\frac{1}{\eta \lambda_{\min}} \log \frac{1}{\epsilon})$.

Ergebnisse

• Empirische Validierung: Experimente mit MLPs und CNNs über mehrere Datensätze hinweg bestätigen, dass die vorgeschlagene theoretische Schranke die tatsächlichen Trainingsverlustkurven deutlich genauer verfolgt als klassische Schranken. Die theoretische Kurve unter Verwendung der spurbasierten Schranke nimmt schnell ab und stimmt mit den empirischen Daten überein, während die klassische Schranke aufgrund des winzigen $\lambda_{\min}$ nahezu flach bleibt.
• Skalierungsgesetze: Die Experimente zeigen konsistent eine lineare Beziehung zwischen $\log((v_i^\top y)^2)$ und $\log(\lambda_i)$ mit einer Steigung von 2 sowie zwischen $\log((v_i^\top r)^2)$ und $\log(\lambda_i)$ mit einer Steigung von 1, was die vorgeschlagenen Skalierungsgesetze validiert.
• Generalisierung: Die abgeleitete Generalisierungsschranke legt nahe, dass der Testverlust mit der Spur des NTK skaliert, was eine günstigere Skalierung als frühere Worst-Case-Analysen bietet.

Bedeutung
Der Beitrag behauptet, dass seine primäre Bedeutung in der Auflösung der Diskrepanz zwischen NTK-basierten theoretischen Vorhersagen und praktischer Trainingsleistung liegt. Indem sie zeigen, dass die Worst-Case-Annahme (Label-Ausrichtung mit $\lambda_{\min}$) aufgrund inhärenter Dateneigenschaften (Lipschitz-Stetigkeit) in der Praxis nicht gilt, liefern die Autoren eine mathematisch rigorose Erklärung für die im Deep Learning beobachtete schnelle Konvergenz. Die Arbeit bietet eine „schärfere" theoretische Linse, die vollständige spektrale Informationen einbezieht und damit die Lücke zwischen idealisierten linearisierten Dynamiken und der beobachteten Effizienz des Gradientenabstiegs in überparametrisierten Regimen schließt. Die Autoren weisen darauf hin, dass ihre Theorie zwar auf das NTK-Regime (ausreichend breite Netze, niedrige Lernraten) beschränkt ist und nicht nichtlineare Feature-Learning-Dynamiken wie den „Edge of Stability" erfasst, sie jedoch eine notwendige Grundlage für das Verständnis der Optimierung im mathematisch am besten handhabbaren verfügbaren Setting bietet.