Label-NTK Alignments and A Tighter Convergence Bound in the NTK Regime

Résumé technique : Alignements Label-NTK et une borne de convergence plus serrée dans le régime NTK

Énoncé du problème
Le cadre du Noyau Tangent Neuronal (NTK) a permis d'expliquer avec succès l'optimisation des réseaux de neurones sur-paramétrés en caractérisant la dynamique d'entraînement comme étant approximativement linéaire. Bien que les théories existantes garantissent une convergence exponentielle vers un minimum global, ces garanties sont souvent excessivement pessimistes par rapport aux observations empiriques. Plus précisément, les taux de convergence classiques dépendent de manière critique de la plus petite valeur propre ($\lambda_{\min}$) de la matrice NTK. Dans des contextes réalistes, $\lambda_{\min}$ est typiquement extrêmement petit, conduisant à des bornes de convergence théoriques qui sont plusieurs ordres de grandeur plus lentes que les courbes d'entraînement réelles. De plus, ces analyses du pire cas supposent implicitement que le vecteur d'étiquettes des données s'aligne avec le vecteur propre correspondant à $\lambda_{\min}$, un scénario qui se produit rarement en pratique. Cet article comble l'écart entre les bornes théoriques et la dynamique d'entraînement pratique en investiguant si une borne de convergence plus serrée peut être dérivée, tenant compte de la relation spécifique entre les étiquettes des données et le spectre propre du NTK.

Méthodologie
Les auteurs proposent une analyse novatrice basée sur l'observation empirique et théorique des « alignements » entre les vecteurs de données (étiquettes et résidus) et le système propre du NTK.

1. Observation empirique : Grâce à des expériences sur des Perceptrons Multicouches (MLP) et des Réseaux de Neurones Convolutifs (CNN) sur des jeux de données tels que CIFAR-10, les auteurs observent deux lois d'échelle distinctes :

   • Alignement Label-NTK : La projection au carré du vecteur d'étiquettes $y$ sur le $i$-ème vecteur propre $v_i$ évolue proportionnellement au carré de la valeur propre correspondante : $(v_i^\top y)^2 \sim \lambda_i^2$.
   • Alignement Résidu-NTK : La projection au carré du vecteur de résidu initial $r_0 = f(w_0) - y$ sur les vecteurs propres évolue linéairement avec les valeurs propres : $(v_i^\top r_0)^2 \sim \lambda_i$.
     Ces relations valident particulièrement dans le régime des petites valeurs propres, indiquant que les étiquettes et les résidus ont des composantes négligeables dans les directions des petites valeurs propres.

2. Justification théorique : Les auteurs fournissent une preuve théorique de l'alignement Label-NTK sous des hypothèses de données légères, incluant une longueur d'entrée unitaire, une non-dégénérescence et la continuité de Lipschitz de la fonction vérité terrain données-étiquettes. En analysant un jeu de données à deux points et en généralisant à $n$ points, ils démontrent que la propriété de Lipschitz de la fonction vraie force le vecteur d'étiquettes à s'aligner plus fortement avec les plus grandes valeurs propres, prédissant exactement l'exposant d'échelle observé de 2.

3. Déduction de nouvelles bornes : En exploitant l'alignement Résidu-NTK comme condition (Condition 4.2), les auteurs dérivent une borne de convergence affinée pour la descente de gradient. Au lieu de reposer sur $\lambda_{\min}$, la nouvelle borne dépend de la trace d'une fonction de la matrice NTK complète : $L(w_t) \sim \text{tr}[(I - \eta K)^{2t} K]$.

Contributions clés

• Identification des phénomènes d'alignement : L'article identifie et quantifie les alignements Label-NTK et Résidu-NTK, montrant que les étiquettes de données et les résidus sont naturellement alignés avec les principaux vecteurs propres du NTK, évitant ainsi efficacement les scénarios du pire cas supposés dans la littérature antérieure.
• Théorie de convergence plus serrée : Les auteurs établissent un nouveau théorème de convergence (Théorème 4.5) où la décroissance de la perte est régie par le spectre complet du NTK plutôt que par la seule plus petite valeur propre. Cela se traduit par une borne qui correspond étroitement aux courbes d'entraînement empiriques, comme démontré dans la Figure 1.
• Bornes de généralisation améliorées : En utilisant la propriété d'alignement Label-NTK, l'article dérive des bornes de généralisation améliorées pour les réseaux sur-paramétrés, montrant que la perte de test est majorée par $O(\text{tr}[K]/n)$, ce qui est plus serré que les résultats précédents dépendant de $\lambda_{\min}$.
• Analyse de la complexité temporelle : L'article fournit une analyse de la complexité temporelle sous l'hypothèse d'une décroissance des valeurs propres en loi de puissance, montrant que le nombre d'itérations nécessaire pour atteindre une perte cible $\epsilon$ est significativement inférieur à la borne standard $O(\frac{1}{\eta \lambda_{\min}} \log \frac{1}{\epsilon})$.

Résultats

• Validation empirique : Les expériences sur des MLP et des CNN à travers plusieurs jeux de données confirment que la borne théorique proposée suit les courbes de perte d'entraînement réelles beaucoup plus précisément que les bornes classiques. La courbe théorique utilisant la borne basée sur la trace décroît rapidement, correspondant aux données empiriques, tandis que la borne classique reste presque plate en raison du $\lambda_{\min}$ minuscule.
• Lois d'échelle : Les expériences montrent systématiquement une relation linéaire entre $\log((v_i^\top y)^2)$ et $\log(\lambda_i)$ avec une pente de 2, et entre $\log((v_i^\top r)^2)$ et $\log(\lambda_i)$ avec une pente de 1, validant les lois d'échelle proposées.
• Généralisation : La borne de généralisation dérivée suggère que la perte de test évolue avec la trace du NTK, offrant une échelle plus favorable que les analyses du pire cas précédentes.

Signification
L'article affirme que sa signification principale réside dans la résolution de la divergence entre les prédictions théoriques basées sur le NTK et la performance d'entraînement pratique. En démontrant que l'hypothèse du pire cas (alignement des étiquettes avec $\lambda_{\min}$) ne tient pas en pratique en raison des propriétés inhérentes des données (continuité de Lipschitz), les auteurs fournissent une explication mathématiquement rigoureuse de la convergence rapide observée en apprentissage profond. Le travail offre une « lentille » théorique plus précise qui intègre l'information spectrale complète, comblant ainsi l'écart entre la dynamique linéarisée idéalisée et l'efficacité observée de la descente de gradient dans les régimes sur-paramétrés. Les auteurs notent que, bien que leur théorie soit limitée au régime NTK (réseaux suffisamment larges, taux d'apprentissage faibles) et ne capture pas les dynamiques d'apprentissage de caractéristiques non linéaires comme le « bord de la stabilité », elle fournit une base nécessaire pour comprendre l'optimisation dans le cadre mathématiquement le plus traitable disponible.