Résumé technique : Régularisation canonique des réseaux de neurones à apprentissage de caractéristiques larges

Énoncé du problème

Les réseaux de neurones larges opérant dans le régime d'apprentissage de caractéristiques—où le réseau apprend activement des représentations plutôt que de se comporter comme une machine à noyau fixe—sont le moteur de l'apprentissage profond moderne. Cependant, la compréhension théorique de ces réseaux accuse un retard significatif par rapport au régime à noyau (formalisé par le noyau tangent aux réseaux de neurones, NTK). Un écart critique existe concernant la régularisation implicite et l'a priori dans l'espace des fonctions induits par l'entraînement par flot de gradient.

Dans le régime à noyau, il est bien établi que le flot de gradient sélectionne la solution unique minimisant la distance au carré dans l'espace des paramètres par rapport à l'initialisation (ridge ancré, $\|\theta - \theta_0\|^2$). Cette propriété fonde la correspondance Réseau de Neurones–Processus Gaussien (NN-GP), permettant une modélisation du bruit et une quantification de l'incertitude fondées sur des principes. Cependant, les praticiens appliquent souvent par défaut une régularisation par décroissance pondérale standard ($\|\theta\|^2$) ou un ridge ancré aux réseaux en apprentissage de caractéristiques. Cet article soutient que ces régularisateurs sont géométriquement désalignés dans le régime d'apprentissage de caractéristiques, conduisant à un biais « silencieux » qui déforme le biais inductif du réseau, en particulier dans les scénarios d'apprentissage par transfert où les caractéristiques préentraînées sont informatives.

Méthodologie et cadre théorique

Les auteurs développent un cadre géométrique pour caractériser la dynamique de l'espace des paramètres des réseaux surparamétrés satisfaisant une hypothèse de conditionnement uniforme du Jacobien (Hypothèse 2.1). Cette hypothèse postule que le Jacobien $J(\theta)$ possède des valeurs singulières bornées loin de zéro et de l'infini dans un voisinage des solutions d'interpolation.

1. Décomposition géométrique

Les auteurs décomposent l'espace des paramètres $\Theta$ autour d'un interpolateur en trois objets clés :

• Orbite du flot ($O_{flow}$) : L'ensemble de tous les paramètres accessibles par flot de gradient à partir d'une initialisation $\theta_0$. Dans le régime d'apprentissage de caractéristiques, cela peut être un ensemble sous-riemannien de haute dimension.
• Variété de flot fixée par jauge ($M_{flow}(\theta_0)$) : Une sous-variété spécifique de dimension $n$ au sein de l'orbite du flot qui contient la trajectoire réelle du flot de gradient. Elle sert de carte dans l'espace des paramètres pour l'espace des fonctions près de l'interpolateur.
• Fibres de sortie ($\Theta(c)$) : Des directions transverses à la variété du flot où les prédictions d'entraînement $g(\theta)$ restent constantes, mais où les prédictions sur des entrées non vues peuvent changer drastiquement.

2. La pathologie de la régularisation par ridge

L'article démontre que dans le régime d'apprentissage de caractéristiques, la variété de flot $M_{flow}(\theta_0)$ est courbe, contrairement au sous-espace affine du régime à noyau.

• Échec du ridge ancré : Le gradient du ridge ancré, $-2(\theta - \theta_0)$, est une corde euclidienne. Sur une variété courbe, ce gradient acquiert une composante le long des fibres de sortie (orthogonales à la direction du flot).
• Conséquence : À mesure que la force de régularisation $\lambda \to 0$, la solution ne converge pas vers la limite du flot de gradient non régularisé $\theta^*$. Au lieu de cela, le gradient de régularisation tire les paramètres le long des fibres, déformant l'a priori implicite et potentiellement détruisant les biais inductifs utiles appris lors du préentraînement. Ceci est formalisé dans le Théorème 3.1.

3. Déduction axiomatique du régularisateur canonique

Pour résoudre ce problème, les auteurs axiomatisent l'énergie canonique dans l'espace des fonctions comme l'énergie minimale requise en théorie du contrôle pour transporter les sorties du réseau de l'initialisation vers une cible sous la dynamique du flot de gradient.

• Unicité : En imposant les axiomes d'invariance par isométrie et d'additivité orthogonale, ils démontrent que dans le régime à noyau, cette énergie correspond de manière unique à la norme RKHS au carré (récupérant le ridge ancré).
• Généralisation : En relevant cette énergie vers l'espace des paramètres via la Définition 4.3, on obtient le régularisateur Ridge géodésique :
  $$d^2(\theta, \theta_0) = d^2_{flow}(\theta_0, g|^{-1}_{\theta_0}(g(\theta))) + d^2_{fibre}(\theta, g|^{-1}_{\theta_0}(g(\theta)))$$
  Cela mesure la distance géodésique au carré le long de la variété du flot plus la distance géodésique le long de la fibre de sortie.
• A priori implicite : L'a priori correspondant dans l'espace des fonctions est identifié comme un Processus de Gibbs Riemannien, qui généralise le Processus Gaussien NTK aux géométries courbes.

4. Arc Ridge : un substitut pratique

Puisque le calcul des distances géodésiques est intraitable à grande échelle, les auteurs proposent Arc Ridge comme substitut robuste au sens minimax.

• Définition : Arc ridge est la longueur de chemin totale au carré de la trajectoire d'entraînement : $L_2(\gamma) = (\int_0^T \|\dot{\gamma}(t)\| dt)^2$.
• Propriétés : Il majore le ridge géodésique, conserve la propriété « sans biais » le long de la direction réelle du flot de gradient, et est formellement équivalent à l'arrêt précoce sous un flot de gradient exact. Il ne nécessite aucune information d'ordre deux, accumulant uniquement un scalaire unique (longueur du chemin) pendant l'entraînement.

Résultats clés

1. Biais des régularisateurs standards : L'article démontre que tant le ridge standard que le ridge ancré biaisent la limite du flot de gradient dans le régime d'apprentissage de caractéristiques (Théorème 3.1). Ce biais persiste même lorsque la force de régularisation s'annule, provoquant une dérive de la solution le long des fibres de sortie invisibles pour la perte d'entraînement.
2. Ridge géodésique comme solution canonique : Les auteurs dérivent le ridge géodésique comme le régularisateur unique aligné avec la géométrie des réseaux en apprentissage de caractéristiques, garantissant que la limite de régularisation s'annulant récupère la solution du flot de gradient non régularisé (Théorème 4.2).
3. Équivalence Arc Ridge : Il est démontré que l'arc ridge est une majoration serrée et traitable du ridge géodésique. Crucialement, il est prouvé être équivalent à l'arrêt précoce dans la limite du flot de gradient exact (Proposition F.4), fournissant une justification théorique à l'arrêt précoce en tant que technique de régularisation consciente de la géométrie.
4. Validation empirique : Les expériences sur des tâches d'apprentissage par transfert (régression de l'âge sur UTKFace utilisant ResNet18 ; régression de la note de critique sur Yelp utilisant DistilBERT) démontrent que :
   • À des forces de régularisation élevées, le ridge standard et le ridge ancré provoquent une dégradation significative des performances de test due à la destruction de l'a priori préentraîné.
   • L'arc ridge ne se dégrade que légèrement, cohérent avec un sous-entraînement bénin.
   • À des forces de régularisation faibles, toutes les méthodes convergent, car l'arrêt précoce domine le biais.

Signification et revendications

L'article revendique fournir le premier cadre fondé sur des principes pour comprendre et corriger le biais implicite du flot de gradient dans les réseaux larges en apprentissage de caractéristiques. Ses contributions principales sont :

• Insight géométrique : Il identifie la courbure de la variété du flot comme la cause racine de l'échec des régularisateurs basés sur l'espace euclidien (comme le ridge ancré) dans les régimes d'apprentissage de caractéristiques.
• Unification théorique : Il généralise la correspondance NN-GP au régime d'apprentissage de caractéristiques en identifiant le Processus de Gibbs Riemannien comme l'a priori canonique et le ridge géodésique comme le régularisateur canonique.
• Résolution pratique : Il propose l'arc ridge (longueur de chemin au carré) comme une alternative évolutive et robuste au sens minimax, alignée sur la géométrie de l'entraînement. Cela révèle une relation profonde, précédemment non formalisée, entre l'arrêt précoce et la régularisation canonique, suggérant que l'arrêt précoce n'est pas simplement une heuristique mais une stratégie de régularisation préservant la géométrie.

Les auteurs soulignent que, bien que leur théorie suppose un conditionnement uniforme du Jacobien (vérifié empiriquement dans l'Annexe H), l'intuition géométrique explique des phénomènes tels que la dégradation des représentations préentraînées lors du réglage fin et le phénomène de « grokking », offrant une voie vers des stratégies de régularisation plus robustes en apprentissage profond.