Résumé Technique : Platitude et Généralisation dans les Modèles Multi-Indices avec des Réseaux de Neurones Homogènes

1. Énoncé du Problème et Motivation

L'article traite de l'heuristique de longue date dans l'apprentissage profond selon laquelle « les interpolateurs plats généralisent bien », où la platitude est typiquement mesurée par la trace de la Hessienne de la perte empirique. Bien que des preuves empiriques suggèrent une corrélation entre la platitude et la généralisation, des contre-exemples théoriques existent. Spécifiquement, Dinh et al. (2017) ont démontré que pour les réseaux de neurones dotés d'activations homogènes, les symétries de mise à l'échelle (rescaling symmetries) permettent de rendre n'importe quel interpolateur arbitrairement aigu ou plat sans changer sa relation entrée-sortie ou sa perte de population/empirique. Cela rend l'affirmation générale « les interpolateurs plats généralisent » vacue, car des interpolateurs « mauvais » (ceux ayant une perte de population élevée) peuvent théoriquement être rendus plats via la symétrie.

Les auteurs étudient si un lien significatif entre platitude et généralisation peut être restauré en se concentrant sur les interpolateurs les plus plats — ceux qui atteignent la platité minimale par ordre de grandeur parmi tous les interpolateurs. L'étude se concentre sur l'apprentissage de modèles multi-indices inconnus à l'aide de réseaux de neurones homogènes à 2 couches. Les questions spécifiques posées sont :

1. Existe-t-il des interpolateurs « mauvais » qui ne peuvent pas être rendus les plus plats en utilisant les symétries ?
2. Tous les interpolateurs les plus plats généralisent-ils ?

2. Méthodologie et Configuration

Modèle et Données

• Distribution des Données : Les étiquettes réelles $y$ sont générées à partir d'un modèle multi-indice : $y = \sigma^\star(\Theta^\star x) + \xi$, où $x \sim \mathcal{N}(0, I_d)$, $\Theta^\star \in \mathbb{R}^{m^\star \times d}$ est une matrice orthonormée définissant les directions réelles, $\sigma^\star$ est une fonction de lien inconnue, et $\xi$ est le bruit d'étiquette. Le cadre inclut des modèles à indice unique ($m^\star=1$) et des sommes de modèles à indice unique.
• Réseau de Neurones : Un réseau à 2 couches avec $m$ neurones cachés, une activation homogène $\sigma$, et des poids $w = (a, \{\theta_j\}_{j=1}^m)$. La sortie est $h(w, x) = \sum_{j=1}^m a_j \sigma(\langle \theta_j, x \rangle)$.
• Surparamétrage : Le cadre suppose $m \ge n$ (nombre de neurones $\ge$ nombre d'échantillons), garantissant l'existence d'interpolateurs ($F_S(w) = 0$).
• Symétrie : Le réseau utilise des activations $c$-homogènes (ex: ReLU, LeakyReLU, Quadratique), satisfaisant $\sigma(\alpha b) = \alpha^c \sigma(b)$. Cela induit une symétrie de mise à l'échelle : les poids peuvent être transformés comme $a_j \to \alpha_j^{-c} a_j$ et $\theta_j \to \alpha_j \theta_j$ sans changer la sortie du modèle.

Définition de la Platitude

La platitude est définie comme la trace de la Hessienne de la perte empirique, $\text{Tr}(\nabla^2 F_S(w))$. En raison de la symétrie de mise à l'échelle, la platitude d'un interpolateur $w$ peut être minimisée en optimisant les facteurs de mise à l'échelle $\{\alpha_j\}$. Les auteurs définissent $\Upsilon(w)$ comme la platitude minimale réalisable au sein de la classe d'équivalence de $w$ sous mise à l'échelle.

Outils Techniques Clés

• Dualité Convexe : Utilisée pour dériver des bornes inférieures sur la platitude $\Upsilon(w)$ en la reliant à la norme $\ell_p$ des poids de la couche externe $a$ (où $p = \frac{2c}{c+1}$).
• Concentration de la Mesure : Utilisée pour borner les valeurs propres de la matrice d'activation $U$ et le comportement des variables aléatoires de type Sub-Weibull (issues des fonctions de lien et des activations).
• Inégalité de Hanson-Wright : Appliquée pour analyser les formes quadratiques de variables Sub-Weibull afin de borner la perte de population et la platitude.

3. Contributions Clés et Résultats

Contribution 1 : Les Mauvais Interpolateurs ne Peuvent pas Être les Plus Plats

L'article caractérise une classe de « mauvais » interpolateurs où les poids de la couche interne $\{\theta_j\}$ sont désalignés avec les directions réelles $\Theta^\star$ (spécifiquement, l'espace engendré par $\{\theta_j\}$ a une faible corrélation avec l'espace engendré par $\Theta^\star$).

• Théorèmes 1 & 2 : Les auteurs prouvent que pour ces mauvais interpolateurs, même après application de la symétrie de mise à l'échelle optimale, leur platitude minimale $\Upsilon(w)$ est strictement supérieure à la platité minimale globale $\Upsilon^\star$.
• Écart Quantitatif : Spécifiquement, $\Upsilon(w) \gtrsim n^{\frac{c}{c+1}} \Upsilon^\star$. Puisque $n \ge 1$, cela implique que les mauvais interpolateurs sont intrinsèquement plus « aigus » que les plus plats possibles.
• Implication : Cela établit une condition nécessaire pour l'affirmation « les interpolateurs plats généralisent » : la symétrie ne peut pas aplatir arbitrairement tous les mauvais interpolateurs. Il existe une barrière fondamentale empêchant certains mauvais interpolateurs d'atteindre la platité minimale.

Contribution 2 : Les Interpolateurs les Plus Plats Généralisent

L'article fournit des conditions suffisantes sous lesquelles l'ensemble des interpolateurs les plus plats (ceux atteignant $\Upsilon(w) \approx \Upsilon^\star$) est constitué entièrement de modèles qui généralisent.

• Hypothèses : Le résultat nécessite une faible erreur d'approximation (la fonction de lien $\sigma^\star$ est bien approximée par l'architecture du réseau) et un faible bruit d'étiquette.
• Théorème 3 : Sous ces conditions, tout interpolateur $w$ qui atteint la platité minimale (à une constante près) satisfait une faible perte de population : $F(w) - F^\star \lesssim n^{-\min\{1/2, \epsilon_1, \epsilon_2\}}$.
• Mécanisme : La condition pour atteindre la platité minimale impose une contrainte sur les poids de la couche externe $a$, spécifiquement $\|a\|_\infty \approx O(m^{-1})$. Cette propriété de « balancement » force implicitement le réseau à s'aligner avec la structure réelle du signal, assurant ainsi la généralisation sans exiger explicitement que l'algorithme d'entraînement trouve les directions réelles.

4. Vérification Expérimentale

Les auteurs vérifient empiriquement leurs découvertes théoriques en utilisant des données synthétiques pour des modèles à indice unique et des sommes d'indices uniques avec diverses activations (ReLU, LeakyReLU, Quadratique).

• Configuration : Ils construisent des interpolateurs avec divers degrés d'alignement ($\rho^\star$) entre les poids internes et les directions réelles. Ils résolvent un problème d'optimisation convexe pour trouver les poids externes $a$ qui minimisent la platité pour des poids internes fixes.
• Résultats :
  • Pour les modèles de Somme d'Indices Uniques, une forte corrélation est observée : les interpolateurs présentant une faible platité présentent systématiquement une faible perte de population, quel que soit la fonction d'activation.
  • Pour les modèles à Indice Unique avec ReLU, la connexion est plus faible en raison de problèmes de conditionnement, mais les solutions les plus plates tendent tout de même à généraliser.
  • Cas Particuliers : Les expériences confirment que lorsque l'erreur d'approximation est élevée (par exemple, apprendre une fonction multi-indice complexe avec un réseau à 2 couches qui ne peut pas la représenter), l'interpolateur le plus plat échoue à généraliser, ce qui est cohérent avec la nécessité théorique d'une faible erreur d'approximation.

5. Signification et Revendications

L'article affirme établir un lien direct entre platitude et généralisation en présence de symétries de mise à l'échelle, un contexte où les affirmations générales précédentes ont été réfutées.

• Raffinement de l'Heuristique : Les auteurs soutiennent que l'heuristique originale « les interpolateurs plats généralisent » est imprécise. Au lieu de cela, l'énoncé correct est : « Les interpolateurs les plus plats généralisent. »
• Résolution du Paradoxe de la Symétrie : Ils résolvent le paradoxe posé par Dinh et al. (2017) en montendant que si la symétrie peut rendre certains mauvais interpolateurs plus plats, elle ne peut pas rendre tous les mauvais interpolateurs les plus plats. L'ensemble des minimiseurs globaux de la platité exclut une classe spécifique de mauvais interpolateurs.
• Portée : Les résultats s'appliquent à une large classe d'activations homogènes (incluant ReLU et Quadratique) et à des distributions de données réalistes (caractéristiques gaussiennes, modèles multi-indices), allant au-delà des contre-exemples spécifiques trouvés dans la littérature antérieure (ex: distributions discrètes ou problèmes XOR spécifiques).

L'article conclut que bien que les méthodes basées sur le gradient ne soient pas explicitement analysées pour la convergence vers ces minima de platité, le paysage théorique suggère que si de tels minima sont atteints, ils possèdent de fortes propriétés de généralisation. Le travail souligne l'importance de considérer le minimum global de la platité plutôt que simplement la platité locale ou arbitraire.