Characterizing Optimizer-Dependent Training Dynamics Through Hessian Eigenvector Displacement and Localization

Résumé Technique : Caractérisation de la dynamique d'entraînement dépendante de l'optimiseur à travers le déplacement et la localisation des vecteurs propres de la Hessienne

Énoncé du Problème
Comprendre l'entraînement des réseaux de neurones reste un défi en raison de la nature de haute dimension et non convexe du paysage de perte. Bien que la matrice de la Hessienne (la matrice des dérivées secondes de la perte par rapport aux paramètres) soit un outil standard pour analyser la dynamique d'entraînement, la généralisation ou la netteté (sharpness), la plupart des travaux antérieurs se concentrent sur les valeurs propres de la Hessienne (l'amplitude de la courbure) ou sur la stabilité de l'espace propre des $k$ premières valeurs de manière globale. Une lacune critique existe dans la compréhension de l'évolution des vecteurs propres individuels de la Hessienne, qui encodent les directions spécifiques de courbure dans l'espace des paramètres. Il n'est pas clair si ces vecteurs propres se stabilisent, dérivent ou se réorganisent lors de l'entraînement par mini-lots, et si différents optimiseurs induisent des trajectoires géométriques qualitativement distinctes à travers le paysage de perte.

Méthodologie
Les auteurs étudient l'évolution temporelle des vecteurs propres principaux de la Hessienne, $\{v^{(i)}(t)\}$, pendant l'entraînement de perceptrons multicouches (MLP) sur les jeux de données MNIST et FashionMNIST. L'étude compare trois optimiseurs : la descente de gradient stochastique (SGD), Adam et la minimisation de la netteté consciente (SAM - Sharpness-Aware Minimization).

Pour quantifier la dynamique des vecteurs propres, l'article emploie deux mesures complémentaires :

1. Déplacement du vecteur propre : Inspirée des analyses de systèmes vitreux, cette métrique mesure la distance euclidienne au carré entre un vecteur propre à un temps de départ $t_w$ et son état après un temps d'attente $t$. Cela agit comme une fonction de corrélation à deux temps pour distinguer les dynamiques stationnaires des comportements de « vieillissement » (où le taux de changement dépend de l'âge de l'entraînement). Un modèle nul aléatoire, basé sur la Hessienne attendue sous une initialisation de paramètres aléatoires, sert de référence pour une décorrélation complète.
2. Ratio de participation inverse (IPR) : Cette métrique quantifie la localisation de la masse du vecteur propre. Une valeur d'IPR proche de $1/N$ (où $N$ est le nombre de paramètres) indique une délocalisation (répartition uniforme), tandis que des valeurs proches de $O(1)$ indiquent une localisation (concentration sur un petit sous-ensemble de paramètres). Dans ce contexte, l'IPR mesure comment la sensibilité à la courbure est distribuée à travers les poids du réseau.

Les expériences utilisent un MLP entièrement connecté à 3 couches entraîné avec des mini-lots. La Hessienne est évaluée sur l'ensemble des données à intervalles réguliers, et les vecteurs propres sont calculés via l'itération de Lanczos en utilisant des produits Hessienne-vecteur pour éviter de former la matrice complète.

Résultats Clés
L'étude révèle des comportements clairs, dépendants de l'optimiseur, tant pour le déplacement que pour la dynamique de localisation :

• Déplacement et Stabilité :

  • SGD : Présente un comportement de « vieillissement » où le premier vecteur propre ($v^{(1)}$) change rapidement au début, puis se stabilise progressivement. Le déplacement sature en dessous de la référence aléatoire, indiquant que le SGD conduit à des directions de courbure de plus en plus stables.
  • Adam : Montre une réorganisation nettement plus forte. Le déplacement du vecteur propre s'aplatit près de la référence aléatoire, suggérant une décorrélation quasi complète et un décalage persistant des directions de courbure principales tout au long de l'entraînement.
  • SAM : Présente un comportement intermédiaire avec une dérive plus lente mais persistante par rapport au SGD.
  • Ces dynamiques sont robustes aux variations de la taille des lots et du taux d'apprentissage, sauf dans le régime de lot complet (full-batch).

• Localisation (IPR) :

  • Adam : Induit un phénomène de localisation marqué où le premier vecteur propre se concentre sur un petit sous-ensemble de paramètres (IPR $\approx 0,1$). Cela suggère que sous Adam, un petit sous-ensemble de poids contribue de manière disproportionnée aux directions de courbure principales.
  • SGD : Montre une tendance à la délocalisation, avec des valeurs d'IPR diminuant vers la référence uniforme ($1/N$), indiquant que la sensibilité à la courbure se répartit plus uniformément entre les paramètres.
  • SAM : Présente une localisation légèrement plus élevée que le SGD, tout en maintenant une faible variance entre les exécutions.

• Alignement : L'article note que bien que les gradients s'alignent généralement avec les vecteurs propres supérieurs, l'alignement des mises à jour d'Adam reste faible (inférieur à 0,1), probablement en raison de son paramètre de momentum, alors que les mises à jour de SGD et SAM s'alignent plus étroitement avec le gradient.

Signification et Revendications
L'article affirme que le suivi de la dynamique des vecteurs propres de la Hessienne capture des différences clés dans le comportement des optimiseurs qui ne sont pas visibles par l'analyse spectrale seule. La principale signification réside dans la démonstration que :

1. Le choix de l'optimiseur dicte la géométrie : Les différents optimiseurs ne se contentent pas de traverser le même paysage à des vitesses différentes ; ils induisent des formes d'exploration du paysage qualitativement distinctes. Le SGD stabilise les directions de courbure, tandis qu'Adam les réorganise continuellement.
2. La localisation comme statistique stable : Malgré le mélange des vecteurs propres sous Adam, l'IPR reste une statistique stable tout au long de l'entraînement. Cela suggère que même si les directions spécifiques de courbure pivotent, la nature de la courbure (qu'elle soit pilotée par quelques paramètres ou distribuée) reste cohérente pour un optimiseur donné.
3. Implications pour l'analyse : Ces résultats suggèrent que les instabilités des vecteurs propres peuvent faciliter l'optimisation en permettant l'exploration de nouvelles régions du paysage de perte. De plus, la localisation observée sous Adam peut avoir des implications pratiques pour l'élagage (pruning) ciblé et la quantification de l'incertitude, car elle identifie des sous-ensembles spécifiques de poids qui dominent les directions les plus convexes.

Les auteurs concluent que ces dynamiques sont robustes aux variations d'hyperparamètres (dans les régimes de mini-lots) et que les travaux futurs pourraient exploiter ces observations pour améliorer la dynamique des optimiseurs et tirer parti de la redondance des paramètres.