Résumé Technique : Minimisation de la Netteté Adaptative avec un Pas de type Polyak

Énoncé du Problème

La minimisation de la netteté (Sharpness-Aware Minimization ou SAM) et ses variantes, telles que l'Unnormalized SAM (USAM), sont devenues des optimiseurs de premier plan pour améliorer la généralisation des réseaux de neurones profonds (DNN) en minimisant la netteté du paysage de perte. Cependant, une limitation pratique significative de ces méthodes est leur haute sensibilité au choix du taux d'apprentissage. Comme la plupart des algorithmes d'entraînement, les variantes de SAM nécessitent généralement un réglage intensif des hyperparamètres ou l'utilisation de planificateurs prédéfinis (par exemple, le recuit cosinus - cosine annealing) pour atteindre une performance optimale. Cette dépendance au réglage manuel est coûteuse et chronophage.

Les auteurs abordent le défi de concevoir des variantes de SAM qui ne nécessitent pas de réglage manuel du taux d'apprentissage. Ils étudient spécifiquement l'applicabilité des pas de taille stochastiques de type Polyak — récemment démontrés comme étant très efficaces pour la descente de gradient stochastique (SGD) — au cadre de l'optimisation sensible à la netteté.

Méthodologie

Le papier propose une nouvelle classe de planificateurs adaptatifs pour USAM (et par extension SAM) dérivés du pas de taille classique de Polyak. La méthodologie centrale implique :

1. Dérivation de Pas de Taille Adaptatifs :

   • Cadre Déterministe : En partant de la règle de mise à jour USAM, les auteurs dérivent un pas de taille en forme fermée en minimisant une borne supérieure sur la distance au carré à l'optimum ($\|x_{t+1} - x^*\|^2$). Cela produit un pas de taille $\gamma_t$ qui dépend de la perte au point perturbé $f(e_t)$, de la valeur optimale $f^*$, du gradient au point perturbé, et du rayon de netteté $\rho_t$.
   • Cadre Stochastique : La dérivation déterministe est étendue au cadre de somme finie (mini-lots). Le Planificateur Polyak Stochastique proposé remplace les quantités de lot complet par des estimations de mini-lots ($f_{S_t}$, $\nabla f_{S_t}$) et inclut une borne inférieure $\ell^*_{S_t}$ (souvent 0 pour les pertes non négatives) ainsi qu'un plafonnement $\gamma_b$ pour assurer la stabilité.
   • Normalisation : Bien que le développement théorique principal se concentre sur USAM (non normalisé), les auteurs adaptent la même logique à la mise à jour SAM normalisée, en conservant une sécurité (ReLU) pour garantir la non-négativité, car la garantie théorique de non-négativité pour USAM ne se transfère pas directement au cas normalisé.

2. Cadre Théorique :

   • L'analyse suppose les conditions standard de lissé ($L$-smooth) et de convexité (ou $\mu$-forte convexité).
   • Les auteurs établissent que lorsque le rayon de netteté $\rho_t$ est suffisamment petit (spécifiquement $\rho_t \leq 1/L$), les pas de taille dérivés sont naturellement non négatifs, rendant la sécurité ReLU redondante dans le régime convexe déterministe.
   • Le cadre unifie les méthodes de gradient standard et les méthodes sensibles à la netteté : fixer $\rho_t = 0$ permet de retrouver le pas de taille classique de Polyak pour la GD et son analogue stochastique (SPS$_{max}$).

Contributions Clés

1. Nouveaux Planificateurs Adaptatifs : Le papier introduit les premiers pas de taille de type Polyak conçus spécifiquement pour les mises à jour de style SAM. Ces planificateurs sont entièrement adaptatifs, ne nécessitant aucun réglage manuel du taux d'apprentissage, et reposent uniquement sur des quantités disponibles à l'itération actuelle (perte et gradient au point perturbé).
2. Garanties de Convergence Déterministes :
   • Pour les objectifs $\mu$-fortement convexes, les auteurs prouvent une convergence linéaire dans la distance au carré ($\|x_t - x^*\|^2$). Le taux correspond au taux connu pour la GD avec le pas de taille de Polyak, avec un facteur de contraction quantifiant explicitement l'effet du rayon de netteté.
   • Pour les objectifs convexes, ils prouvent un taux de convergence sous-linéaire $O(1/T)$ pour la valeur de la fonction.
   • Ils montrent qu'avec un programme de rayon non croissant ($\rho_t \to 0$), la méthode conduit la norme du gradient vers zéro.
3. Garanties de Convergence Stochastiques :
   • Dans le cadre stochastique, la méthode converge vers un voisinage de l'optimum. La taille de ce voisinage est quantifiée par une mesure de variance ($\sigma^2$) liée aux bornes inférieures des mini-lots.
   • Crucialement, ces garanties tiennent sans les hypothèses supplémentaires couramment requises dans les analyses SAM adaptatives antérieures, telles que des gradients bornés, une variance bornée ou des conditions de croissance.
   • Dans les régimes d'interpolation (où $\sigma^2 = 0$, courant dans les modèles sur-paramétrés), le voisinage disparaît et la méthode converge linéairement vers l'optimum.
   • L'analyse fournit également une garantie de convergence pour l'USAM à pas de taille constant dans le régime stochastique, montant qu'il permet des pas de taille strictement plus grands que les travaux précédents.
4. Validation Empirique :
   • Expériences Synthétiques : Sur des problèmes de régression ridge, les planificateurs proposés exhibent les tendances de convergence linéaire prédites et surpassent ou égalent les bases à pas constant réglées et les autres variantes récentes de SAM adaptatif (ex: AdaSAM, LightSAM).
   • Benchmarks de Deep Learning : Les expériences sur CIFAR-10 et CIFAR-100 utilisant des architectures ResNet démontrent que le Planificateur Polyak Stochastique atteint une précision de test comparable ou supérieure à des taux d'apprentissage constants soigneusement réglés et au recuit cosinus. Notamment, le planificateur proposé maintient des performances robustes à mesure que le rayon de netteté $\rho$ augmente, là où le recuit cosinusur de la dégradation significative de la précision.

Résultats et Signification

Le papier affirme que les planificateurs Polyak proposés offrent une approche fondée sur des principes pour réduire la charge de réglage du taux d'apprentissage dans les méthodes de type SAM.

• Performance : Les expériences numériques indiquent que les planificateurs adaptatifs atteignent des performances comparables ou supérieures aux bases réglées tout en réduisant substantiellement le besoin de recherche d'hyperparamètres.
• Robustesse : La méthode s'avère robuste au choix du rayon de netteté $\rho$, un paramètre qui nécessite souvent un réglage minutieux dans les implémentations SAM standards.
• Avancée Théorique : Ce travail fournit la première théorie de convergence pour l'USAM adaptatif basé sur les pas de taille de type Polyak. Il comble le fossé entre la compréhension théorique des pas de taille de Polyak dans la SGD et leur application à l'optimisation sensible à la netteté, offrant des garanties plus fortes (moins d'hypothèses) que la littérature existante sur le SAM adaptatif.

Les auteurs concluent que bien que leur théorie se concentre sur les contextes convexes, le succès pratique sur les benchmarks de deep learning (non-convexes) suggère une large applicabilité. Ils identifient l'extension de leur analyse aux objectifs non-convexes (ex: condition PL) et le développement de stratégies fondées sur des principes pour planifier le rayon de netteté $\rho_t$ comme des directions futures importantes.