🤖 machine learning

Beyond $\ell_2$ -norm and $\ell_\infty$ -norm: A Curvature-Inspired $\ell_p$ -Norm Scheme for Deep Neural Networks

Cet article propose un nouveau schéma d'optimisation de norme $\ell_p$ inspiré par la courbure avec un paramètre $p$ à décroissance dynamique qui passe de la suppression de la dominance de haute courbure à la possibilité de mises à jour stables, aboutissant aux optimiseurs LPSGD et LPSGDM qui atteignent une convergence en $O(T^{-1/2})$ et une généralisation améliorée à travers diverses architectures de réseaux de neurones profonds et jeux de données.

Auteurs originaux : Jianhao Xu, Zhuang Yang

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jianhao Xu, Zhuang Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Naviguer dans un paysage changeant

Imaginez que vous essayiez de guider une charrette lourde en bas d'une montagne pour atteindre le fond d'une vallée (la solution parfaite pour un modèle d'IA). Le terrain de cette montagne est le « paysage de perte » (loss landscape) d'un réseau de neurones profonds (DNN).

Le problème est que la forme de cette montagne change au fur et à mesure de votre voyage :

Au sommet (Début de l'entraînement) : Le terrain est sauvage et accidenté. Certains sentiers sont des falaises incroyablement abruptes (courbure élevée), tandis que d'autres sont des pentes douces et plates (faible courbure).
Au fond (Fin de l'entraînement) : Le terrain s'adoucit. Les falaises disparaissent et le sol devient relativement plat et uniforme.

L'article soutient que les outils que nous utilisons habituellement pour guider la charrette (les optimiseurs) sont coincés en utilisant un seul type de roue, qui fonctionne bien dans une situation, mais échoue dans l'autre.

Le problème : Deux mauvaises roues

Les auteurs expliquent que les méthodes d'entraînement d'IA actuelles reposent généralement sur deux « géométries » (façons de mesurer la distance et la direction) :

La norme $\ell_2$ (La roue standard) :
- Comment elle fonctionne : Elle traite chaque direction de la même manière en fonction de la taille de la poussée.
- Le défaut : Sur le sommet de la montagne accidentée, cette roue reste bloquée. S'il y a une falaise abrupte dans une direction, la roue prend peur et ralentit tout pour éviter la chute. Elle ignore les pentes douces et plates où elle pourrait en fait avancer rapidement. C'est comme conduire une voiture avec des freins sensibles qui se bloquent dès que vous heurtez une bosse, vous empêchant d'accélérer sur les lignes droites.
La norme $\ell_\infty$ (La roue de « signe ») :
- Comment elle fonctionne : Elle ignore totalement la taille de la poussée et ne regarde que la direction (gauche ou droite, haut ou bas). Elle fait des pas de la même taille exacte dans chaque direction.
- Le défaut : Cela fonctionne très bien sur les falaises escarpées car cela ne se soucie pas de la pente ; elle avance simplement de front. Cependant, une fois que vous atteignez le fond plat de la vallée, cette roue devient inutile. Parce qu'elle fait la même grande étape partout, elle commence à faire des va-et-vient (oscillations) et ne peut pas se stabiliser doucement au point le plus bas de la vallée.

La solution : La roue « polymorphe »

Les auteurs proposent une nouvelle méthode appelée programmation de la norme $\ell_p$ ( $\ell_p$ -norm scheduling). Au lieu de choisir une seule roue, ils ont construit une roue polymorphe qui change de forme selon l'endroit où vous vous trouvez sur la montagne.

La stratégie : Ils utilisent un « programme en cosinus » (une courbe lisse, semblable à une onde) pour changer la forme de la roue au fil du temps.
- Les premiers jours (La montagne accidentée) : La roue commence avec une forme qui agit comme la norme $\ell_\infty$ . Elle ignore l'extrême raideur des falaises et traverse le terrain accidenté efficacement, évitant ainsi le problème de « blocage ».
- Les derniers jours (La vallée plate) : À mesure que l'entraînement progresse, elle se transforme progressivement en la forme standard de la norme $\ell_2$ . Maintenant que le sol est plat, elle peut faire des pas précis et doux pour se stabiliser parfaitement au point le plus bas sans rebondir.

Imaginez cela comme les chaussures d'un randonneur :

Au début, il porte des bottes robustes et cloutées pour l'accroche sur les falaises rocheuses et irrégulières et pour continuer à avancer.
Lorsqu'il atteint la prairie plate au fond, il passe à des pantoufles souples et flexibles pour marcher silencieusement et trouver le centre exact du champ sans trébucher.

Comment ils ont prouvé que cela fonctionne

L'article ne se contente pas de deviner ; les auteurs ont fait deux choses :

Preuve mathématique : Ils ont utilisé les mathématiques pour prouver que cette méthode « polymorphe » est garantie de trouver le fond de la vallée à terme, et ils ont calculé exactement la vitesse à laquelle elle y parviendra.
Tests en conditions réelles : Ils ont testé leurs nouveaux optimiseurs (nommés LPSGD et LPSGDM) sur des ensembles de données d'images célèbres (comme CIFAR et ImageNet) en utilisant des modèles d'IA standards (comme ResNet).
- Le résultat : Leur méthode « polymorphe » a systématiquement battu les méthodes standards. Elle a appris plus vite au début et a atteint une précision plus élevée à la fin. Par exemple, lors d'un test, elle a amélioré la précision de près de 2 % par rapport aux meilleures méthodes existantes — ce qui est énorme dans le monde de l'IA.

Résumé

En bref, l'article dit : « N'utilisez pas un seul outil pour tout le travail. »

Entraîner une IA, c'est comme voyager à travers un paysage qui passe d'une montagne accidentée à une plaine plate. Les auteurs ont créé un optimiseur intelligent qui commence par un mode « grimpe-partout » et transite en douceur vers un mode « marche de précision ». Cela permet à l'IA d'apprendre plus vite et de finir avec un modèle plus intelligent et plus précis qu'en utilisant une méthode unique et immuable tout au long du processus.

Résumé technique : Au-delà des normes $\ell_2$ et $\ell_\infty$ : Un schéma de norme $\ell_p$ inspiré par la courbure pour les réseaux de neurones profonds

Énoncé du problème

L'entraînement des réseaux de neurones profonds (DNN) est souvent entravé par l'anisotropie de courbure, un phénomène où le paysage de perte présente des courbures très différentes selon les dimensions des paramètres. L'article identifie que les optimiseurs existants reposent généralement sur des hypothèses géométriques fixes qui ne parviennent pas à s'adapter à la nature dynamique de cette anisotropie pendant l'entraînement :

Les optimiseurs basés sur la norme $\ell_2$ (ex. : SGD) : Ceux-ci sont dominés par les directions à haute courbure. Dans les premières étapes de l'entraînement, où l'anisotropie de courbure est forte (caractérisée par des valeurs propres aberrantes de la matrice Hessienne), les mises à jour basées sur $\ell_2$ restreignent la progression le long des directions plus plates, ce qui ralentit la convergence.
Les optimiseurs basés sur la norme $\ell_\infty$ (ex. : méthodes basées sur le signe comme Lion, signSGD) : Ils mettent à jour les coordonnées avec la même magnitude en se basant sur les signes des gradients. Bien qu'efficaces dans les régions hautement anisotropes, ils ont tendance à provoquer des oscillations dans les régions plates (étapes tardives de l'entraînement) en raison de l'absence de mise à l'échelle de la magnitude.

Des analyses récentes des distributions des valeurs propres de la Hessienne (par exemple, sur ResNet-18 sur CIFAR-10 et ResNet-50 sur ImageNet-1K) révèlent que le paysage de perte évolue d'un état hautement anisotrope et non convexe avec des valeurs propres extrêmes dans les premiers époques, vers une région plus plate, faiblement anisotrope et approximativement convexe dans les époques ultérieures. Le problème central abordé est de savoir si une géométrie de norme fixe unique ( $\ell_2$ ou $\ell_\infty$ ) est suffisante pour l'ensemble du processus d'entraînement, ou si un schéma dynamique est nécessaire pour correspondre à ces structures de courbure évolutives.

Méthodologie

Les auteurs proposent un schéma de norme $\ell_p$ par cosinus qui ajuste dynamiquement le paramètre de norme $p$ tout au long du processus d'entraînement afin de s'aligner sur l'évolution de l'anisotropie de courbure.

1. Motivation théorique

Basé sur le modèle de lissité $\ell_p$ , la direction de mise à jour pour la descente la plus raide dans une géométrie $\ell_p$ implique un facteur d'échelle par coordonnée de $|g^{(i)}|^{p-2}$ .

Lorsque $p=2$ (Euclidien), la mise à jour s'échelle linéairement avec la magnitude du gradient.
Lorsque $p > 2$ , l'échelle devient sous-linéaire ( $\alpha = \frac{1}{p-1} < 1$ ), compressant le déséquilibre directionnel et supprimant la dominance des directions à haute courbure.
À mesure que $p \to \infty$ , la mise à jour approche une forme basée sur le signe ( $\ell_\infty$ ), qui ignore totalement la magnitude.

Les auteurs soutiennent qu'un grand $p$ (par exemple, $p > 2$ ) est bénéfique au début de l'entraînement pour gérer une forte anisotropie, tandis qu'un $p$ plus petit (approchant 2) est préférable dans les phases ultérieures pour assurer des mises à jour stables et raffinées dans les régions plates.

2. Les algorithmes proposés

Le schéma est intégré dans la descente de gradient stochastique (SGD) et la descente de gradient stochastique avec momentum (SGDM) pour créer deux nouveaux optimiseurs : LPSGD et LPSGDM.

Programmation dynamique (Scheduling) : Le paramètre de norme $p_s$ à l'époque $s$ est programmé en utilisant une stratégie d'amortissement par cosinus :
$p_s = 2 + (p_{\max} - 2) \cdot \frac{1 + \cos(\pi \frac{s-1}{S-1})}{2}$
où $p_{\max} \geq 2$ est la valeur maximale initiale, et $S$ est le nombre total d'époques. Le programme commence à $p_{\max}$ et décroît de manière fluide vers 2.
Règle de mise à jour : Pour un gradient stochastique $g_t$ (ou un tampon de momentum $m_t$ dans LPSGDM), la direction de mise à jour $u_t$ est calculée via une application de mise à l'échelle non linéaire :
$u_t = \frac{g_t}{(|g_t| + \epsilon)^{\rho_s}}$
où $\rho_s = \frac{p_s - 2}{p_s - 1}$ et $\epsilon$ est une constante de stabilité. Les paramètres sont ensuite mis à jour via $\theta_{t+1} = \theta_t - \eta u_t$ (avec l'ajout de la décroissance des poids pour LPSGDM).

3. Analyse de convergence

L'article fournit des garanties théoriques pour l'optimisation stochastique non convexe :

Sous des hypothèses standards ( $\ell_p$ -lissité, gradients non biaisés, bruit borné), les auteurs prouvent que LPSGD et LPSGDM atteignent un taux de convergence de $O(T^{-1/2})$ pour la norme du gradient au carré attendue, où $T$ est le nombre d'itérations.
L'analyse repose sur l'établissement d'un alignement conditionnel et de moments seconds bornés pour les directions de mise à jour transformées.

Principales contributions

Caractérisation de l'évolution de la courbure : Ce travail caractérise empiriquement l'évolution des distributions de valeurs propres de la Hessienne pendant l'entraînement des DNN, soulignant le passage d'une forte anisotropie à une faible anisotropie.
Schéma de norme $\ell_p$ par cosinus : Une stratégie de programmation novatrice qui fait passer la géométrie de l'optimiseur d'une norme de haut degré $p$ (supprimant la dominance des valeurs aberrantes de courbure) à la norme euclidienne (assurant la stabilité dans les régions plates) avec un surcoût de calcul négligeable.
Nouveaux optimiseurs (LPSGD/LPSGDM) : L'intégration de ce schéma dans les méthodes standard de premier ordre, résultant en des algorithmes qui surpassent les bases de référence existantes.
Garanties théoriques : Preuve rigoureuse du taux de convergence $O(T^{-1/2})$ pour les algorithmes proposés dans des contextes non convexes.

Résultats expérimentaux

Des expériences approfondies ont été menées sur des jeux de données de référence (CIFAR-10, CIFAR-100, ImageNet-1K) en utilisant diverses architectures (VGG-11, ResNet-18, ResNet-50). Les méthodes proposées ont été comparées à SGD avec Momentum, AdamW et Lion.

CIFAR-10 : LPSGDM a systématiquement atteint la précision Top-1 la plus élevée sur tous les modèles et points de contrôle. Par exemple, sur ResNet-18, il a atteint une précision de 94,81 % à 200 époques, surpassant SGD (93,15 %), AdamW (94,09 %) et Lion (94,04 %).
CIFAR-100 : L'écart de performance s'est creusé dans ce contexte plus difficile. LPSGDM a atteint 77,98 % sur ResNet-18 et 76,78 % sur ResNet-50, surpassant de manière significative les bases de référence (par exemple, +1,87 % par rapport à la meilleure base de référence sur ResNet-50).
ImageNet-1K : Sur ResNet-50, LPSGDM a surpassé toutes les bases de référence dans les phases moyennes et tardives de l'entraînement, atteignant 74,04 % de précision Top-1 à l'époque 60, soit une amélioration de 2,25 points de pourcentage par rapport à AdamW.
Généralisation : Notamment, LPSGDM a souvent obtenu une précision de test plus élevée même lorsque la Négative Log-Likelihood (NLL) d'entraînement n'était pas la plus basse, suggérant que la méthode améliore la qualité de généralisation de la solution plutôt que de simplement minimiser la perte d'entraînement.

Signification et affirmations

L'article affirme que le schéma de norme $\ell_p$ par cosinus proposé répond efficacement à la limitation des optimiseurs à norme fixe en s'adaptant aux changements géométriques intrinsèques des paysages de perte des DNN. En supprimant dynamiquement la dominance des directions à haute courbure au début de l'entraînement et en passant à des mises à jour euclidiennes stables plus tard, la méthode atteint une performance de généralisation supérieure. Les auteurs soulignent que cette approche nécessite uniquement des informations de premier ordre et ajoute un coût de calcul minimal (redimensionnement élément par élément), ce qui en fait une amélioration pratique et scalable des cadres d'optimisation existants. Le taux de convergence théorique de $O(T^{-1/2})$ confirme que ces gains empiriques sont soutenus par une analyse mathématique rigoureuse.