🤖 machine learning

Fix the Loss, Not the Radius: Rethinking the Adversarial Perturbation of Sharpness-Aware Minimization

L'article propose Loss-Equated SAM (LE-SAM), une méthode d'optimisation novatrice qui remplace le rayon fixe de l'espace des paramètres de la Minimisation de la Sensibilité par un budget fixe de l'espace de la perte afin de mieux s'aligner sur la nature basée sur la courbure des minima plats, atteignant ainsi des performances de généralisation de l'état de l'art sur divers benchmarks.

Auteurs originaux : Jinping Wang, Qinhan Liu, Zhiwu Xie, Zhiqiang Gao

Publié 2026-05-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jinping Wang, Qinhan Liu, Zhiwu Xie, Zhiqiang Gao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Vue d'Ensemble : Trouver la Vallée « Plate »

Imaginez que vous essayez de trouver le point le plus bas d'une vaste chaîne de montagnes enveloppée de brouillard (cela représente le paysage de perte d'un réseau de neurones). Votre objectif est de trouver un endroit où le modèle fonctionne parfaitement et reste parfait même si la météo change légèrement (c'est ce qu'on appelle la généralisation).

Les chercheurs ont longtemps cru que le meilleur endroit n'était pas n'importe quel point bas, mais une vallée plate.

Sommet Pointu : Si vous vous tenez sur un sommet de montagne pointu, un tout petit pas dans n'importe quelle direction vous fait dégringoler. C'est instable.
Vallée Plate : Si vous vous tenez dans une vallée large et plate, vous pouvez faire quelques pas dans n'importe quelle direction et rester quand même au fond. C'est stable et robuste.

Le papier soutient que la meilleure méthode actuelle pour trouver ces vallées plates (appelée SAM) utilise le mauvais outil pour mesurer le terrain.

Le Problème : La Règle à « Pas Fixe »

La méthode actuelle, SAM, tente de trouver une vallée plate en faisant un « pas de test » dans toutes les directions pour voir à quel point le sol monte.

Comment SAM fonctionne : Il dit : « Je vais faire un pas d'exactement 1 mètre dans la direction de la descente la plus raide, et voir à quelle hauteur le sol monte. »
Le Défaut : Le papier pointe un décalage.
- Si le sol est très raide (un gradient important), un pas de 1 mètre vous propulse bien en haut de la colline. La mesure est dominée par la raideur de la pente, et non par la largeur de la vallée.
- Si le sol est plat (un gradient faible), ce même pas de 1 mètre vous déplace à peine.
- L'Analogie : Imaginez essayer de mesurer la largeur d'une pièce en marchant 10 pas. Si vous marchez sur une rampe raide, vos 10 pas couvrent une énorme distance verticale. Si vous êtes sur un terrain plat, ils couvrent très peu. Vous ne mesurez pas la largeur de la pièce ; vous mesurez simplement à quel point vous devez marcher fort.

Pour cette raison, SAM réagit principalement à la raideur de la pente (le gradient) plutôt qu'à la forme de la vallée (la courbure). Il ne commence à bien fonctionner que lorsque l'entraînement est presque terminé et que les pentes sont très douces, ce qui est trop tard pour corriger la forme fondamentale de la solution.

La Solution : LE-SAM (Le Budget « Hauteur Fixe »)

Les auteurs proposent une nouvelle méthode appelée LE-SAM (Loss-Equated SAM). Ils retournent la logique.

Au lieu de dire : « Je vais faire un pas de taille fixe », ils disent : « Je vais permettre au sol de monter d'une quantité de hauteur fixe (un budget), et je déterminerai la taille du pas nécessaire pour atteindre cette hauteur. »

Le Nouveau Mécanisme :
1. Fixer un Budget : « Je suis prêt à grimper exactement 1 mètre en hauteur. »
2. Calculer le Pas :
  - Si la pente est raide, je n'ai besoin de faire qu'un tout petit pas pour atteindre cette hauteur de 1 mètre.
  - Si la pente est plate, je dois faire un énorme pas pour atteindre cette hauteur de 1 mètre.
3. Le Résultat : Parce que la « hauteur grimpée » est fixe, la mesure n'est plus dominée par la raideur de la pente. Cela force l'algorithme à regarder la courbure (la vitesse à laquelle la pente change).

La Métaphore :
Imaginez que vous êtes un randonneur aveugle essayant de trouver une vallée plate.

Ancienne Méthode (SAM) : Vous faites un pas fixe de 10 pieds. Si la colline est raide, vous tombez d'une falaise. Si elle est plate, vous bougez à peine. Vous ne pouvez pas dire si la vallée est large ou étroite.
Nouvelle Méthode (LE-SAM) : Vous dites : « Je vais grimper exactement 5 pieds. » Si la colline est raide, vous faites un tout petit pas. Si la colline est plate, vous faites un bond géant. En vous forçant à grimper cette hauteur spécifique, vous savez instantanément si le terrain est raide ou plat. Cela vous indique exactement où se trouve la vallée plate.

Pourquoi Cela Compte (Les Résultats)

En corrigeant le « budget de perte » (la hauteur que vous êtes prêt à grimper) au lieu du « rayon » (la taille du pas), le papier affirme :

Meilleure Généralisation : Le modèle trouve des vallées plus larges et plus plates, ce qui signifie qu'il fonctionne mieux sur de nouvelles données jamais vues.
Fonctionne Plus Tôt : Contrairement à l'ancienne méthode, qui n'aide qu'à la toute fin de l'entraînement, cette nouvelle méthode fonctionne efficacement dès le début car elle n'est pas distrait par la raideur des pentes initiales.
Stabilité : Elle empêche l'entraînement de devenir erratique lorsque les pentes changent brutalement.

La Preuve

Les auteurs ont testé cela sur des tâches standard de reconnaissance d'images (comme identifier des chats, des chiens et des voitures dans des photos).

Ils ont comparé leur nouvelle méthode à l'ancienne méthode à « pas fixe » et à plusieurs autres variantes.
Le Résultat : Leur méthode a constamment gagné, obtenant les scores de précision les plus élevés (State-of-the-Art) à travers différents types de réseaux de neurones et d'ensembles de données.
Preuve Visuelle : Ils ont même dessiné des cartes du « terrain » que les modèles ont trouvé. Les cartes ont montré que leur méthode trouvait des vallées beaucoup plus plates et plus larges par rapport aux sommets pointus trouvés par les autres méthodes.

Résumé

Le papier soutient que pour trouver les modèles d'IA les plus stables, nous ne devrions pas simplement faire des pas de taille fixe pour tester le sol. Au lieu de cela, nous devrions fixer une « hauteur de montée » fixe et laisser la taille du pas s'ajuster automatiquement. Ce simple changement élimine la confusion causée par les pentes raides et aide l'IA à trouver les véritables solutions stables et plates dont elle a besoin pour être intelligente et fiable.

Résumé technique : Corriger la perte, pas le rayon : Repenser la perturbation adversaire de la Minimisation Sensible à la Netteté

1. Énoncé du problème

Les réseaux de neurones profonds (DNN) souffrent souvent d'une surparamétrisation et de paysages de perte non convexes, conduisant à de nombreux optima locaux aux capacités de généralisation variables. L'hypothèse prédominante suggère que les « minima plats » (régions à faible courbure) généralisent mieux que les « minima pointus ». La Minimisation Sensible à la Netteté (SAM) a été proposée pour y remédier en minimisant la perte dans le pire des cas à l'intérieur d'un rayon fixe $\rho$ dans l'espace des paramètres.

Cependant, les auteurs identifient un décalage au niveau du mécanisme fondamental dans SAM et ses variantes :

L'Idéal : La platitude est intrinsèquement une propriété du second ordre, caractérisée par la courbure locale (Hessienne) du paysage de perte.
La Réalité : SAM construit son objectif adversaire en utilisant une approximation linéaire du premier ordre. Dans un rayon fixe $\rho$ , la perturbation est alignée avec la direction du gradient. Par conséquent, le signal d'apprentissage résultant est dominé par la norme du gradient ( $\rho \|\nabla L(w)\|$ ) plutôt que par la courbure.
La Conséquence : Puisque la norme du gradient domine le signal, l'efficacité de SAM est largement reportée aux dernières étapes de l'entraînement, moment où les gradients deviennent naturellement assez petits pour que les termes de courbure deviennent comparables. Cela crée un décalage entre le mécanisme d'entraînement et l'objectif de trouver des minima plats tout au long du processus d'optimisation.

2. Méthodologie : SAM à Perte Égalisée (LE-SAM)

Pour résoudre ce décalage, les auteurs proposent le SAM à Perte Égalisée (LE-SAM), une reformulation au niveau du mécanisme qui inverse le paradigme SAM traditionnel. Au lieu de fixer le rayon de perturbation dans l'espace des paramètres, LE-SAM fixe un budget dans l'espace des pertes $\sigma$ .

Mécanisme central

Inspiré par le pas de Polyak classique, LE-SAM scalaire la variation de perte du premier ordre.

Budget fixe : Au lieu de fixer $\rho$ , l'algorithme fixe une augmentation cible de perte $\sigma$ dans l'espace des pertes.
Calcul inverse du rayon : Le rayon de perturbation $\rho_t$ est calculé dynamiquement pour garantir que la variation de perte du premier ordre corresponde au budget $\sigma$ :
$\rho_t = \frac{\sigma}{\|\nabla L(w)\|_2 + \varrho}$
où $\varrho$ est une petite constante pour la stabilité numérique.
Perte de substitution : En substituant ce rayon adaptatif dans le développement de Taylor de la perte, le terme du premier ordre devient un scalaire constant $\sigma$ :
$L(w + \epsilon_t) \approx L(w) + \underbrace{\sigma}_{\text{scalaire constant}} + \frac{1}{2} \epsilon_t^\top H(w) \epsilon_t$
Puisque $\nabla_w \sigma = 0$ , la pénalité de norme du gradient est effectivement supprimée du signal d'optimisation. Le signal d'apprentissage est entièrement déplacé vers le terme de courbure du second ordre ( $\frac{1}{2} \epsilon_t^\top H(w) \epsilon_t$ ).

Stratégies de stabilisation

Pour prévenir l'instabilité lorsque les normes de gradient sont faibles (ce qui pourrait entraîner des $\rho_t$ excessivement grands), LE-SAM emploie deux garde-fous :

Écrêtage du rayon : Un rayon maximal $\rho_{max}$ est imposé.
Recuit du budget de perte : Le budget $\sigma$ est progressivement recuit vers 0 au cours des dernières étapes de l'entraînement (par exemple, via un décroissement cosinusoïdal) pour assurer une convergence fluide.

3. Contributions clés

L'article revendique les contributions suivantes :

Identification d'un décalage d'objectif : Les auteurs démontrent que la perturbation adversaire dans SAM standard est générée via un substitut linéarisé du premier ordre sous contrainte de rayon fixe, ce qui fait que le signal d'apprentissage est dominé par l'amplitude du gradient plutôt que par la courbure du second ordre requise pour les minima plats.
Proposition de LE-SAM : Une reformulation au niveau du mécanisme qui fixe le budget de perte au lieu du rayon. Cela scalaire la variation du premier ordre, éliminant la domination de la norme du gradient et déplaçant le signal d'optimisation vers des termes dominés par la courbure tout au long du processus d'entraînement.
Supériorité empirique : Des expériences extensives montrent que LE-SAM surpasse systématiquement SAM standard et ses variantes (y compris ASAM, ESAM, F-SAM et Eigen-SAM) sur divers benchmarks, atteignant des performances de l'état de l'art (SOTA).

4. Résultats expérimentaux

Les auteurs ont évalué LE-SAM sur plusieurs tâches et jeux de données :

Entraînement à partir de zéro :
- CIFAR-10/100 : En utilisant ResNet-18, WideResNet-28-10 et PyramidNet-110, LE-SAM a atteint la plus haute précision parmi toutes les variantes SAM. Sur CIFAR-100, il a surpassé SAM standard de 1,34 à 1,49 points.
- ImageNet : En entraînant ResNet-50 et ResNet-101 à partir de zéro, LE-SAM a surpassé SAM de 0,71 et 0,77 points respectivement.
Apprentissage par transfert : En affinant un ViT-B-16 pré-entraîné sur CIFAR-10/100, LE-SAM a constamment surpassé SAM.
Généralisation de domaine (SDG) : Sur les jeux de données PACS et VLCS, LE-SAM a amélioré la précision moyenne de 2,18 et 0,84 points par rapport à SAM, respectivement.
Robustesse : Sous des attaques adversaires PGD $L_2$ et $L_\infty$ , LE-SAM a démontré une robustesse supérieure, surpassant SAM d'un maximum de 2,47 points.
Apprentissage à longue queue : Sur CIFAR-100-LT, la combinaison de LE-SAM avec la méthode SOTA GLMC a produit des améliorations supplémentaires par rapport à GLMC+SAM.

Analyse du mécanisme

Métriques de platitude : L'analyse de la trace de la Hessienne et de la valeur propre dominante a confirmé que LE-SAM converge vers des minima plus plats (trace de Hessienne et valeur propre maximale plus faibles) par rapport à SAM et SGD.
Dynamique d'entraînement : Contrairement à SAM, qui montre des gains significatifs uniquement dans la dernière étape de l'entraînement, LE-SAM a démontré des écarts de performance substantiels tout au long du processus d'entraînement complet, validant que le signal de courbure est actif dès le début.
Coût computationnel : LE-SAM maintient la même complexité asymptotique que SAM (deux passages avant-arrière par itération) avec une surcharge négligeable pour le calcul du rayon dynamique.

5. Signification et revendications

L'article soutient que la limitation principale des méthodes existantes de Minimisation Sensible à la Netteté est leur dépendance à une approximation du premier ordre à rayon fixe, qui privilégie involontairement l'amplitude du gradient par rapport à la courbure. En « corrigeant la perte, pas le rayon », LE-SAM repense fondamentalement le mécanisme de perturbation adversaire.

Les auteurs affirment que cette approche fournit une vision unifiée de l'apprentissage sensible à la netteté qui est intrinsèquement consciente de la courbure. En découplant la taille de la perturbation de la norme du gradient, LE-SAM offre un chemin plus direct et robuste vers des régions plates, résultant en des performances de généralisation supérieures à travers diverses architectures, jeux de données et scénarios d'entraînement (y compris l'apprentissage par transfert et la généralisation de domaine) sans engendrer de surcharge computationnelle significative.