Explaining f-Divergence-Based Regularization via Local Curvature and Sharpness-Aware Minimization

Résumé Technique : Explication de la régularisation basée sur la $f$-divergence via la courbure locale et la minimisation de la netteté (Sharpness-Aware Minimization)

Énoncé du Problème
Dans le contexte des agents d'apprentissage continu (lifelong learning) et de l'apprentissage profond général, parvenir à une généralisation robuste nécessite de contrôler le surapprentissage et la sensibilité locale. Deux approches de premier plan pour cela sont la régularisation par divergence (qui pénalise les écarts entre les distributions prédictives sur les entrées originales et perturbées) et la minimisation de la netteté (Sharpness-Aware Minimization, SAM), qui recherche des paramètres présentant des paysages de perte plats. Bien que les deux méthodes soient motivées par la robustesse aux perturbations, leur relation théorique reste largement inexplorée. Plus précisément, il n'est pas clair si la géométrie locale induite par un régularisateur de divergence peut être formellement reliée à la structure de la Hessienne que SAM contrôle implicitement.

Méthodologie
L'article établit un cadre théorique unifié en analysant la géométrie de second ordre locale de la régularisation par $f$-divergence. Les auteurs procèdent à travers les étapes suivantes :

1. Expansion Quadratique Locale : Ils dérivent une expansion de Taylor de second ordre pour les $f$-divergences lorsque la distribution prédictive $P$ du modèle et une distribution perturbée $Q$ sont proches. Ils démontrent que dans ce régime local, toute $f$-divergence se réduit à une pénalité quadratique mise à l'échelle par $\phi''(1)/2$.
2. Interprétation Géométrique :
   • Espace des Paramètres : Lorsque les perturbations surviennent dans l'espace des paramètres ($\theta \to \theta + \delta$), le régularisateur induit une pénalité proportionnelle à $\delta^\top F_x(\theta) \delta$, où $F_x(\theta)$ est la matrice d'information de Fisher.
   • Espace d'Entrée : Lorsque les perturbations surviennent dans l'espace d'entrée ($x \to T(x)$), le régularisateur induit une forme quadratique de « rappel » (pullback) impliquant le gradient de la densité par rapport à l'entrée.
3. Connexion à SAM : Les auteurs comparent cette pénalité induite par la divergence à SAM. SAM est montré comme approximant localement une pénalité de courbure spectrale proportionnelle à la valeur propre dominante de la Hessienne ($\lambda_{\max}(H)$). L'article démontre que pour les objectifs de log-vraisemblance négative avec des distributions de sortie de la famille exponentielle (par exemple, l'entropie croisée avec softmax), la matrice de Fisher coïncide avec la matrice de Gauss-Newton généralisée (GGN), qui capture la composante semi-définie positive de la Hessienne. Ainsi, la régularisation par divergence et SAM deviennent localement comparables via une géométrie de courbure partagée.
4. Banc d'Essai Empirique Contrôlé : Pour valider ces affirmations théoriques, les auteurs utilisent la famille de la divergence de Jensen-Shannon (JSD) asymétrique $\alpha$-skew. Le coefficient de courbure locale pour cette famille évolue comme $\alpha(1-\alpha)$, atteignant un maximum au point symétrique $\alpha = 1/2$. Cela permet une expérience contrôlée où la force de la pénalisation de la courbure est variée sans altérer la structure fondamentale du régularisateur.

Contributions Clés

• Expansion Locale Unifiée : L'article dérive une expansion de second ordre locale pour la régularisation par $f$-divergence, démontrant qu'elle induit des pénalités sensibles à la courbure déterminées par la géométrie de Fisher dans l'espace des paramètres et une métrique de rappel dans l'espace d'entrée.
• Lien Formel avec SAM : Il établit que sous des hypothèses probabilistes standard (spécifiquement la NLL avec les familles exponentielles), la géométrie induite par la régularisation par divergence est localement comparable aux interprétations de second ordre de SAM via la relation Fisher/GGN/Hessienne.
• Cadre de Perturbation Général : L'analyse s'étend aux perturbations de l'espace d'entrée, montrant que la régularisation par divergence offre un cadre de perturbation plus général que le SAM standard (qui est généralement défini via des perturbations de paramètres) tout en préservant la même interprétation de sensibilité locale.
• Dérivation du Coefficient de Courbure : Pour la famille JSD $\alpha$-skew asymétrique, les auteurs dérivent explicitement que le coefficient de courbure locale est proportionnel à $\alpha(1-\alpha)$, identifiant le cas symétrique ($\alpha=1/2$) comme le régime de pénalisation de la courbure maximale.

Résultats
La validation empirique a été menée sur quatre jeux de données de référence (CIFAR-10, Fashion-MNIST, EMNIST et Oxford-IIIT Pet) en utilisant un modèle EfficientNet-B2 avec des perturbations de l'espace d'entrée (masquage aléatoire).

• Tendances de Performance : Sur tous les jeux de données, la performance du modèle (mesurée par la précision et la log-vraisemblance négative) était systématiquement meilleure près du régime symétrique $\alpha = 1/2$. Cela concorde avec la prédiction théorique que la plus forte pénalisation de la courbure locale (maximisée à $\alpha=1/2$) produit une meilleure généralisation.
• Visualisation du Paysage de Perte : Les visualisations du paysage de perte sur CIFAR-10 utilisant ResNet-18 ont révélé que les modèles entraînés avec la régularisation par divergence convergent vers des minima locaux plus plats par rapport à la référence. De plus, le modèle entraîné avec le réglage symétrique ($\alpha=0.5$) présentait le bassin le plus plat, correspondant à la pénalisation de courbure la plus élevée, tandis que le réglage asymétrique ($\alpha=0.9$) montrait une platitude intermédiaire.
• Métriques Statistiques : L'analyse quantitative des statistiques du paysage de perte (perte moyenne, trace de la Hessienne au carré et valeur propre maximale) a confirmé que le réglage symétrique $\alpha=0.5$ résultait en la perte moyenne la plus faible et en des métriques de courature réduites par rapport à la référence et aux réglages fortement asymétriques.

Signification et Revendications
L'article prétend clarifier la relation entre la régularisation par divergence et la minimisation de la netteté (sharpness-aware minimization) d'un point de vue géométrique local. Il postule que, bien que les deux méthodes ne soient pas des objectifs identiques, elles deviennent localement alignées à travers une géométrie de courbure commune lorsque des hypothèses probabilistes spécifiques sont satisfaites.

Les auteurs présentent modestement leur contribution comme étant principalement analytique. Ils précisent quand la régularisation par divergence, la géométrie de Fisher et les objectifs de type SAM deviennent localement comparables. L'étude empirique se concentre sur la validation de la perspective plus large de la courbure locale dans le contexte spécifique de la famille JSD $\alpha$-skew et des perturbations d'entrée, plutôt que de revendiquer une équivalence expérimentale directe avec SAM dans tous les contextes. Le travail suggère que la force de la courbure locale induite est un facteur significatif de l'efficacité de la régularisation par divergence, le régime symétrique offrant des performances optimales dans les scénarios testés.