Résumé Technique : Optimisation Sensible aux Singularités par Sonde Géométrique Randomisée

1. Énoncé du Problème

La théorie de l'optimisation en apprentissage profond repose traditionnellement sur l'hypothèse de gradients lipschitziens, garantissant une descente stable et une convergence. Cependant, les architectures neuronales modernes violent systématiquement cette hypothèse via des composantes non lisses telles que les activations ReLU, les opérateurs de quantification (dans l'entraînement sensible à la quantification, QAT) et les régularisateurs favorisant la parcimonie.

Dans ces régimes non lisses, la géométrie locale est caractérisée non pas par un seul gradient, mais par le sous-différentiel de Clarke ($\partial_C f(x)$), un ensemble convexe de gradients limites. Lorsque le diamètre de cet ensemble est grand, les optimiseurs adaptatifs basés sur l'inertie comme Adam souffrent de tremblements de gradient (gradient chattering). Ce phénomène implique des oscillations violentes causées par des signaux directionnels conflictuels au sein du sous-différentiel, entraînant une mauvaise convergence, un échec à se stabiliser dans des bassins de perte aigus et une généralisation sous-optimale.

Les remèdes existants sont insuffisants :

• Les méthodes proximales nécessitent des applications proximales explicites, souvent intraitables pour les fonctions non lisses imbriquées trouvées dans les réseaux de neurones quantifiés (QNN).
• Les techniques de lissage randomisé remplacent généralement le gradient original par un substitut, introduisant un biais d'estimation et une variance élevée qui dégradent les performances lors d'un entraînement de haute précision.
• La Minimisation Sensible à la Netteté (SAM) repose sur des développements de Taylor d'ordre un qui sont théoriquement invalides aux points non différentiables.

2. Méthodologie : Adam Sensible aux Singularités (S-Adam)

Les auteurs proposent S-Adam, un optimiseur novateur qui stabilise l'entraînement en modulant dynamiquement les tailles de pas en fonction de l'instabilité géométrique locale, sans lisser la fonction objectif elle-même.

2.1 Métrique d'Instabilité Géométrique Locale (LGI)

L'innovation centrale est la métrique LGI ($\rho_t$), un estimateur efficace en calcul du diamètre du sous-différentiel de Clarke. Au lieu de calculer des hessiennes ou des sous-gradients explicites, S-Adam emploie une sonde géométrique randomisée :

1. À chaque itération $t$, $k$ directions aléatoires $\{u_1, \dots, u_k\}$ sont échantillonnées à partir de la sphère unité $U(S^{d-1})$.
2. Les dérivées directionnelles $D_i$ sont calculées par différences finies : $D_i = \frac{f(x_t + \delta u_i) - f(x_t)}{\delta}$.
3. Le score LGI est défini comme la variance normalisée de ces dérivées directionnelles :
   $$\rho_t(x_t) = \frac{\text{Var}_{u_i \sim \{u\}}[D_i]}{\mathbb{E}[D_i^2] + \epsilon}$$
   Théoriquement, cette métrique approxime la courbure relative d'un substitut lissé et corrèle avec le diamètre du sous-différentiel de Clarke. Un $\rho_t$ élevé indique une région d'instabilité géométrique élevée (une singularité).

2.2 Frein Géométrique Adaptatif

S-Adam modifie la règle de mise à jour standard d'Adam en introduisant un facteur d'amortissement exponentiel (frein géométrique) qui met à l'échelle le taux d'apprentissage en temps réel :
$$\hat{\eta}_t = \eta_t \cdot \exp(-\lambda \rho_t)$$

• Instabilité élevée ($\rho_t \gg 0$) : Le terme exponentiel devient petit, décélérant agressivement les mises à jour pour prévenir les oscillations à travers les singularités.
• Régions lisses ($\rho_t \to 0$) : Le facteur d'amortissement tend vers 1, permettant à S-Adam de dégénérer en Adam standard pour une convergence rapide.

Ce mécanisme agit comme une méthode proximale implicite avec régularisation dynamique, préservant la direction du gradient original tout en contrôlant adaptativement la taille du pas.

3. Contributions Clés

1. Métrique LGI : Un estimateur basé sur la variance de l'instabilité géométrique locale ne nécessitant aucun calcul de hessienne et évitant le biais des substituts de gradient.
2. Mécanisme d'Amortissement Adaptatif : Un frein géométrique $\exp(-\lambda \rho_t)$ qui stabilise l'entraînement dans les régions singulières tout en maintenant l'efficacité dans les bassins lisses.
3. Analyse de Convergence Rigoureuse : En utilisant le cadre des inclusions différentielles, les auteurs prouvent que S-Adam converge presque sûrement vers des points stationnaires de Clarke $(\delta, \epsilon)$ au taux stochastique non lisse optimal de $O(1/\sqrt{T})$.
4. Robustesse Empirique : Supériorité démontrée dans des régimes extrêmement non lisses, spécifiquement l'entraînement sensible à la quantification (QAT) à faible nombre de bits et l'apprentissage par petits lots à fort bruit.

4. Résultats Expérimentaux

L'article évalue S-Adam par rapport à AdamW et Prox-SGD dans deux configurations expérimentales principales :

4.1 Entraînement Sensible à la Quantification (QAT)

Évalué sur CIFAR-100 (2 bits), TinyImageNet et Imagewoof2-160 (4 bits), et ImageNet (8 bits).

• Gains de Précision : S-Adam a systématiquement surpassé les références. Sur CIFAR-100, il a atteint 18,67 % de précision (contre 15,94 % pour AdamW). Sur TinyImageNet, il a atteint 23,18 % (contre 18,91 % pour AdamW).
• Stabilité : Alors qu'AdamW et Prox-SGD ont présenté des oscillations sévères ou une divergence (par exemple, Prox-SGD s'effondrant à <10 % de précision sur CIFAR-100), S-Adam a maintenu une convergence stable vers des planchers de perte inférieurs.
• Efficacité : Le paramétrage à faible coût ($k=2$ sondes) a entraîné une surcharge minimale (par exemple, une augmentation de 1,4 % du temps réel sur ImageNet) tout en offrant des améliorations significatives de précision.

4.2 Apprentissage par Petits Lots à Fort Bruit

Évalué sur ResNet-18 avec des tailles de lot aussi faibles que $N=2$ pour maximiser le bruit du gradient stochastique.

• Résilience au Bruit Extrême : À $N=2$, S-Adam ($k=8$) a amélioré la précision de +24,69 % sur Imagewoof2-160 par rapport à AdamW (75,87 % contre 51,18 %).
• Mise à l'échelle de la Taille de Lot : L'écart de performance était le plus grand dans les régimes les plus instables (petites tailles de lot) et s'est réduit à mesure que les tailles de lot augmentaient et que le paysage de perte se lissait, confirmant la nature adaptative du frein géométrique.
• Sensibilité au Taux d'Apprentissage : S-Adam a surpassé AdamW sur une large gamme de taux d'apprentissage ($10^{-4}$ à $10^{-3}$), démontrant une robustesse aux choix d'hyperparamètres.

5. Signification et Revendications

L'article positionne S-Adam comme un pont entre la théorie de l'optimisation non lisse et l'évolutivité pratique de l'apprentissage profond. Sa signification principale réside dans :

• Fondement Théorique : Fournir le premier optimiseur adaptatif avec des garanties de convergence prouvées vers des points stationnaires de Clarke dans les contextes d'apprentissage profond non lisses, dépassant les heuristiques.
• Applicabilité Pratique : Offrir un remplacement "plug-and-play" pour Adam qui gère la non-lissité imbriquée (par exemple, la quantification) sans nécessiter d'applications proximales intraitables ni altérer la dynamique d'optimisation via des substituts de gradient.
• Insight Géométrique : Démontrer que les statistiques des gradients stochastiques encodent des informations géométriques exploitables sur l'instabilité locale, permettant aux optimiseurs de distinguer le bruit stochastique des singularités topologiques.

Les auteurs concluent que S-Adam atténue efficacement les tremblements de gradient, permettant un entraînement stable dans des applications critiques telles que la quantification à faible nombre de bits et les régimes à fort bruit où les optimiseurs standards échouent.