Résumé Technique : Chirurgie Spectrale

Énoncé du Problème

Les réseaux de neurones profonds entraînés sur des tâches de classification présentent un spectre de Hessian caractéristique : un continuum massif de valeurs propres proches de zéro et un petit nombre de grandes valeurs propres aberrantes (pics). Des travaux théoriques (Papyan et al.) ont établi que ces $C-1$ pics correspondent aux directions inter-classes dans l'espace des caractéristiques, où $C$ est le nombre de classes. Cependant, les recherches antérieures ont traité cette structure de manière purement descriptive. Aucune méthode existante n'a exploité opérationnellement ces vecteurs propres de pics pour améliorer les performances du modèle, spécifiquement pour résoudre les disparités de précision par classe (déséquilibre des classes) sans réentraînement.

Méthodologie : Chirurgie Spectrale

Les auteurs proposent la Chirurgie Spectrale, une méthode d'optimisation a posteriori qui perturbe directement les poids du modèle le long des vecteurs propres de pics du Hessian pour rééquilibrer la précision par classe. La méthode opère entièrement sur un modèle entraîné, nécessitant uniquement un petit mini-lot pour l'estimation du Hessian et un ensemble d'évaluation retenu.

Les composants principaux de la méthode sont :

1. Matrice de Sensibilité Pic–Classe ($S$) :
   La méthode quantifie la dérivée directionnelle de la précision de chaque classe le long de chaque vecteur propre de pic. Pour $K$ vecteurs propres de pics $\{q_1, \dots, q_K\}$ et une amplitude de sonde $\epsilon$, la sensibilité $S_{i,j}$ est calculée comme suit :
   $$S_{i,j} = \frac{\text{acc}_j(\theta + \epsilon q_i) - \text{acc}_j(\theta - \epsilon q_i)}{2\epsilon}$$
   Cette matrice capture comment le déplacement le long d'une direction de pic spécifique améliore ou dégrade des classes spécifiques.

2. Optimisation Contrainte des Coefficients :
   La méthode cherche une combinaison linéaire de perturbations de pics $\delta\theta = \sum \alpha_i q_i$ pour maximiser la précision des classes faibles tout en protégeant les classes fortes. Ceci est formulé comme un problème d'optimisation contraint :
   $$\max_{\alpha} \sum_{j=1}^C w_j (S^\top \alpha)_j$$
   Sous les contraintes :

   • $\|\alpha\| \le \alpha_{\max}$ (pour rester dans le régime linéaire).
   • $(S^\top \alpha)_j \ge -0.01$ pour les classes fortes (contrainte de non-dégradation).
   • Les poids $w_j$ sont dérivés des erreurs de classe, avec un exposant $p$ contrôlant la concentration de la pression sur les classes les plus faibles (par exemple, $p=2$ pour un focus sévère, $p=1/2$ pour étaler la pression).

3. Boucle Adaptative Itérative :
   L'optimisation est effectuée de manière itérative. À chaque étape :

   • Les vecteurs propres du Hessian sont recalculés (car le spectre se déplace avec les mises à jour des poids).
   • La matrice de sensibilité $S$ est reconstruite.
   • Les coefficients $\alpha$ sont résolus via la Programmation Séquentielle des Moindres Carrés (SLSQP).
   • Contrôle Adaptatif de l'Amplitude : Un mécanisme de style Adam ajuste le budget de perturbation $\alpha_{\max}$ en fonction d'un rapport signal-sur-bruit (SNR) des signaux d'amélioration, permettant à la taille de l'étape de croître ou de rétrécir dynamiquement.
   • Mécanisme de Retour en Arrière : Si une étape augmente l'écart-type des précisions par classe ou provoque une forte baisse sur une seule classe, les poids sont rétablis.

4. Évolutivité (Chirurgie Spectrale Déflectée Séquentielle) :
   Pour les jeux de données comportant de nombreuses classes (par exemple, CIFAR-100 avec 99 pics), les contraintes de mémoire empêchent la récupération simultanée de tous les pics. Les auteurs proposent la Chirurgie Spectrale Déflectée Séquentielle, qui exécute plusieurs phases. Dans chaque phase, les vecteurs propres précédemment récupérés sont projetés hors (défléchis) de l'oracle de produit vecteur-Hessian, permettant la récupération du groupe suivant de pics sans stocker la base complète.

Contributions Clés

• Utilisation Opérationnelle des Pics du Hessian : L'article est le premier à utiliser les vecteurs propres de pics du Hessian comme levier opérationnel pour l'amélioration ciblée des classes, allant au-delà de l'analyse descriptive du spectre.
• Rééquilibrage A Posteriori : La méthode atteint un rééquilibrage significatif des classes sans accès à l'ensemble complet de données d'entraînement, sans mises à jour par rétropropagation et sans réentraînement. Elle nécessite seulement quelques centaines d'images pour l'estimation du Hessian.
• Composants Nouveaux : Introduction de la matrice de sensibilité pic–classe, d'une optimisation contrainte avec des contraintes de non-dégradation, et d'un contrôle adaptatif de l'amplitude basé sur des signaux au niveau de l'itération.
• Validation Structurelle : Les auteurs fournissent des preuves empiriques (via des expériences de "marche dans le continuum") que les perturbations orthogonales au sous-espace des pics laissent la performance au niveau de la classe invariante, confirmant que l'information discriminante des classes est concentrée dans une infime fraction de l'espace des paramètres.

Résultats Expérimentaux

CIFAR-10 (ResNet-50)

• Performance : Réduction de l'écart-type ($\sigma$) de la précision par classe de 36 % (de 8,57 % à 5,52 %).
• Gains par Classe : La classe la plus faible ("chat") a gagné +7,5 points de pourcentage (pp), et "chien" a gagné +5,9 pp.
• Impact Global : La précision globale a diminué de manière négligeable de 0,2 pp.
• Comparaison : A surpassé le réglage fin avec Focal Loss ($\Delta\sigma = -0,76$ pp) et le réglage fin Class-Balanced ($\Delta\sigma = -0,60$ pp) en termes de rééquilibrage, malgré une opération a posteriori.
• Efficacité : Terminé en environ 25 minutes sur un seul CPU.

CIFAR-100 (ResNet-50)

• Évolutivité : En utilisant la chirurgie spectrale déflectée séquentielle, les auteurs ont accédé à 45 pics sur les 99 pics théoriques.
• Performance : Réduction de $\sigma$ de 1,6 % sur l'ensemble retenu. La réduction relative était plus faible que pour CIFAR-10 en raison d'une couverture partielle du sous-espace des pics.

ISIC-2019 (Imagerie Médicale)

• Contexte : Un jeu de données 8 classes fortement déséquilibré (fréquences s'étalant sur deux ordres de grandeur).
• Composition :
  • SS seul : A marginalement surpassé le réglage fin avec Focal Loss en rééquilibrage ($\sigma$ : 19,6 % contre 20,8 %) avec une précision équilibrée comparable.
  • FL + SS : A amélioré la précision équilibrée à 51,5 % (contre 49,2 % pour FL seul) et réduit $\sigma$ à 16,4 %.
  • CB + SS : Appliqué au-dessus du réglage fin Class-Balanced (qui a atteint 57,7 % de précision équilibrée), SS a réduit davantage $\sigma$ de 3,5 pp (à 11,3 %) tout en maintenant la précision équilibrée (58,0 %).
• Insights : Les classes rares mais visuellement distinctes (par exemple, lésions vasculaires) ont réagi fortement à la Chirurgie. Les paires confusables (par exemple, Mélanome vs Nævus) ont montré une amélioration limitée en raison de l'entanglement spectral.

Analyse Théorique : Rang Effectif

Les auteurs introduisent le rang effectif entropique ($r_{eff}$) de la matrice de sensibilité $S$ comme outil de diagnostic.

• Sur CIFAR-10, $r_{eff} \approx 4$, permettant des compromis multi-axes et des gains significatifs.
• Sur ISIC-2019 (après réglage fin Class-Balanced), $r_{eff} \approx 2$, indiquant que la méthode d'entraînement avait déjà absorbé une grande partie des degrés de liberté spectraux résolubles. Cela explique le gain diminué (mais toujours positif) de SS au-dessus de CB.

Importance et Revendications

L'article revendique que la Chirurgie Spectrale démontre l'utilité pratique de la structure spectrale du Hessian pour l'amélioration des modèles. Les revendications clés incluent :

1. Efficacité A Posteriori : Il est possible de rééquilibrer significativement les performances des classes sur un modèle entraîné sans réentraînement, en utilisant uniquement un petit sous-ensemble de données.
2. Complémentarité : La Chirurgie Spectrale agit sur un "plan" différent de celui du reweighting basé sur la perte (Focal Loss, Class-Balanced). Lorsque les méthodes d'entraînement n'ont pas épuisé les degrés de liberté spectraux disponibles, les méthodes sont additives.
3. Limitations : La méthode est limitée par le rang effectif de la matrice de sensibilité. Si le processus d'entraînement a déjà résolu les asymétries de classe (faible $r_{eff}$), ou si les classes sont spectralement entremêlées (par exemple, classes visuellement similaires partageant des directions de pics), les gains sont limités.
4. Étape Finale : La méthode est mieux appliquée comme une étape finale a posteriori ; tout réglage fin ultérieur (même projeté dans le continuum) érode les gains de rééquilibrage.

Les auteurs restent modestes concernant l'hypothèse du rang effectif, notant qu'il s'agit actuellement d'une "hypothèse de travail" basée sur deux régimes mesurés (CIFAR-10 et ISIC-2019) et nécessitant des tests supplémentaires sur des architectures et des jeux de données divers pour être établi comme un seuil numérique.