Résumé Technique : Optimisation guidée par le ratio de généralisation en une étape pour la généralisation de domaine

1. Énoncé du problème

La généralisation de domaine (DG - Domain Generalization) vise à entraîner des réseaux de neurones profonds capables de se généraliser à des domaines cibles non vus. Un défi majeur de la DG est que les modèles ont tendance à faire du surapprentissage sur des caractéristiques spécifiques au domaine, connues sous le nom de corrélations fallacieuses (spurious correlations), plutôt que d'apprendre des relations causales invariantes.

Les méthodes de DG basées sur le gradient existantes tentent généralement de guider les gradients vers une « direction dominante » à travers les domaines. Cependant, l'article soutient que cette direction dominante est elle-même souvent pilotée par des caractéristiques fallacieuses, renforçant par inadvertance des corrélations indésirables. De plus, les approches récentes utilisant le dropout par paramètre basé sur les rapports signal sur bruit de gradient (GSNR) ont supprimé les paramètres trop prédictifs, mais ont échoué à ajuster explicitement l'alignement des gradients ou à assurer des mises à jour équilibrées des paramètres. Par conséquent, un petit sous-ensemble de paramètres domine souvent le processus d'optimisation, menant à une généralisation sous-optimale.

2. Méthodologie : GENIE

Les auteurs proposent GENIE (Generalization-ENhancing Iterative Equalizer), un nouvel optimiseur conçu pour traiter le déséquilibre des paramètres en exploitant le Ratio de Généralisation en une Étape (OSGR - One-Step Generalization Ratio).

2.1 Concept Central : OSGR

L'OSGR, introduit par Liu et al. (2020), quantifie l'efficacité avec laquelle une mise à jour unique du gradient réduit la perte de test par rapport à la perte d'entraînement. Il est influencé par :

1. La Magnitude du Gradient : La contribution de chaque paramètre à la réduction de la perte.
2. L'Alignement du Gradient : L'alignement des gradients de paramètres à travers la distribution des données.

L'article postule qu'un OSGR uniformément distribué entre les paramètres indique une meilleure généralisation. Les optimiseurs existants (comme SGD et Adam) entraînent souvent un OSGR déséquilibré, où les paramètres ayant de fortes magnitudes de gradient mais un faible GSNR (bruit élevé) dominent la mise à jour, gonflant le terme de soustraction dans l'équation de l'OSGR et réduisant le potentiel de généralisation.

2.2 L'algorithme GENIE

GENIE intègre trois composants clés pour équilibrer dynamiquement l'OSGR :

1. Préconditionnement :
   L'innovation centrale est un facteur de préconditionnement $p_j$ pour chaque paramètre $j$. Dérivé de la relation entre l'OSGR et le GSNR, ce facteur est conçu pour égaliser la contribution de chaque paramètre à l'OSGR global.

   • Mécanisme : $p_j$ est inversement proportionnel à la magnitude de la variance du gradient attendue et est ajusté par le GSNR ($r_j$).
   • Effet : Cela empêche les paramètres ayant de grands gradients mais de faibles rapports signal sur bruit de dominer l'optimisation, garantissant que les mises à jour sont alignées à la fois avec la magnitude du gradient et les caractéristiques du bruit.

2. Injection de Bruit :
   Pour encourager l'exploration vers de meilleurs optima, GENIE injecte du bruit mis à l'échelle par la variance des gradients.

   • Mécanisme : L'échelle du bruit est déterminée par $1 - \tanh(1/\sigma^2)$. Cela réduit le bruit pour les paramètres à haute variance tout en l'augmentant pour les paramètres à faible variance, boostant ainsi efficacement les mises à jour pour les paramètres ayant de faibles valeurs de préconditionnement.

3. Masquage Aléatoire :
   Pour stabiliser davantage les mises à jour et atténuer le surapprentissage, un masque de dropout aléatoire (échantillonné à partir d'une distribution de Bernoulli) est appliqué aux composantes du gradient après le préconditionnement. Cela garantit que tous les paramètres sont considérés de manière égale lors de l'étape de mise à jour.

2.3 Analyse Théorique

• Borne de Généralisation : Les auteurs analysent GENIE sous le cadre PAC-Bayes. Ils démontrent que la règle de préconditionnement minimise à la fois le terme de risque empirique ($T_1$) et le terme de divergence KL ($T_2$) dans la borne de généralisation. Plus précisément, le facteur d'adaptation de la variance réduit la variabilité des gradients mis à l'échelle (resserrant $T_1$), tandis que le terme $1/\rho^2$ minimise la divergence KL ($T_2$).
• Convergence : L'analyse théorique montre que GENIE conserve le taux de convergence standard de SGD ($O(T^{-1/2})$) dans les contextes non convexes, malgré la complexité ajoutée du préconditionnement et de l'injection de bruit.
• Comparaison OSGR : Les auteurs prouvent que GENIE atteint un OSGR plus élevé que les optimiseurs standards (SGD, Adam) et d'autres méthodes de préconditionnement en équilibrant explicitement le terme de convergence et le terme d'alignement.

3. Contributions Clés

1. Nouvel Optimiseur (GENIE) : Un optimiseur agnostique au domaine qui traite le problème négligé du déséquilibre des paramètres en DG. Il supprime les paramètres trop prédictifs tout en favorisant des mises à jour équilibrées à travers l'espace des paramètres.
2. Intégration de l'OSGR : Le premier travail à incorporer l'OSGR, auparavant utilisé uniquement comme métrique de généralisation, dans le principe central d'un optimiseur pour équilibrer explicitement les mises à jour des paramètres.
3. Large Applicabilité : Validé sur plusieurs benchmarks de DG et de généralisation de domaine unique (SDG), démontrant qu'il améliore les performances sans nécessiter de modifications architecturales ou de multiples domaines sources.

4. Résultats Expérimentaux

Les auteurs ont évalué GENIE sur cinq jeux de données de DG standards (PACS, VLCS, OfficeHome, TerraIncognita, DomainNet) en suivant le protocole DomainBed.

• Performance vs Optimiseurs : GENIE a systématiquement surpassé les optimiseurs établis. Il a dépassé Adam (le défaut de nombreux algorithmes de DG) de 5,69 % en moyenne, SGD de 6,36 %, et SAM (Sharpness Aware Minimization) de 4,37 %. Notamment, il a montré des améliorations significatives sur les jeux de données sujets au surapprentissage (VLCS) et ceux présentant un déséquilibre de classe sévère (TerraIncognita).
• Intégration avec les Algorithmes de DG : Lorsqu'il est intégré aux méthodes de DG existantes (ex: CORAL, RSC), GENIE améliore systématiquement leurs performances, démontrant sa scalabilité et sa compatibilité.
• Généralisation de Domaine Unique (SDG) : Dans le cadre plus contraint de la SDG, GENIE surpasse Adam, SGD et SAM en tant que modèle autonome et améliore davantage les méthodes de DG existantes.
• Efficacité : Malgré sa complexité théorique, GENIE présente un surcoût de calcul inférieur à SGD et Adam, et est 1,3× plus rapide que SAM, car SAM nécessite deux calculs de gradient séquentiels par étape.
• Études d'Ablation : Les expériences ont confirmé que le composant de préconditionnement seul apporte des gains significatifs (amélioration de 3,8 %), l'injection de bruit et le masquage aléatoire offrant une robustesse supplémentaire.

5. Signification et Revendications

L'article affirme que GENIE constitue un complément nécessaire aux stratégies d'optimisation de type "sharpness-aware". Alors que des méthodes comme SAM se concentrent sur la recherche de minima plats, GENIE démontre que l'équilibrage du Ratio de Généralisation en une Étape (OSGR) entre les paramètres est crucial pour prévenir le surapprentissage des corrélations fallacieuses.

Les auteurs soutiennent que leur travail met en évidence le potentiel de l'OSGR comme principe directeur pour l'optimisation, ouvrant la voie à son application dans l'apprentissage few-shot, le méta-apprentissage et d'autres tâches nécessitant de résoudre le surapprentissage des domaines sources. La méthode est présentée comme un cadre robuste et agnostique à l'algorithme qui améliore la généralisation en assurant des mises à jour de paramètres stables et équilibrées.