Résumé Technique : Optimisation Multi-Objectif Robuste aux Distributions

1. Formulation du Problème

L'article traite de l'Optimisation Multi-Objectif (MOO) dans des contextes où les distributions de données sont sujettes à des décalages, un problème courant dans l'apprentissage multi-tâches (MTL) moderne où les représentations partagées sont vulnérables aux décalages de domaine, aux déséquilibres de classes ou aux perturbations adverses. Les formulations MOO standard optimisent les objectifs sous des distributions nominales fixes $\{P_i\}_{i=1}^m$, qui peuvent ne pas rester optimales lorsqu'elles sont évaluées sous des distributions décalées.

Pour y remédier, les auteurs introduisent l'Optimisation Multi-Objectif Robuste aux Distributions (DR-MOO). Le problème est formulé comme la minimisation d'un vecteur d'objectifs, où chaque objectif $i$ est un risque d'Optimisation Robuste aux Distributions (DRO) régularisé par une divergence $f$ :
$$\min_{\theta \in \mathbb{R}^n} \sup_{Q_1, \dots, Q_m} \left[ H_1(\theta, Q_1), \dots, H_m(\theta, Q_m) \right]$$
où $H_i(\theta, Q_i) = \mathbb{E}_{\xi \sim Q_i}[\ell_i(\theta, \xi)] - \lambda D_f(Q_i \| P_i)$. Ici, $D_f$ désigne une divergence $f$ mesurant l'écart entre la distribution nominale $P_i$ et la distribution du pire cas $Q_i$.

Défis Clés :

1. Concepts de Solution : L'optimalité de Pareto standard ne s'applique pas directement en raison de l'incertitude distributionnelle. L'article définit la Dominance de Pareto Robuste aux Distributions et l'Optimalité, en comparant les paramètres après des perturbations adverses de la distribution de chaque objectif.
2. Conception Algorithmique : Les algorithmes MOO existants (par exemple, MGDA) reposent sur des distributions nominales fixes. Les appliquer directement au DR-MOO n'est pas trivial car la reformulation duale des objectifs DRO modifie la géométrie, violant potentiellement des hypothèses telles que des gradients uniformément bornés. De plus, l'estimation des variables duales requises pour le gradient introduit un biais et une surcharge computationnelle.

2. Méthodologie

Les auteurs proposent une approche basée sur la dualité pour transformer le problème DR-MOO en une forme MOO standard adaptée aux méthodes du premier ordre.

Reformulation Duale

En utilisant la dualité de Lagrange, le problème primal DR-MOO est réécrit comme un problème MOO dual équivalent :
$$\min_{\theta} \Phi(\theta) := [\phi_1(\theta), \dots, \phi_m(\theta)]$$
où chaque objectif dual $\phi_i(\theta) = \min_{\eta_i \in \mathbb{R}} \left( \lambda \mathbb{E}_{\xi \sim P_i}[f^*(\frac{\ell_i(\theta, \xi) - \eta_i}{\lambda})] + \eta_i \right)$.
Le gradient de l'objectif dual admet une expression sous forme fermée impliquant la variable duale optimale $\eta_i^*$, qui est la solution d'un problème de minimisation convexe unidimensionnelle.

Algorithme 1 : MGDA à Double Boucle

Pour résoudre le problème dual, les auteurs proposent d'abord un Algorithme de Descente de Gradient Multi-Objectif (MGDA) à Double Boucle :

• Boucle Intérieure : Utilise la Descente de Gradient Stochastique (SGD) pour résoudre approximativement les variables duales $\eta_i^*$ pour chaque objectif.
• Boucle Extérieure : Met à jour les paramètres du modèle $\theta$ et le vecteur de préférence $w$ en utilisant une mise à jour stochastique MGDA.
• Contrôle du Biais : Pour gérer le biais introduit par l'estimation stochastique des gradients et l'imprécision de la boucle intérieure, la boucle extérieure emploie une stratégie de double échantillonnage (tirage de trois échantillons indépendants par itération) pour construire des estimateurs non biaisés pour la mise à jour du vecteur de préférence.
• Complexité : Cette méthode atteint la convergence vers un point de stationnarité de Pareto robuste aux distributions $\epsilon$ avec une complexité d'échantillonnage totale de $O(\epsilon^{-12})$ (spécifiquement $O(\epsilon^{-4})$ itérations extérieures et $O(\epsilon^{-8})$ itérations intérieures), sans supposer de gradients bornés sur les objectifs duaux.

Algorithme 2 : MGDA à Boucle Unique et Double Recadrage

Pour améliorer l'efficacité et éliminer le coût élevé de la boucle intérieure, les auteurs dérivent un MGDA à Boucle Unique et Double Recadrage :

• Stationnarité de Substitut : Ils établissent un critère de stationnarité équivalent qui évite la nécessité de suivre avec précision $\eta_i^*$.
• Recadrage des Gradients : L'algorithme emploie un double recadrage des gradients à la fois sur la direction de mise à jour des paramètres ($X_t w_t$) et sur la direction de mise à jour des variables duales ($Z_t w_t$). Cela contrôle la géométrie mal conditionnée et le biais induit par un bruit stochastique borné affine.
• Structure à Boucle Unique : En recadrant les gradients, la méthode élimine le besoin de la stratégie de double échantillonnage et de la boucle intérieure, permettant une mise à jour en boucle unique de $\theta$, $\eta$ et $w$.
• Complexité : Cette méthode atteint une complexité d'échantillonnage significativement améliorée de $O(\epsilon^{-4})$, correspondant aux taux les plus connus pour l'optimisation stochastique non convexe, tout en assouplissant l'exigence de gradients bornés.

3. Contributions Clés

1. Formulation du DR-MOO : L'article formule systématiquement le DR-MOO comme un problème multi-objectif avec des risques régularisés par divergence $f$. Il introduit la dominance et l'optimalité de Pareto robustes aux distributions, et définit la stationnarité de Pareto robuste aux distributions via une formulation duale équivalente.
2. Analyse Théorique du MGDA à Double Boucle : Les auteurs établissent une propriété de régularité $L$-lisse pour les objectifs duaux le long des trajectoires de mise à jour. Ils prouvent que le MGDA à Double Boucle converge vers un point stationnaire $\epsilon$ avec une complexité d'échantillonnage de $O(\epsilon^{-12})$, sans exiger d'hypothèses de gradients bornés sur les objectifs duaux.
3. Algorithme Efficace à Boucle Unique : Ils proposent le Double-Clip MGDA, qui utilise le recadrage des gradients pour gérer la régularité généralisée et les estimations biaisées. Cette méthode élimine le besoin d'échantillonnage double et de suivi en boucle intérieure, atteignant une complexité d'échantillonnage de $O(\epsilon^{-4})$.
4. Validation Empirique : Les expériences sur les ensembles de données Multi-MNIST et CelebA démontrent que les méthodes proposées sont compétitives par rapport aux bases de référence MGDA de l'état de l'art (par exemple, MoCo, SDMGrad, NashMTL) en termes de précision de test, en particulier sous des attaques adverses (FGSM) et des déséquilibres d'étiquettes.

4. Résultats

• Robustesse Adverse : Sur les ensembles de données Multi-MNIST, le Double-Clip MGDA et le Double-Loop MGDA proposés ont maintenu une précision de test plus élevée sous des attaques FGSM par rapport aux bases de référence MGDA standard. Par exemple, sous un niveau d'attaque de 0,08 sur Multi-MNIST à 2 chiffres, le Double-Clip MGDA a atteint 57,13 % de précision, surpassant NashMTL (47,09 %) et le MGDA standard (48,30 %).
• Déséquilibre d'Étiquettes : Sur l'ensemble de données CelebA avec des étiquettes déséquilibrées, les méthodes proposées ont montré une performance améliorée en précision moyenne, précision équilibrée et AUC par rapport aux bases de référence, validant la robustesse de la formulation DR-MOO.
• Études d'Ablation : Les auteurs ont analysé l'impact des hyperparamètres ($\lambda$, taux d'apprentissage, tailles de lot et itérations de boucle intérieure). Ils ont constaté que le Double-Clip MGDA est robuste à des tailles de lot aussi faibles que 256 et que le Double-Loop MGDA est relativement insensible au nombre d'itérations intérieures (5 itérations étaient suffisantes pour les tâches d'apprentissage profond).

5. Signification et Revendications

L'article revendique être le premier à formuler systématiquement le DR-MOO et à fournir des garanties de convergence non asymptotiques pour les algorithmes de type MGDA dans un contexte non convexe avec incertitude distributionnelle.

• Avancement Théorique : Ce travail étend la compréhension de la MOO aux contextes robustes aux distributions, montrant que l'optimisation stationnaire de Pareto sous incertitude distributionnelle peut être abordée par une approximation stochastique raisonnée. Il remet en question la nécessité des hypothèses de gradients bornés souvent trouvées dans la littérature MOO existante en exploitant les relations entre gradients et valeurs de fonctions sous régularité généralisée.
• Efficacité Pratique : La transition d'un algorithme à double boucle vers un algorithme à boucle unique via le recadrage des gradients offre une solution pratique au goulot d'étranglement computationnel du suivi des variables duales, rendant le DR-MOO plus évolutif pour les applications d'apprentissage profond.
• Impact Plus Large : Les auteurs suggèrent que leur cadre et l'analyse du Double-Clip pourraient inspirer d'autres études sur des formulations traitables pour les problèmes d'alignement multi-objectif et s'étendre à d'autres méthodes d'optimisation normalisées (par exemple, Adam, Muon) dans des contextes MOO.

L'article maintient un ton modeste concernant ses contributions, reconnaissant des limitations théoriques telles que l'exigence de grands lots ($O(\epsilon^{-2})$) pour la méthode à boucle unique afin d'atteindre une complexité optimale sous bruit borné affine, et notant que, bien que la longueur de la boucle intérieure ait un impact négligeable en pratique, la borne théorique reste élevée.