Résumé Technique : Unification et Optimisation de l'Apprentissage Supervisé Robuste

Énoncé du Problème

En apprentissage supervisé, les praticiens font face à une séquence de décisions dans l'incertitude, allant de la collecte et de l'étiquetage des données au déploiement du modèle. À chaque étape, des modes de défaillance peuvent survenir, notamment des dégénérescences d'échantillons finis (données non représentatives), du bruit dans les étiquettes (annotations subjectives ou incohérentes) et des décalages de distribution (différences entre les environnements d'entraînement et de déploiement). Bien qu'une vaste littérature propose des alternatives robustes à la Minimisation du Risque Empirique (ERM) — telles que l'Optimisation Robuste Distributionnelle (DRO), le Lissage d'Étiquettes, la Minimisation du Risque Vicinal (VRM) et Mixup —, ces méthodes sont généralement développées de manière isolée.

Cette fragmentation force les praticiens à s'engager a priori sur un seul mode de défaillance et un mécanisme de robustesse correspondant, même lorsque la source dominante d'incertitude pour une tâche spécifique est floue. De plus, les choix de modélisation implicites sous-jacents à ces méthodes (comment les distributions de données sont représentées, quelles déviations sont considérées comme plausibles, et comment l'incertitude est résolue) sont entrelacés au sein d'objectifs spécifiques, rendant la comparaison et la combinaison systématiques difficiles. L'article soutient que les mécanismes ciblant différents modes de défaillance peuvent se composer pour surpasser toute méthode unique lorsque plusieurs modes coexistent, pourtant les cadres actuels manquent d'une manière unifiée de découvrir ces combinaisons optimales.

Méthodologie : Un Cadre Unifié

Les auteurs proposent un cadre unifié qui décompose l'apprentissage supervisé robuste en trois axes de conception orthogonaux, les traitant comme des dimensions indépendantes plutôt que comme des composants fixes d'algorithmes spécifiques.

1. Les Trois Axes de Conception

Le cadre définit un problème d'apprentissage robuste général basé sur :

• Distribution de Référence ($P_{ref}$) : La distribution autour de laquelle les perturbations sont définies. Cela peut être la distribution empirique ($P_n$) ou une variante lissée/augmentée (par exemple, via VRM ou Mixup).
• Ensemble d'Ambiguïté ($U(P_{ref})$) : Un ensemble de distributions plausibles capturant l'incertitude dans les entrées, les étiquettes ou les deux. Il est défini via une distance de distribution $\Delta$ (par exemple, distance de Wasserstein ou divergence KL) et un rayon de perturbation $\varrho$. L'ensemble est formellement défini comme $U(P_{ref}) = \{Q \in \mathcal{P}(\mathcal{X} \times \mathcal{Y}) : \Delta(Q, P_{ref}) \leq \varrho\}$.
• Principe de Désambiguïsation ($\Phi$) : Une règle codant la position du praticien face à l'incertitude au sein de l'ensemble d'ambiguïté.
  • Pessimiste : Suppose que les déviations représentent des menaces post-déploiement (par exemple, attaques adverses, décalage de covariable) et cherche le risque au pire cas ($\sup$).
  • Optimiste : Suppose que les déviations représentent une contamination pré-déploiement (par exemple, bruit dans les étiquettes) qui peut être partiellement corrigée et cherche le risque au meilleur cas ($\inf$).
  • Neutre : Correspond à une agrégation standard (par exemple, espérance).

L'objectif général est formulé comme suit :
$$\hat{h}_{robust} = \arg \min_{h \in \mathcal{H}} \Phi_{Q \in U(P_{ref})} \mathbb{E}_{(x,y) \sim Q} [\ell(h(x), y)]$$

2. Connexions Théoriques

L'article démontre que de nombreuses méthodes existantes sont des cas particuliers de ce cadre en fixant des choix spécifiques le long des trois axes. Pour les modèles linéaires avec une perte quadratique, les auteurs dérivent des réductions sous forme close montrant comment ces méthodes se comportent comme des régularisateurs :

• VRM (bruit gaussien) : Se réduit à l'ERM avec un terme de régularisation $\ell_2$ ($\sigma^2 \|w\|^2$).
• Mixup : Pour les moindres carrés linéaires, Mixup laisse le minimiseur inchangé par rapport à l'ERM, car il pénalise la variance résiduelle qui est déjà nulle à l'optimum de l'ERM.
• W-DRO : Se réduit à l'ERM avec un régularisateur linéaire en $\|w\|$ mais mis à l'échelle par la valeur absolue moyenne résiduelle empirique.
• Lissage d'Étiquettes : Recadre la magnitude de la solution ERM sans en changer la direction.

3. Procédure d'Entraînement Traitable

Pour rendre ce cadre pratique, les auteurs dérivent un pipeline d'entraînement unique qui expose tous les choix de conception comme des hyperparamètres continus. La procédure traite un mini-lot à travers quatre étapes séquentielles avant une mise à jour du gradient :

1. Enrichissement de la Distribution de Référence : Applique des perturbations dans l'espace des entrées (par exemple, bruit gaussien pour VRM ou interpolation pour Mixup) ou laisse les données intactes.
2. Perturbation de l'Espace des Entrées ($\Phi_X$) : Applique des perturbations instance par instance dans une boule de Wasserstein (via la Descente de Gradient Projetée) avec un choix de posture pessimiste, neutre ou optimiste.
3. Perturbation de l'Espace des Étiquettes ($\Phi_Y$) : Applique des perturbations d'étiquettes dans un ensemble crédal (par exemple, lissage d'étiquettes, relâchement ou déplacement adversaire) avec un choix de posture.
4. Agrégation au Niveau des Échantillons ($\Phi_S$) : Agrège les pertes à travers le lot en utilisant une formulation duale contrainte par KL (par exemple, ERM penchée pour une agrégation pessimiste/optimiste).

Cette fonction de perte unifiée permet une Optimisation Conjointe des Hyperparamètres (HPO). Au lieu de sélectionner une méthode manuellement, les praticiens peuvent ajuster l'espace de recherche complet $(\sigma, \varrho, \alpha, \tau)$ conjointement en utilisant des optimiseurs boîte noire standards (par exemple, optimisation bayésienne). Cela redéfinit le rôle du praticien, passant de la sélection d'un mécanisme de robustesse à la spécification d'un budget de recherche.

Contributions Clés

1. Cadre Unifié : Une formulation générale couvrant trois axes de modélisation explicites (Distribution de Référence, Ensemble d'Ambiguïté, Principe de Désambiguïsation) qui récupère une large classe de méthodes existantes comme cas particuliers.
2. Clarification Théorique : Réductions sous forme close pour VRM, Mixup et W-DRO sur des modèles linéaires, clarifiant leurs relations qualitatives et leurs effets de régularisation distincts.
3. Procédure Traitable : Un pipeline d'entraînement unique où tous les choix de conception sont des hyperparamètres continus, permettant un entraînement de bout en bout via la rétropropagation et une HPO conjointe.
4. Applicabilité Pratique : Preuve empirique que l'optimisation conjointe est compétitive avec les meilleures références de méthode unique à travers des tâches diverses, offrant une valeur par défaut fiable lorsque le mode de défaillance dominant est inconnu.

Résultats Expérimentaux

Les auteurs ont évalué le cadre à travers trois modalités : données tabulaires (benchmarks TableShift), données d'images (Waterbirds, CelebA) et modélisation de récompense (HH-RLHF). Ils ont comparé la configuration « Conjointe » à huit références représentant différents modes de défaillance (W-DRO, KL-DRO, W-DFO, KL-DFO, Lissage d'Étiquettes, Relâchement d'Étiquettes, VRM et ERM), en utilisant un budget HPO apparié de 50 essais.

• Données Tabulaires : La configuration Conjointe était compétitive avec les meilleures références en termes de précision. Notamment, elle a considérablement amélioré le risque de queue (mesuré par CVaR), le réduisant à environ la moitié de celui de l'ERM sur plusieurs jeux de données.
• Données d'Images : Sur Waterbirds, où le déséquilibre de groupe cause un décalage de distribution significatif, la configuration Conjointe a atteint des valeurs de CVaR d'un ordre de grandeur inférieures à celles de l'ERM sans coût mesurable en précision. Les interventions côté étiquettes (LS, LR) et les méthodes d'ensemble d'ambiguïté (KL-DRO, Conjointe) se sont révélées particulièrement efficaces.
• Modélisation de Récompense : La configuration Conjointe a atteint la précision OOD la plus élevée (0,713 contre 0,687 pour la référence la plus forte, W-DFO) et a réduit le CVaR OOD.
• Analyse de Shapley : Une analyse de la tâche de modélisation de récompense a révélé que les contributions des composants individuels ne prédisent pas le comportement en combinaison. Par exemple, le Lissage d'Étiquettes (LS) était faible isolément mais dominant lorsqu'il interagissait avec DRO pour la précision, tandis que DRO seul était le plus fort pour le risque de queue. Cela confirme la nécessité d'une optimisation conjointe pour découvrir la configuration correcte.
• Budget HPO : Les courbes de performance des meilleurs résultats ont montré que la configuration Conjointe a atteint un plateau sur la même échelle de temps que les références plus simples, indiquant que sa performance supérieure n'était pas un artefact d'un espace de recherche plus grand ou de plus d'essais.

Importance et Revendications

L'article affirme que la signification principale de ce travail réside dans la libération des praticiens de la charge de s'engager a priori sur un seul mécanisme de robustesse. En unifiant l'apprentissage robuste dans un espace de recherche unique, le cadre permet la découverte pilotée par les données de la combinaison optimale de mécanismes pour une tâche donnée.

Les auteurs affirment que bien que des références à axe unique bien réglées puissent égaler la configuration Conjointe sur des modalités spécifiques, sélectionner la bonne méthode nécessite de connaître le mode de défaillance dominant à l'avance. La configuration Conjointe évite ce problème de sélection, restant constamment compétitive à travers les modalités et offrant une valeur par défaut robuste lorsque les modes de défaillance sont inconnus ou interagissent. Ce travail fait avancer le domaine en passant d'un paradigme de méthodes concurrentes et isolées à un paradigme de choix de conception configurables et composables.