Résumé Technique : FairSAM : Classification équitable sur des données d'images corrompues via la minimisation de la netteté (Sharpness-Aware Minimization)

Énoncé du Problème

Les réseaux de neurones profonds entraînés sur des données propres souffrent souvent d'une dégradation brutale des performances lorsqu'ils sont déployés sur des données de test corrompues (par exemple, des images affectées par un bruit d'impulsion, un bruit gaussien, des effets météorologiques ou un flou de mouvement). Des recherches récentes indiquent que cette dégradation n'est pas uniforme ; elle affecte de manière disproportionnée certains sous-groupes démographiques, amplifiant ainsi le biais algorithmique. Bien que les méthodes existantes d'apprentissage robuste comme la minimisation de la netteté (Sharpness-Aware Minimization - SAM) améliorent la généralisation globale et la résilience au bruit, elles ne parviennent pas à traiter la répartition inéquitable de la dégradation des performances entre les groupes démographiques. À l'inverse, les méthodes classiques de sensibilisation à l'équité peinent souvent à maintenir la robustesse face à la corruption des données. Cela crée une tension inhérente entre l'obtention de la robustesse et la garantie de l'équité dans des environnements corrompus.

Méthodologie : FairSAM

Pour répondre à cette tension, les auteurs proposent FairSAM, un cadre qui intègre des stratégies orientées vers l'équité dans le processus d'optimisation de SAM. La méthodologie se compose de trois composantes clés :

1. Nouvelle métrique d'équité : Disparité de dégradation corrompue ($\Delta p$)

Les auteurs formalisent le problème en introduisant une métrique pour quantifier l'équité spécifiquement concernant la dégradation des performances.

• Dégradation corrompue ($\Delta p_s$) : Définie comme la différence absolue entre les métriques de performance des données d'entraînement propres ($D_T$) et des données de test corrompues ($D_C$) pour un sous-groupe démographique spécifique $s$ : $\Delta p_s = |M(D_T^{s}, f) - M(D_C^{s}, f)|$.
• Disparité de dégradation corrompue ($\Delta p$) : La différence absolue de dégradation entre les groupes favorisés ($s^+$) et défavorisés ($s^-$) : $\Delta p = |\Delta p_{s^+} - \Delta p_{s^-}|$.
  Une valeur $\Delta p$ plus faible indique que la robustesse du modèle est répartie de manière plus équitable entre les sous-groupes.

2. SAM par repondération d'instances

Le SAM standard minimise la perte maximale dans un voisinage de paramètres mais traite tous les échantillons de la même manière, ce qui permet souvent aux groupes majoritaires de dominer l'optimisation. FairSAM introduit un mécanisme de repondération pour équilibrer les contributions de gradient :

• Contraintes de groupe : La méthode contraint la somme des poids des échantillons au sein de chaque groupe démographique à une constante $c$, garantissant que chaque groupe contribue de manière égale à l'objectif, indépendamment de sa taille.
• Repondération basée sur la netteté : Au sein de chaque groupe, les échantillons présentant une netteté par instance plus élevée (perte maximale sous perturbation) reçoivent des poids plus élevés. Cela donne la priorité aux exemples les plus « difficiles » au sein de chaque groupe tout en maintenant l'équilibre au niveau du groupe.

3. Perturbation par lot efficace

Pour éviter le coût computationnel du calcul de perturbations adverses individuelles pour chaque échantillon (ce qui nécessiterait $N$ passes avant par batch), FairSAM dérive une approximation efficace :

• Il approxime l'objectif pondéré par instance en utilisant un développement de Taylor au second ordre.
• Il construit une perte de lot pondérée $\ell_b(w) = \sum g_i \ell_i(w)$, où les poids $g_i$ intègrent à la fois les contraintes de groupe et la netteté de l'instance.
• Une seule perturbation par lot $\epsilon^*$ est calculée sur la base du gradient de cette perte de lot pondérée, préservant l'efficacité computationnelle de SAM tout en imposant les contraintes d'équité.

Principales Contributions

1. Formalisation du problème : L'article identifie et formalise le défi du « biais de robustesse » dans la classification d'images sous corruption, soulignant que les méthodes de robustesse standard peuvent involontairement aggraver les disparités d'équité.
2. Proposition de métrique : Introduction de la Disparité de dégradation corrompue pour évaluer l'équité de la dégradation des performances entre les sous-groupes démographiques, se distinguant des notions d'équité instantanées.
3. Développement de framework : Proposition de FairSAM, le premier cadre intégrant des stratégies d'équité dans SAM. Il utilise la repondération d'instances et la perturbation par lot pour promouvoir simultanément la robustesse et l'équité.
4. Validation empirique : Expérimentations approfondies démontrant que FairSAM atteint un compromis supérieur entre précision et équité par rapport aux méthodes de référence.

Résultats Expérimentaux

Les auteurs ont évalué FairSAM sur plusieurs jeux de données du monde réel (CelebA, FairFace, LFW, CheXpert) sous divers types de corruption (neige, bruit gaussien, flou) et niveaux de sévérité.

• Compromis Performance vs Équité : Sur des jeux de données déséquilibrés (CelebA) et équilibrés (FairFace), FairSAM a systématiquement obtenu la plus faible Disparité de dégradation corrompue ($\Delta p$) parmi toutes les méthodes de référence, incluant Vanilla SAM, GroupSAM, FairReg et GroupDRO.
• Préservation de la précision : Contrairement à certaines méthodes d'équité qui sacrifient la précision globale, FairSAM a maintenu une précision corrompue compétitive ou supérieure. Par exemple, sur CelebA avec un bruit gaussien, FairSAM a atteint la précision corrompue la plus élevée (0,9291) tout en minimisant $\Delta p$ (0,0073).
• Robustesse à l'asymétrie : Dans les expériences où les groupes privilégiés étaient confrontés à un bruit moins sévère que les groupes défavorisés (bruit asymétrique), FairSAM a maintenu la plus faible disparité de dégradation à travers différents backbones (ResNet-18 et DINOv3).
• Généralisation hors distribution (OOD) : Lorsque des modèles entraînés sur un jeu de données (ex: CelebA) étaient testés sur un autre (ex: LFW), FairSAM présentait le $\Delta p$ le plus bas, indiquant une meilleure généralisation équitable par rapport à GroupSAM, qui risquait de placer le groupe favorisé dans une position défavorisée.
• Sensibilité aux hyperparamètres : Le framework s'est avéré robuste aux choix d'hyperparamètres, $\rho=0,05$ (rayon de perturbation) et $c=1$ (budget de poids de groupe) offrant le meilleur équilibre.

Signification et Revendications

L'article affirme que FairSAM fournit une solution structurée pour une classification d'images juste et robuste en présence de corruption de données. Sa principale importance réside dans le traitement d'un angle mort critique de la recherche sur la robustesse : l'hypothèse selon laquelle les améliorations de la robustesse globale bénéficient de manière égale à tous les groupes.

Les auteurs soutiennent que :

• La robustesse et l'équité sont interconnectées ; les modèles robustes présentent souvent des dégradations de performance disparates entre les groupes démographiques, ce qui peut perpétuer les inégalités sociétales si cela n'est pas traité.
• L'optimisation de l'équité pendant l'entraînement peut permettre d'atteindre des résultats équitables sans sacrifices significatifs de la précision globale.
• Les bénéfices de cette approche s'étendent au-delà des jeux de données déséquilibrés pour toucher également les jeux de données équilibrés, suggérant que les disparités de performance sous corruption sont pilotées par des biais algorithmiques plutôt que par de simples problèmes de distribution de données.

Ce travail se positionne comme une étape vers un déploiement d'IA plus sûr dans des applications à enjeux élevés (ex: santé, justice pénale) où les systèmes doivent maintenir l'équité dans des conditions réelles et bruitées. Les auteurs reconnaissent des limites, notant l'accent actuel sur les attributs sensibles binaires dans la classification d'images, et suggèrent que les travaux futurs devraient explorer les groupes intersectionnels et d'autres domaines.