Fair Dataset Distillation via Cross-Group Barycenter Alignment

1. Énoncé du problème

La Distillation de Jeu de Données (DD) vise à compresser un grand jeu de données réel en un petit jeu de données synthétique tout en préservant les performances prédictives des modèles entraînés sur les données originales. Cependant, lorsqu'ils sont déployés dans des applications à haut risque (par exemple, santé, finance), les méthodes DD standard échouent souvent à maintenir l'équité de groupe.

L'article identifie deux problèmes critiques :

1. Amplification des biais : Les processus de distillation ont tendance à amplifier les biais existants dans les données originales. Les modèles entraînés sur des données distillées souffrent souvent de baisses de performance significatives pour les sous-groupes minoritaires, entraînant de larges écarts d'équité (mesurés par la Différence de Odds Égalisés, EOD).
2. Mauvaise interprétation de la cause racine : Les travaux antérieurs attribuaient souvent ces écarts uniquement au déséquilibre de groupe (disparités de taille d'échantillon). Les auteurs démontrent que le problème est plus complexe : il résulte de l'interaction entre le déséquilibre de groupe et la séparation représentationnelle (où différents groupes démographiques présentent des motifs prédictifs distincts dans l'espace des caractéristiques).
   • La DD standard aligne les données synthétiques sur une cible agrégée unique (pondérée par les comptes d'échantillons).
   • Si les groupes sont déséquilibrés, la cible est dominée par la majorité.
   • Si les groupes ont des représentations différentes, une cible unique ne peut pas simultanément minimiser la distance vers tous les sous-groupes, forçant les données synthétiques à « choisir un camp », dégradant ainsi les performances pour les autres.

2. Méthodologie : COBRA

Les auteurs proposent COBRA (Cross-grOup BaRycenter Alignment), un cadre qui modifie l'objectif de distillation pour être agnostique au déséquilibre de groupe.

Concept de base : Barycentre agnostique au groupe

Au lieu d'optimiser le jeu de données synthétique pour qu'il corresponde à une moyenne pondérée de tous les échantillons réels (ce qui favorise la majorité), COBRA calcule un barycentre des représentations spécifiques aux sous-groupes.

• Entrée : Pour chaque classe $y$, la méthode identifie les statistiques (par exemple, gradients, plongements ou trajectoires d'entraînement) pour chaque sous-groupe démographique $a$.
• Calcul de la cible : Elle calcule un barycentre $m^*_y$ qui minimise la distance totale vers toutes les statistiques de sous-groupes avec des poids uniformes ($w_a = 1/|A|$), indépendamment de la taille du sous-groupe ($\pi_{a|y}$).
  $$m^*_y = \arg \min_m \sum_{a \in A} d(\Phi_{T_{a|y}}, m)$$
  Où $\Phi$ représente les statistiques de sous-groupe conditionnelles à la classe et $d$ est une mesure de divergence (par exemple, distance euclidienne au carré).
• Objectif de distillation : Le jeu de données synthétique est optimisé pour correspondre à cette cible barycentrique $m^*_y$ plutôt qu'au mélange pondéré vanille.

Garantie théorique

L'article dérive une borne supérieure sur le résidu du pire cas (la distance entre la représentation vraie d'un sous-groupe et la cible de distillation).

• Théorème 4.1 : Sous des conditions spécifiques, COBRA garantit que le résidu maximal sur tous les sous-groupes est inférieur ou égal à celui de la cible vanille (pondérée).
• En minimisant le résidu du pire cas, COBRA garantit qu'aucun sous-groupe unique n'est démesurément « repoussé » de la représentation synthétique, réduisant ainsi les motifs d'erreur spécifiques aux sous-groupes et améliorant les Odds Égalisés.

3. Contributions clés

1. Analyse théorique du biais : Les auteurs caractérisent formellement l'amplification des biais dans la DD comme le résultat de l'interaction entre le déséquilibre de groupe et la séparation représentationnelle. Ils prouvent que corriger le déséquilibre seul est insuffisant si les représentations sous-jacentes diffèrent.
2. Cadre COBRA : Introduction d'une stratégie fondée sur des principes et agnostique au modèle, qui remplace la cible de distillation standard par un barycentre agnostique au groupe. Cette méthode est compatible avec les techniques de distillation existantes (Appariement de gradients, Appariement de distributions, Alignement de caractéristiques, Appariement de trajectoires).
3. Validation empirique complète : Expériences extensives sur divers jeux de données (corrélations spuriaires synthétiques et jeux de données biaisés du monde réel comme UTKFace et BFFHQ) et architectures de distillation (DC, DM, CAFE, IDC, MTT).

4. Résultats expérimentaux

L'article évalue COBRA par rapport à la DD Vanille et à une base de référence soucieuse de l'équité (FairDD) en utilisant la Différence de Odds Égalisés (EOD) et la Précision.

• Gains d'équité : COBRA atteint systématiquement le EOD le plus bas sur tous les benchmarks.
  • Exemple : Sur C-MNIST (Fond) avec Appariement de distributions (DM) à IPC=50, la DD Vanille avait un EOD de 100,0, tandis que COBRA l'a réduit à 7,46, tout en augmentant simultanément la précision de 48,8 % à 96,8 %.
  • Sur BFFHQ (jeu de données de visages du monde réel), COBRA a réduit l'EOD de 63,47 à 7,87 avec une précision améliorée.
• Robustesse au déséquilibre et à la séparation :
  • À mesure que le déséquilibre de groupe (SKEW) augmente, l'EOD de la DD Vanille augmente de manière monotone. COBRA reste stable.
  • À mesure que la séparation représentationnelle (GAP) augmente, la DD Vanille subit une chute brutale de l'équité. COBRA atténue efficacement cet effet.
• Généralisation :
  • Cross-Architecture : Les jeux de données distillés générés par COBRA maintiennent l'équité et la précision lors de l'entraînement d'architectures différentes (AlexNet, VGG, ResNet) non utilisées lors de la distillation.
  • Régime à faible IPC : COBRA reste efficace même avec très peu d'images par classe (IPC=1, 3, 5), un régime où la DD standard échoue généralement à préserver l'information minoritaire.
• Études d'ablation :
  • Robustesse au bruit : COBRA reste efficace même lorsque les étiquettes de groupe sont bruitées (jusqu'à 50 % de corruption) ou partiellement manquantes (en utilisant l'étiquetage pseudo).
  • Appariement de trajectoires : La méthode s'étend avec succès à la distillation basée sur les trajectoires (MTT), prouvant son applicabilité au-delà de l'appariement de représentations statiques.

5. Signification et impact

• Changement de paradigme : L'article déplace le focus de l'équité dans la distillation de jeux de données de la « pondération des pertes » (a posteriori ou pendant l'optimisation) vers la « redéfinition de la représentation cible ». Il soutient que l'équité doit être intégrée dans l'objectif d'agrégation lui-même.
• Applicabilité pratique : COBRA est un remplacement direct pour le calcul de la cible dans les pipelines DD existants. Il ne nécessite pas de modifier la procédure d'entraînement en aval ni les mécanismes de base de l'algorithme de distillation, seulement la définition des données synthétiques « idéales ».
• Traitement des biais du monde réel : En démontrant le succès sur des jeux de données du monde réel (UTKFace, BFFHQ) avec des biais complexes et non synthétiques, ce travail fournit une solution viable pour déployer des modèles compressés dans des domaines sensibles sans sacrifier l'équité.
• Perspective théorique : La dérivation de la borne supérieure sur l'amplification des biais offre une nouvelle lentille théorique pour comprendre pourquoi les techniques de compression standard échouent dans les scénarios d'apprentissage équitable.

En conclusion, COBRA démontre qu'en alignant les données synthétiques sur un barycentre partagé et équilibré par groupe, on peut simultanément atteindre une haute précision prédictive et une équité de groupe robuste, découplant efficacement le compromis souvent observé dans la distillation de jeux de données.