💻 computer science

Do Counterfactually Fair Image Classifiers Satisfy Group Fairness? -- A Theoretical and Empirical Study

Cet article étudie la relation entre l'équité contrefactuelle et l'équité de groupe dans la classification d'images en construisant de nouveaux ensembles de données avec des contrefactuels étiquetés par des humains, révélant que l'équité contrefactuelle ne garantit pas intrinsèquement l'équité de groupe en raison des corrélations d'attributs latents, et en proposant une méthode de distillation de connaissances contrefactuelles pour atténuer ce problème.

Auteurs originaux : Sangwon Jung, Sumin Yu, Sanghyuk Chun, Taesup Moon

Publié 2026-07-09

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sangwon Jung, Sumin Yu, Sanghyuk Chun, Taesup Moon

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous recrutiez un responsable pour une entreprise. Vous voulez vous assurer que votre algorithme de recrutement est équitable. Mais que signifie réellement le mot « équitable » ?

Cet article explore deux définitions différentes de l'équité et découvre qu'elles ne s'entendent pas toujours, surtout lorsqu'il s'agit d'analyser des photos de personnes. Voici l'histoire de leurs découvertes, expliquée simplement.

Les deux définitions de l'équité

Voyez l'équité comme deux règles différentes pour un jeu :

L'équité de groupe (la règle du « score d'équipe ») : Cette règle stipule que si vous observez deux groupes de personnes différents (par exemple, les hommes et les femmes), l'algorithme doit les traiter de manière égale en moyenne. Si 90 % des hommes sont embauchés, 90 % des femmes doivent l'être aussi. Il s'agit de statistiques globales.
L'équité contrefactuelle (la règle du « et si ») : C'est une règle plus philosophique. Elle demande : « Si nous prenions cette personne spécifique, et que nous ne changions que son genre (tout en gardant tout le reste exactement identique), l'algorithme prendrait-il la même décision ? » Si la réponse est « oui », l'algorithme est contrefactuellement équitable. Il s'agit de cohérence pour l'individu.

Le problème : Le « Miroir Magique » n'existe pas

Pour tester la règle du « Et si » (l'équité contrefactuelle), vous avez besoin d'un type de photo spécial. Vous avez besoin de la photo d'une personne, puis d'une seconde photo de la même personne où seul son genre a changé (par exemple, un homme avec une barbe devient un homme sans barbe, mais avec le même nez, les mêmes yeux et le même arrière-plan).

Dans le monde réel, on ne peut pas prendre une photo et changer magiquement le genre d'une personne tout en gardant son identité parfaite. Des études précédentes ont tenté d'utiliser des images générées par ordinateur, mais elles paraissaient souvent fausses ou modifiaient accidentellement d'autres éléments (comme l'arrière-plan).

Le premier mouvement des auteurs : Les auteurs ont construit un « Miroir Magique » en utilisant un éditeur d'images IA de haute technologie (appelé InstructPix2Pix). Ils ont pris de vraies photos de célébrités et les ont éditées pour changer le sexe de la personne (par exemple, transformer une femme en homme) tout en essayant de garder tout le reste identique. Ils ont ensuite fait vérifier ces photos par des experts humains pour s'assurer que les changements étaient précis et que rien d'autre n'avait été déréglé. Ils ont ainsi créé deux nouveaux ensembles de données de haute qualité à cette fin.

La grande découverte : Le piège de la « Longueur des cheveux »

Les auteurs ont testé leurs règles d'équité en utilisant ces nouveaux ensembles de données photographiques. Ils ont découvert quelque chose de surprenant qui contredit les recherches précédentes menées sur des feuilles de calcul (données tabulaires) :

Dans les photos, être « Contrefactuellement Équitable » ne garantit PAS que vous soyez « Équitable pour le Groupe ».

Pourquoi ? Les auteurs expliquent cela avec une analogie astucieuse impliquant la Longueur des cheveux.

Imaginez que l'algorithme essaie de deviner si une personne postule pour un emploi de « Coiffeur » (la cible).

L'attribut sensible : Le sexe (Homme/Femme).
Le piège (Attribut G) : La longueur des cheveux.

Dans le monde réel, la longueur des cheveux est fortement corrélée au sexe (beaucoup d'hommes ont les cheveux courts, beaucoup de femmes ont les cheveux longs), mais la longueur des cheveux ne cause pas le sexe de quelqu'un. C'est juste un effet secondaire.

Voici le piège :

L'algorithme apprend à être « Contrefactuellement Équitable ». Il réussit à ignorer l'étiquette « Sexe ».
Cependant, parce qu'il est si doué pour ignorer le « Sexe », il commence à s'appuyer lourdement sur la Longueur des cheveux pour prendre sa décision.
Désormais, si vous avez un homme avec les cheveux longs, l'algorithme le traite comme une femme à cause de ses cheveux. Si vous avez une femme avec les cheveux courts, il le traite comme un homme.
Même si l'algorithme est « équitable » dans le sens du « Et si » (il ignore l'étiquette du sexe), il crée une énorme injustice dans le sens du « Groupe » car il traite les gens différemment en fonction de leurs cheveux, qui sont pourtant liés à leur sexe.

Les auteurs appellent cette variable cachée G (pour l'attribut tiers). C'est comme un « raccourci » que l'algorithme emprunte.

La solution : Apprendre à l'algorithme à ignorer le raccourci

Les auteurs proposent une correction simple appelée Distillation de Connaissance Contrefactuelle (CKD).

Pensez à une relation professeur-élève :

L'Élève : Le nouveau modèle d'IA qui tente d'apprendre l'équité.
Le Professeur : Un modèle qui a été entraîné sans aucune règle d'équité (un modèle « vanilla »).

Étonnamment, le modèle « Professeur » est en fait meilleur pour ignorer le piège de la « Longueur des cheveux » que l'« Élève » qui tente d'être équitable. L'« Élève » est tellement concentré sur l'ignorance de l'étiquette « Sexe » qu'il sur-corrige et se focalise sur la « Longueur des cheveux ».

La méthode CKD fonctionne ainsi :

Le Professeur regarde une photo et sa version « Et si ». Il donne une prédiction.
L'Élève essaie de copier le processus de réflexion du Professeur.
En copiant le Professeur, l'Élève apprend à ignorer le piège de la « Longueur des cheveux » tout en respectant la règle du « Et si ».

Le résultat

Lorsque les auteurs ont utilisé cette méthode « Professeur-Élève » :

Les modèles sont devenus Contrefactuellement Équitables (ils ont géré correctement les scénarios « Et si »).
ET ils sont devenus Équitables pour le Groupe (ils ont traité les hommes et les femmes de manière égale globalement).

Résumé

L'article montre que dans la reconnaissance d'images, tenter d'être équitable envers l'individu (Équité Contrefactuelle) peut accidentellement rendre l'ensemble du groupe injuste si l'IA s'appuie sur des indices cachés comme la longueur des cheveux. En utilisant un modèle « Professeur » pour guider l'IA loin de ces indices cachés, ils ont réussi à atteindre l'équité sur ces deux fronts.

Note importante : L'article se concentre strictement sur la classification d'images (comme la reconnaissance de visages ou d'attributs dans des photos) et ne prétend pas que ces résultats s'appliquent aux diagnostics médicaux, aux décisions de recrutement dans le monde réel ou à d'autres applications spécifiques au-delà de la portée théorique et expérimentale décrite.

Résumé Technique : Les classificateurs d'images contre-factuellement équitables satisfont-ils l'équité de groupe ?

Énoncé du problème
L'équité algorithmique dans l'apprentissage automatique est souvent évaluée à travers deux prismes principaux : l'équité contre-factuelle (CF), qui exige des prédictions cohérentes lorsqu'un attribut sensible subit une intervention, et l'équité de groupe (GF), qui vise à égaliser les résultats entre les groupes démographiques. Bien que des études antérieures sur les données tabulaires aient suggéré que l'obtention de la CF implique de satisfaire la GF sous des conditions spécifiques de Modèle de Structure Causale (SCM), cette relation reste incertaine pour la classification d'images. L'obstacle principal a été l'absence de jeux de données d'évaluation de haute qualité contenant des images contre-factuelles (où seul l'attribut sensible change tandis que les autres attributs non causaux restent constants). Les méthodes génératives existantes produisent souvent des images de faible qualité ou ne parviennent pas à préserver l'identité, rendant impossible une évaluation rigoureuse de la CF dans les tâches visuelles.

Méthodologie
Pour remédier à la rareté des données et étudier la relation CF-GF, les auteurs proposent une approche en trois volets :

Construction de jeux de données (CelebA-CF et LFW-CF) :
- Les auteurs ont construit de nouveaux benchmarks basés sur les jeux de données populaires CelebA et LFW.
- Ils ont utilisé InstructPix2Pix (IP2P), un modèle d'édition d'image basé sur la diffusion de haute qualité, pour générer des échantillons contre-factuels en modifiant l'attribut sensible (le sexe) tout en préservant l'identité et les autres attributs.
- Un pipeline d'annotation humaine rigoureux a été employé. Cinq annotateurs ont filtré les paires générées selon dix attributs visuels spécifiques (ex. : pilosité faciale, ligne de la mâchoire, maquillage) pour s'assurer que l'attribut sensible changeait correctement et que les attributs non sensibles restaient cohérents.
- Une seconde ronde de cinq annotateurs distincts a vérifié la fiabilité des jeux de données filtrés, confirmant une haute précision tant dans l'altération de l'attribut sensible que dans la préservation des attributs non sensibles.
Analyse théorique :
- Les auteurs ont analysé la relation entre la CF et la GF en utilisant des SCM pour la génération d'images.
- Ils ont identifié une distinction critique entre les données tabulaires et les images : dans les images, les attributs sensibles (ex. : le sexe) sont souvent corrélés à, mais non causalement responsables de, certains attributs latents (notés $G$ , ex. : la longueur des cheveux).
- Le Théorème 4.1 démontre que si un modèle contre-factuellement équitable repose sur un attribut latent $G$ qui est corrélé avec l'attribut sensible $A$ mais n'est pas causé par celui-ci, le modèle peut satisfaire la CF mais échouer à satisfaire l'équité de groupe (spécifiquement l'Égalité des Chances/Equalized Odds). La disparité de l'Égalité des Chances (DEO) est montrée comme étant bornée par la sensibilité du modèle à $G$ .
Solution proposée : Distillation de Connaissance Contre-factuelle (CKD) :
- Motivés par la découverte théorique que réduire la dépendance à $G$ est nécessaire pour atteindre à la fois la CF et la GF, les auteurs proposent la CKD.
- La CKD combine une régularisation par Appariement Contre-factuel (CP) (pour imposer la CF) avec la Distillation de Connaissance (KD).
- Un modèle « enseignant » (spécifiquement un modèle entraîné de manière classique, trouvé plus robuste à $G$ que les modèles entraînés par CP) fournit des représentations cibles. Le modèle étudiant est entraîné pour aligner ses représentations des échantillons originaux et contre-factuels avec les représentations moyennes de l'enseignant. Ce processus distille la robustesse contre l'attribut latent $G$ tout en maintenant la cohérence contre-factuelle.

Résultats clés
Des expériences approfondies ont été menées sur les nouveaux jeux de données CelebA-CF et LFW-CF, ainsi que sur un jeu de données synthétique (CIFAR-10B) où la corrélation entre $A$ et $G$ pouvait être contrôlée.

La CF n'implique pas la GF dans les images : Les résultats empiriques ont montré que les modèles atteignant une faible Disparité Contre-factuelle (CD) via des méthodes standard respectant la CF (comme le CP) présentaient souvent une Disparité de l'Égalité des Chances (DEO) élevée. Cela contredit les conclusions sur les données tabulaires et confirme l'hypothèse théorique selon laquelle la dépendance aux attributs latents $G$ brise le lien CF-GF.
Rôle de l'attribut latent $G$ : Les expériences manipulant des attributs comme « la longueur des cheveux » (en tant que $G$ ) ont confirmé que les modèles respectant la CF (CP) étaient plus sensibles aux changements de $G$ (taux de prédictions inversées plus élevé) que les modèles classiques, conduisant à de moins bons indicateurs de GF.
Efficacité de la CKD : La méthode proposée CKD a réussi à réduire la dépendance du modèle à $G$ . Par conséquent, les modèles optimisés par CKD ont atteint simultanément une faible CD (satisfaisant la CF) et une faible DEO (satisfaisant la GF).
Robustesse du modèle enseignant : L'étude a révélé que l'utilisation d'un modèle entraîné de manière classique comme enseignant (qui est moins dépendant de $G$ ) produisait de meilleurs résultats de GF qu'un enseignant entraîné par CP, validant davantage le mécanisme de la CKD.

Signification et Revendications
Le papier revendique trois contributions principales :

Benchmarks : L'introduction de CelebA-CF et LFW-CF, les premiers jeux de données d'images contre-factuelles de haute qualité et vérifiés par l'humain pour évaluer la CF dans des scénarios réels.
Insight Théorique : La démonstration que la CF n'implique pas nécessairement la GF dans la classification d'images en raison de l'existence d'attributs latents ( $G$ ) corrélés avec, mais non causés par, l'attribut sensible. Cela remet en question la généralisabilité des garanties d'équité basées sur les SCM des domaines tabulaires vers les domaines visuels.
Atténuation Pratique : La proposition de la CKD, une ligne de base simple qui atténue efficacement la dépendance à ces attributs latents, permettant aux modèles de satisfaire simultanément les notions d'équité contre-factuelle et d'équité de groupe.

Les auteurs concluent que combler le fossé entre la CF et la GF dans la classification d'images nécessite d'aborder explicitement la dépendance du modèle vis-à-vis des attributs latents corrélés, un défi que les méthodes CF standards ne parviennent pas à résoudre mais que la CKD résout avec succès.