No evaluation without fair representation : Impact of label and selection bias on the evaluation, performance and mitigation of classification models

Cette étude analyse empiriquement l'impact distinct des biais d'étiquetage et de sélection sur l'évaluation et la performance des modèles de classification, démontrant qu'une représentation équitable dans les données de test révèle l'absence de compromis entre équité et précision tout en soulignant la nécessité d'adapter les méthodes d'atténuation au type de biais présent.

L'essentiel

Voici une explication simple et imagée de ce papier de recherche, conçue pour être comprise par tout le monde, sans jargon technique.

Imaginez que vous êtes un chef cuisinier (l'algorithme d'intelligence artificielle) qui doit apprendre à préparer un plat parfait (prendre des décisions justes). Le problème, c'est que les ingrédients que vous utilisez pour apprendre (les données) sont parfois gâchés ou mal sélectionnés.

Ce papier pose une question fondamentale : Comment savoir si votre plat est vraiment bon si vous le goûtez avec des ingrédients gâtés ?

1. Le Problème : La "Vérité" est cachée sous des lunettes teintées

Dans le monde de l'intelligence artificielle, on utilise souvent des données historiques pour entraîner les modèles. Mais ces données sont souvent biaisées (discriminatoires).

• L'analogie du miroir déformant : Imaginez que vous essayez de vous regarder dans un miroir, mais ce miroir est courbé. Si vous vous voyez trop gros, vous allez essayer de maigrir. Mais si le miroir est cassé, vous ne saurez jamais si vous êtes vraiment maigre ou non.
• La situation actuelle : Les chercheurs entraînent leurs modèles sur des données biaisées (le miroir déformé) et les testent sur les mêmes données biaisées. Ils concluent souvent : "Ah, pour être plus juste, il faut sacrifier un peu de précision." C'est ce qu'on appelle le compromis équité-précision.

Les auteurs disent : "Stop !". Ce compromis n'existe peut-être pas. Il est juste une illusion causée par le fait qu'on évalue le modèle avec le même miroir déformé qu'on a utilisé pour l'entraîner.

2. La Solution : Le "Laboratoire de Contrôle"

Pour prouver leur théorie, les auteurs ont créé un cadre expérimental ingénieux.

• Le "Monde Idéal" (La vérité) : Ils ont pris des jeux de données réels qui sont déjà très équitables (comme des notes d'étudiants ou des résultats de cours en ligne). Ils considèrent cela comme la "Vérité" ou le "Monde Juste".
• L'Injection de "Virus" (Le biais) : Ensuite, ils ont volontairement "gâché" ces données propres pour simuler deux types de problèmes courants :
  1. Le Biais d'Étiquetage (Label Bias) : C'est comme si un professeur méchant notait systématiquement les filles plus bas que les garçons, même si elles ont la même copie. L'information est fausse.
  2. Le Biais de Sélection (Selection Bias) : C'est comme si, pour une enquête sur le chômage, on ne posait des questions qu'aux gens qui ont un téléphone fixe (excluant les jeunes qui n'en ont pas). L'échantillon ne représente pas la réalité.

Ils ont créé des versions "malades" de leurs données pour entraîner les modèles, mais ils ont gardé les versions "saines" (les données originales) pour tester les modèles.

3. Les Découvertes Surprenantes

En comparant les résultats obtenus avec le "miroir déformé" (données biaisées) et le "miroir clair" (données justes), ils ont fait trois découvertes majeures :

A. Le mythe du compromis Équité vs Précision

Quand on évalue les modèles sur le "miroir clair", on découvre que l'équité et la précision peuvent aller de pair.

• L'image : Si vous nettoyez vos lunettes, vous voyez à la fois mieux (précision) et vous voyez la réalité telle qu'elle est (équité). Il n'est pas nécessaire de choisir entre les deux. Le compromis n'existe que si vous continuez à regarder à travers des lunettes sales.

B. Tous les biais ne se valent pas

Tous les "virus" ne tuent pas le modèle de la même façon.

• Le Biais d'Étiquetage (fausses notes) est très dangereux. Il rend le modèle confus et injuste, peu importe ce qu'on fait.
• Le Biais de Sélection (manque de données) est parfois moins grave. Si le modèle est assez intelligent et que les données restantes sont de bonne qualité, il peut parfois "deviner" la vérité même s'il n'a pas vu tout le monde. Parfois, exclure totalement un groupe biaisé peut même améliorer le modèle !

C. Les remèdes ne fonctionnent pas pour toutes les maladies

C'est le point le plus important pour les praticiens. Il existe de nombreuses méthodes pour "guérir" les modèles (des remèdes).

• L'analogie médicale : Donner un antibiotique à quelqu'un qui a une grippe ne sert à rien. De même, utiliser une méthode conçue pour corriger un manque de données (sélection) sur un problème de fausses étiquettes (label) va empirer les choses.
• Les auteurs montrent que certaines méthodes (comme le "Re-weighting" ou l'ajustement des poids) fonctionnent bien pour les biais de sélection, mais échouent sur les biais d'étiquetage. D'autres méthodes, comme changer les étiquettes (Massaging), peuvent même créer de l'injustice inverse si on les utilise au mauvais endroit.

4. La Conclusion pour le Grand Public

Ce papier nous dit qu'il faut arrêter de se fier aux évaluations classiques qui utilisent les mêmes données biaisées pour entraîner et tester.

• Le message clé : Pour savoir si une intelligence artificielle est vraiment juste, il faut la tester sur une réalité qui ne contient pas le biais qu'on veut corriger.
• L'espoir : Si on fait les choses correctement, on peut avoir des modèles à la fois très précis et très justes. Le problème n'est pas que la justice et la précision sont ennemies, c'est que nous avons mal mesuré les deux.

En résumé, avant de choisir un remède pour l'injustice de l'IA, il faut d'abord diagnostiquer exactement quel type de maladie (quel type de biais) touche les données, et surtout, tester le remède avec des lunettes propres pour voir s'il fonctionne vraiment.

Résumé technique

Voici un résumé technique détaillé de l'article "No evaluation without fair representation : Impact of label and selection bias on the evaluation, performance and mitigation of classification models" de Magali Legast, Toon Calders et François Fouss.

1. Problématique

L'article aborde un problème fondamental dans le domaine de l'équité algorithmique (Fair ML) : l'évaluation biaisée des modèles de classification.

• Le constat : La plupart des études comparatives sur les méthodes d'atténuation des biais (bias mitigation) évaluent les modèles sur des jeux de données qui sont eux-mêmes biaisés (utilisés à la fois pour l'entraînement et le test).
• La conséquence : Cette pratique induit une illusion de compromis (trade-off) entre la précision (accuracy) et l'équité. Elle fausse également les mesures de performance des méthodes de correction, car les métriques d'équité calculées sur des données biaisées ne reflètent pas la réalité d'un "monde équitable".
• Le manque de connaissance : L'impact spécifique de différents types de biais (biais d'étiquetage vs biais de sélection) sur l'évaluation et l'efficacité des méthodes de mitigation est sous-étudié. Les chercheurs ne savent pas toujours quelle méthode appliquer selon le type de biais présent.

2. Méthodologie et Cadre Expérimental

Les auteurs proposent un cadre novateur pour contourner le manque de données "vérité terrain" (ground truth) équitables.

A. Cadre Conceptuel : Le "Fair World Framework"

L'étude s'appuie sur l'hypothèse d'un monde équitable sous-jacent (Fair World) où les critères d'équité sont satisfaits. Les données observées sont considérées comme une version déformée de ce monde idéal, introduite par un processus de biais.

B. Cadre d'Injection et d'Évaluation (Biasing and Evaluation Framework)

Pour étudier empiriquement ces effets, les auteurs ont développé un protocole expérimental :

1. Sélection de données de base : Utilisation de jeux de données réels considérés comme ayant un niveau de discrimination très faible (Student Performance, OULADstem, OULADsocial), supposés représenter le "monde équitable".
2. Injection contrôlée de biais : Introduction artificielle et contrôlée de biais dans ces données pour créer des versions biaisées avec une intensité variable (de 0 à 1).
   • Biais d'étiquetage (Label Bias) : Modification des labels (scores) pour pénaliser le groupe défavorisé.
   • Biais de sélection (Selection Bias) : Sous-échantillonnage (undersampling) du groupe défavorisé selon trois sous-types :
     • Aléatoire : Suppression aléatoire.
     • Auto-sélection : Suppression préférentielle des individus défavorisés ayant de "mauvais" scores.
     • Malveillante : Suppression ciblée des individus défavorisés positifs et des privilégiés négatifs.
3. Protocole d'évaluation :
   • Entraînement : Sur les données biaisées (avec ou sans méthodes de mitigation).
   • Évaluation : Sur les données non biaisées (la version originale "équitable") pour mesurer la performance réelle par rapport au monde idéal.
   • Comparaison : Les résultats de l'évaluation "équitable" sont comparés à ceux obtenus sur une évaluation "biaisée" (sur les données biaisées) pour montrer l'écart.

C. Méthodes testées

Huit méthodes de mitigation (pré-traitement et post-traitement) ont été évaluées, notamment : Reweighing, Massaging, FTU (Fairness Through Unawareness), EOP, CEO, et les classificateurs à option de rejet (ROC).

3. Contributions Clés

1. Preuve empirique de l'illusion du compromis : L'étude démontre qu'il n'existe pas de compromis intrinsèque entre équité et précision, ni entre équité individuelle et équité de groupe, lorsque les modèles sont évalués sur un test set équitable. Le compromis observé dans la littérature provient de l'utilisation de données biaisées comme référence.
2. Framework d'évaluation robuste : Introduction d'une méthode permettant d'entraîner sur des données biaisées connues et d'évaluer sur des données équitables, offrant une évaluation contextuelle et plus fiable des interventions.
3. Analyse différentielle des biais : Mise en évidence du fait que l'efficacité d'une méthode de mitigation dépend strictement du type de biais présent dans les données d'entraînement. Une méthode efficace pour un type de biais peut être contre-productive pour un autre.

4. Résultats Principaux

A. Impact de l'évaluation biaisée

• L'évaluation sur des données biaisées fausse systématiquement les métriques. Par exemple, le Statistical Parity Difference (SPD) peut sembler bon sur des données biaisées alors que le modèle est injuste dans le monde réel.
• Les méthodes qui semblent performantes sur des données biaisées (ex: Massaging) peuvent en réalité dégrader la précision et l'équité réelle.

B. Impact des biais sur les modèles (sans mitigation)

• Biais d'étiquetage : A un effet dévastateur sur la précision, l'équité de groupe et l'équité individuelle. Il corrompt directement la relation entre les caractéristiques et la vérité terrain.
• Biais de sélection : L'impact est souvent négligeable si les données sont abondantes, les caractéristiques prédictives sont fortes et que l'hypothèse "We Are All Equal" (WAE) tient. Cependant, dans des scénarios complexes ou avec peu de données, il peut augmenter la dépendance du modèle à l'attribut sensible.

C. Efficacité des méthodes de mitigation

• Dépendance au type de biais :
  • Reweighing fonctionne bien pour les biais de sélection (car il rééquilibre les poids), mais moins bien pour les biais d'étiquetage.
  • Massaging (changement de labels) est efficace contre le biais d'étiquetage mais aggrave les biais de sélection (en introduisant un biais d'étiquetage artificiel).
  • FTU (suppression de l'attribut sensible) fonctionne bien lorsque l'attribut sensible est peu corrélé aux autres features dans le monde équitable.
  • Les méthodes basées sur Equalized Odds (EOP, CEO) sont vulnérables aux deux types de biais car elles dépendent des labels biaisés pour leur optimisation.
• Absence de compromis : Plusieurs méthodes (comme Reweighing ou FTU dans certains contextes) permettent d'améliorer simultanément la précision et l'équité lorsqu'elles sont évaluées sur le test set équitable.

5. Signification et Implications

• Changement de paradigme d'évaluation : L'article plaide pour l'abandon de l'évaluation standard (train/test sur les mêmes données biaisées) au profit d'évaluations utilisant des données de test équitables (ou des données synthétiques contrôlées).
• Guide pour la pratique : Il n'existe pas de méthode "universelle". Le choix d'une méthode de mitigation doit être guidé par une compréhension précise du type de biais présent dans les données d'entraînement.
• Réfutation du compromis : La croyance selon laquelle il faut sacrifier la précision pour gagner en équité est souvent un artefact méthodologique dû à une mauvaise évaluation. En réalité, il est possible d'obtenir des modèles à la fois précis et équitables si l'on vise le bon objectif (le monde équitable).
• Futur de la recherche : Les auteurs appellent à la création de plus de jeux de données "duaux" (avec labels biaisés et équitables) et à l'étude de combinaisons de biais plus complexes.

En résumé, cet article fournit une preuve empirique solide que la qualité de l'évaluation détermine la perception de l'équité. Sans une représentation équitable dans les données de test, les conclusions sur l'efficacité des modèles et des méthodes de correction sont erronées.