Measuring Perceptions of Fairness in AI Systems: The Effects of Infra-marginality

Cette étude démontre que les jugements humains sur l'équité des systèmes d'IA en contexte médical ne se limitent pas à la parité statistique, mais dépendent fortement de la compréhension des causes sous-jacentes des disparités, notamment l'infra-marginalité et la disponibilité des données d'entraînement.

L'essentiel

Voici une explication simple et imagée de cette recherche, comme si nous en discutions autour d'une table.

🍎 Le Problème : La "Justice" n'est pas toujours une question de "Poids Égal"

Imaginez que vous êtes le directeur d'une école de cuisine. Vous avez deux classes : la Classe A (qui a beaucoup de livres de cuisine et de bons ingrédients) et la Classe B (qui a très peu de livres et des ingrédients de base).

Vous engagez un professeur d'IA pour aider ces deux classes à réussir un examen de pâtisserie.

• La Classe A a naturellement de meilleurs résultats parce qu'elle a mieux appris.
• La Classe B a des résultats plus faibles, non pas parce qu'elle est moins intelligente, mais parce qu'elle n'a pas eu les mêmes ressources.

La question que se posent les chercheurs est la suivante : Qu'est-ce qui est "juste" pour le professeur d'IA ?

Dans le monde de l'intelligence artificielle, on a souvent une idée très simple de la justice : "Tout le monde doit avoir exactement le même score." C'est ce qu'on appelle la "parité". Mais cette étude nous dit que la réalité est beaucoup plus subtile.

🧪 L'Expérience : 85 Personnes dans le rôle du Juge

Les chercheurs ont créé un jeu de rôle avec 85 volontaires. Ils leur ont présenté un scénario médical (un robot qui détecte le cancer) avec deux groupes de patients, le Groupe A et le Groupe B.

On a demandé aux participants de juger la "justice" de trois types de robots différents :

1. Le Robot Égalitaire (Option 1) : Il force les deux groupes à avoir le même score élevé (comme si on donnait des lunettes de soleil à tout le monde, même à ceux qui n'en ont pas besoin).
2. Le Robot Compromis (Option 2) : Il donne un score moyen aux deux groupes (un peu mieux pour le groupe faible, un peu moins bien pour le groupe fort).
3. Le Robot Réaliste (Option 3) : Il laisse les scores tels qu'ils sont. Le groupe A garde son bon score, le groupe B garde son score plus faible.

🎭 Ce qu'ils ont découvert (La Révélation)

Les résultats sont fascinants et contre-intuitifs :

1. Quand on ne sait rien, on veut l'égalité stricte.
Si on ne donne aucune information aux participants (on ne leur dit pas si un groupe a plus de données ou si la tâche est plus dure), ils préfèrent le Robot Égalitaire. Ils veulent que tout le monde ait le même résultat, peu importe. C'est notre instinct naturel : "Si c'est pareil, c'est juste."

2. Quand on voit la différence, on comprend la cause.
Mais dès qu'on explique aux participants pourquoi il y a une différence (par exemple : "Le Groupe A a 20 fois plus de données d'apprentissage que le Groupe B"), leur jugement change radicalement.

• Ils ne veulent plus que le robot force l'égalité.
• Ils préfèrent le Robot Réaliste (Option 3) qui respecte les différences.
• Pour eux, c'est juste que le groupe avec plus de ressources ait de meilleurs résultats, et que le groupe avec moins de ressources ait des résultats plus faibles. Ils comprennent que la différence vient de la "matière première" (les données), pas d'une injustice du robot.

3. L'analogie du Marathon
Imaginez deux coureurs :

• L'un court sur un tapis roulant lisse (Groupe A).
• L'autre court dans le sable (Groupe B).

Si vous forcez le coureur du sable à courir aussi vite que celui du tapis en lui mettant des chaussures de course trop légères, vous ne le rendez pas plus juste, vous le faites tomber.
Les participants de l'étude ont compris cela : Imposer la même vitesse à tout le monde, quand les terrains sont différents, c'est en fait injuste.

💡 Pourquoi est-ce important pour nous ?

Aujourd'hui, beaucoup d'algorithmes (pour les prêts bancaires, la police, les soins de santé) sont programmés pour essayer de rendre les statistiques "parfaitement égales" entre les groupes.

Cette étude nous dit : Attention !
Si un algorithme force l'égalité alors que les différences viennent de causes légitimes (comme des données plus abondantes pour un groupe), les gens vont le trouver injuste. Ils vont perdre confiance dans la machine.

Leçon principale :
La justice n'est pas seulement une question de chiffres égaux. C'est une question de compréhension du contexte.

• Si la différence vient d'un biais (injustice), il faut la corriger.
• Si la différence vient de la réalité (données différentes, tâches différentes), il faut l'accepter.

En résumé, pour qu'une intelligence artificielle soit vraiment perçue comme juste, elle ne doit pas seulement chercher à faire des "copies conformes" des résultats, mais elle doit expliquer pourquoi les résultats sont différents, et respecter ces différences quand elles sont légitimes. C'est comme un bon professeur qui ne donne pas la même note à tout le monde, mais qui note chacun en fonction de ses efforts et de ses ressources réelles.

Résumé technique

Titre : Mesure des perceptions de l'équité dans les systèmes d'IA : Les effets de l'infra-marginalité

1. Problématique

L'article aborde le défi complexe de la définition et de la perception de l'équité (fairness) dans les modèles d'apprentissage automatique, en se concentrant spécifiquement sur le problème de l'infra-marginalité.

• Contexte : Les définitions formelles de l'équité de groupe (comme la parité démographique ou l'égalité des chances) supposent souvent que l'égalité des métriques statistiques (ex: précision, taux de faux positifs) entre les groupes démographiques est l'objectif idéal.
• Le problème de l'infra-marginalité : En réalité, les distributions de données sous-jacentes (les « taux de base » ou base rates) diffèrent souvent entre les groupes en raison de facteurs légitimes (difficulté intrinsèque de la tâche, prévalence réelle du phénomène). Ces différences de distribution entraînent mathématiquement des écarts dans les métriques de performance d'un modèle unique, même sans biais algorithmique.
• Le conflit : Forcer l'égalité stricte des métriques (parité) dans un contexte d'infra-marginalité peut conduire à des décisions injustes (ex: libérer des individus à haut risque ou pénaliser injustement des groupes). L'article cherche à comprendre comment les humains perçoivent l'équité lorsqu'ils sont informés de ces différences de distribution, par opposition à une vision purement statistique.

2. Méthodologie

Les auteurs ont mené une étude utilisateur (user study) pour évaluer comment les informations sur les distributions de données influencent les jugements d'équité.

• Participants : 85 participants recrutés auprès de communautés techniques (étudiants et professionnels en informatique/science des données), possédant une connaissance de base du machine learning.
• Scénario : Un système d'IA hypothétique de prédiction du cancer, entraîné sur deux groupes raciaux abstraits (« Race A » et « Race B »).
• Design de l'expérience :
  • Variables indépendantes (Traitements) :
    1. Performance spécifique au groupe : Les participants ont reçu des informations sur la précision des modèles entraînés séparément sur chaque groupe (7 instances : égalité, différence de 10% dans un sens ou l'autre, ou aucune information).
    2. Disponibilité des données d'entraînement : La quantité relative de données disponibles pour chaque groupe (4 instances : non spécifiée, égale, Race A a 3x plus de données, Race A a 20x plus de données).
  • Variables dépendantes : Les participants ont noté l'équité de trois modèles candidats sur une échelle de Likert de 1 à 7 :
    • Option 1 (Parité Maximale) : Le modèle atteint la précision du groupe le plus performant pour les deux groupes.
    • Option 2 (Parité Moyenne) : Le modèle atteint la précision moyenne des deux groupes pour les deux groupes.
    • Option 3 (Préservation des écarts) : Le modèle conserve les performances observées de chaque groupe (reflétant les différences de distribution).
• Contrôles : Utilisation de scénarios répétés pour vérifier la cohérence, randomisation de l'ordre des questions, et exclusion des participants ne répondant pas attentivement.

3. Contributions Clés

• Opérationnalisation de l'infra-marginalité : L'étude traduit un concept théorique complexe (les taux de base) en métriques de performance compréhensibles (précision spécifique au groupe) pour des utilisateurs non-experts, permettant de tester leur intuition face aux disparités légitimes.
• Décalage entre métriques formelles et perceptions humaines : L'article démontre empiriquement que les définitions d'équité basées sur la parité stricte (comme l'égalité des taux d'erreur) ne correspondent pas toujours aux attentes humaines, surtout lorsque les causes des disparités sont perçues comme légitimes.
• Rôle du contexte distributionnel : Mise en évidence du fait que les jugements d'équité ne dépendent pas uniquement des résultats finaux, mais aussi des croyances sur les causes de ces résultats (biais de données vs difficulté intrinsèque).

4. Résultats Principaux

Les résultats révèlent une dépendance forte des jugements d'équité au contexte informationnel :

1. Influence de la performance spécifique au groupe :

   • Lorsque les performances des groupes étaient égales ou non fournies, les participants préféraient fortement les modèles qui produisaient des résultats égaux (Options 1 et 2), s'alignant sur les définitions classiques de l'équité de groupe.
   • Lorsque des différences de performance étaient visibles (ex: Race A = 95%, Race B = 85%), les participants jugeaient le modèle qui préservait ces différences (Option 3) comme plus équitable. Ils considéraient ces écarts comme légitimes s'ils reflétaient la réalité des données.

2. Impact de la disponibilité des données :

   • Les participants ont intégré les informations sur la quantité de données dans leur raisonnement.
   • Une disparité de performance était jugée plus acceptable si elle était associée à des différences de difficulté de tâche ou de prévalence (sous-entendu par la distribution), mais moins acceptable si elle était attribuée à un déséquilibre biaisé dans la collecte de données.
   • Par exemple, si un groupe avait moins de données mais une performance supérieure, cela était perçu comme un signe de difficulté intrinsèque, rendant la préservation de l'écart plus acceptable.

3. Effet d'ancrage (Anchoring) :

   • Les participants évaluaient l'équité des modèles candidats par rapport aux performances de référence (« ancrage ») des modèles spécifiques aux groupes, plutôt que de manière purement utilitaire (maximisation globale) ou absolue.

5. Signification et Implications

• Limites des métriques d'équité actuelles : Les métriques standard (comme l'égalité des taux d'erreur) risquent d'être perçues comme injustes dans des contextes réels où les distributions de données sont hétérogènes. Imposer la parité aveugle peut nuire à la confiance du public et à la légitimité sociale des systèmes d'IA.
• Conception des systèmes : Les concepteurs de systèmes d'IA doivent aller au-delà de l'optimisation de métriques statistiques strictes. Il est crucial de prendre en compte le contexte distributionnel et de communiquer les causes des disparités aux parties prenantes.
• Vers de nouveaux cadres : L'article plaide pour des cadres d'équité qui intègrent la légitimité des disparités. L'équité ne devrait pas être une égalité absolue à tout prix, mais une gestion transparente des différences inhérentes aux données, alignée sur le raisonnement humain et la réalité des applications (santé, justice, etc.).
• Généralisation : Ces résultats suggèrent que des approches plus fines, comme l'équité des sous-groupes ou l'équité individuelle, pourraient être nécessaires pour gérer la complexité croissante des intersections démographiques et des distributions de données.

En conclusion, cette étude souligne que l'équité algorithmique ne peut être résolue uniquement par des mathématiques ; elle nécessite une compréhension profonde des perceptions humaines et des contextes de données réels pour éviter des interventions contre-productives.