Integrating Group and Individual Fairness Auditing in Clinical AI: A Post-Hoc, Model-Agnostic Approach

Ce papier présente EquiLense, un outil d'audit pratique, a posteriori et indépendant du modèle qui comble le fossé entre les évaluations de l'équité au niveau des groupes et au niveau individuel dans l'IA clinique en utilisant une nouvelle métrique appelée différence moyenne de probabilité prédite (MPPD) pour identifier des incohérences systématiques de prédiction entre les groupes démographiques.

L'essentiel

Imaginez que vous ayez un assistant automatisé très intelligent qui aide les médecins à prédire comment un patient pourrait se porter après une opération. Cet assistant est excellent dans l'ensemble, mais une inquiétude persiste : le traite-t-il équitablement tous ?

Parfois, ces assistants peuvent être injustes de deux manières différentes :

1. Injustice de groupe : Il donne systématiquement de pires prédictions pour un groupe entier de personnes (comme une race ou un genre spécifique) par rapport à un autre.
2. Injustice individuelle : Il traite deux patients médicalement identiques (même âge, mêmes problèmes de santé, même opération) différemment simplement parce qu'ils appartiennent à des groupes différents.

Le problème est que la plupart des outils utilisés pour vérifier l'équité ne regardent que l'un de ces angles. Ils peuvent vérifier si le groupe A obtient de pires scores que le groupe B, mais ils passent à côté du fait que deux patients spécifiques et identiques sont traités différemment. Ou ils vérifient si des patients identiques sont traités de la même manière, mais ils manquent la vue d'ensemble du biais systémique contre un groupe entier.

Voici « EquiLense » : les lunettes de l'équité

Les auteurs de cet article ont créé un nouvel outil appelé EquiLense. Imaginez-le comme une paire de « lunettes d'équité » qu'un médecin ou un développeur peut enfiler après que le modèle d'IA est déjà construit et opérationnel. Vous n'avez pas besoin de reconstruire le moteur ; vous regardez simplement à travers les lunettes pour voir ce qui se passe réellement.

EquiLense fait trois choses principales pour offrir une image complète :

1. La vérification de groupe : Il examine la vue d'ensemble pour voir si certains groupes démographiques obtiennent systématiquement de pires prédictions que d'autres.
2. La vérification individuelle : Il trouve des paires de patients qui sont des jumeaux médicaux (même âge, même historique de santé) et vérifie si l'IA leur donne la même prédiction. Si elle donne à l'un un score de « risque élevé » et à l'autre un score de « risque faible » simplement à cause de leur race ou de leur assurance, c'est un signal d'alarme.
3. La « Différence Moyenne de Probabilité Prédite » (MPPD) : C'est l'ingrédient secret de l'article. C'est une nouvelle façon de mesurer l'écart entre ces « jumeaux médicaux ».

Voici une analogie simple pour la MPPD :
Imaginez que vous soyez un juge condamnant deux personnes ayant commis exactement le même crime avec exactement le même historique.

• Équité : Les deux reçoivent 5 ans.
• Injustice : L'un reçoit 5 ans, et l'autre reçoit 10 ans simplement parce qu'ils viennent d'un quartier différent.

La MPPD est comme une règle qui mesure exactement combien de temps supplémentaire la deuxième personne a obtenu par rapport à la première, en moyenne, dans toute la salle d'audience. Elle quantifie le « fossé d'injustice » entre des personnes qui devraient être traitées de la même manière.

Qu'ont-ils découvert ?

L'équipe a testé EquiLense sur de vraies données hospitalières impliquant plus de 59 000 patients opérés. Ils ont examiné des modèles prédisant deux choses : le delirium (confusion après l'opération) et la réadmission (retour à l'hôpital dans les 30 jours).

• La surprise : Les modèles d'IA étaient en fait assez bons pour prédire les résultats dans l'ensemble (ils étaient précis). Cependant, lorsqu'ils ont mis les lunettes EquiLense, ils ont découvert que les modèles traitaient encore différemment les « jumeaux médicaux » en fonction de la race.
• L'exemple spécifique : Pour des patients médicalement identiques aux patients blancs, les patients asiatiques recevaient systématiquement des prédictions différentes (et moins équitables). L'« écart » dans leurs scores était mesurable et significatif.
• Le test de correction : Ils ont tenté une expérience simple : ils ont demandé à l'IA d'ignorer la race et le type d'assurance lors de ses prédictions. Lorsqu'ils l'ont fait, l'« écart d'injustice » (le score MPPD) a diminué de manière significative. Cela suggère que supprimer simplement ces points de données spécifiques du « cerveau » du modèle l'a rendu plus équitable envers des patients similaires, sans rendre le modèle moins performant dans son travail.

Est-ce que cela a fonctionné sur d'autres problèmes ?

Pour s'assurer que leur nouvelle règle (MPPD) fonctionnait réellement, ils l'ont testée sur deux ensembles de données non médicaux célèbres où des biais étaient déjà connus pour exister :

1. COMPAS : Un outil utilisé pour prédire si des criminels récidiveront. (Nous savons que cet outil a historiquement été biaisé contre les défendeurs noirs).
2. UCI Adult Income : Un ensemble de données prédisant si quelqu'un gagne plus de 50 000 $. (Nous savons qu'il existe un biais historique lié au genre).

Le résultat : La métrique MPPD d'EquiLense a correctement signalé les groupes exacts que nous savions déjà être traités injustement (les défendeurs noirs dans les données COMPAS et les femmes dans les données sur les revenus). Cela a prouvé que l'outil fonctionne.

Pourquoi cela importe-t-il ?

L'article soutient que nous avons besoin d'un outil qui ne nous oblige pas à jeter nos modèles d'IA actuels et à repartir de zéro (ce qui est coûteux et difficile). Au lieu de cela, nous avons besoin d'un moyen de les auditer après leur construction.

EquiLense est comme un inspecteur de contrôle qualité pour l'IA dans le domaine de la santé. Il ne répare pas la machine pour vous, mais il vous fournit un bulletin de notes clair et facile à comprendre qui dit : « Hé, votre machine est bonne en mathématiques, mais elle traite ces deux patients identiques différemment simplement à cause de leur origine. »

Cela permet aux médecins et aux développeurs de prendre des décisions éclairées, comme décider de supprimer certains points de données (comme la race) du modèle pour le rendre plus équitable, sans avoir besoin d'être des wizards des mathématiques ou de reconstruire l'ensemble du système à partir de zéro.

Résumé technique

1. Énoncé du problème

L'intégration de l'IA dans la prise de décision clinique soulève des préoccupations éthiques critiques concernant l'équité algorithmique. Les cadres actuels d'évaluation de l'équité souffrent de fragmentation :

• Équité de groupe : Les métriques (par exemple, la parité démographique, l'égalité des chances) évaluent les disparités entre les groupes démographiques, mais obscurcissent souvent les variations au niveau des patients. Un modèle peut sembler équitable au niveau du groupe tout en traitant de manière incohérente des individus cliniquement similaires.
• Équité individuelle : Les métriques garantissent que des individus similaires reçoivent des prédictions similaires. Cependant, elles sont rarement adoptées dans le secteur de la santé en raison de la difficulté à définir la « similarité clinique » et de l'absence d'outils opérationnels. Les approches existantes nécessitent souvent un réentraînement du modèle, des architectures spécifiques (par exemple, réseaux de neurones à graphes) ou des spécifications complexes de graphes causaux (équité contrefactuelle), ce qui les rend peu pratiques pour l'audit de modèles déjà déployés.

Le vide : Il manque d'outils pratiques, a posteriori et agnostiques du modèle permettant d'évaluer simultanément les disparités au niveau du groupe et la cohérence des prédictions au niveau individuel dans des contextes cliniques.

2. Méthodologie : Le cadre EquiLense

Les auteurs présentent EquiLense, un outil d'audit a posteriori et agnostique du modèle conçu pour faire le lien entre l'équité de groupe et l'équité individuelle. Il se compose de trois composants principaux :

A. Évaluation de l'équité de groupe

L'outil calcule des métriques de disparité standard selon des attributs sensibles (par exemple, race, sexe, type d'assurance) :

• Différence de parité démographique (DPD)
• Différence d'égalité des chances (EOD)
• Cotes égales (EO)
• Indice de disparité de la distribution des erreurs (EDDI) : Une métrique nouvelle conçue pour les contextes cliniques avec des tailles de groupes diverses et un déséquilibre de classes.

B. Évaluation de l'équité individuelle

L'outil mesure la cohérence des prédictions parmi des patients cliniquement similaires.

• Définition de la similarité : Les utilisateurs peuvent définir la similarité clinique en fonction de caractéristiques spécifiques (par exemple, âge, IMC, indice de comorbidité de Charlson) en utilisant des métriques basées sur la distance (par exemple, similarité cosinus).
• Flexibilité : Le cadre permet aux utilisateurs d'ajuster les seuils de similarité et les ensembles de caractéristiques pour correspondre à des contextes cliniques spécifiques.

C. Différence moyenne de probabilité prédite (MPPD)

Il s'agit de la contribution méthodologique nouvelle de l'article, conçue pour opérationnaliser l'équité individuelle tout en capturant les effets au niveau du groupe.

• Concept : Le MPPD quantifie la différence absolue moyenne des probabilités prédites entre des patients cliniquement similaires appartenant à différents groupes démographiques.
• Mise en œuvre :
  1. Basé sur une référence : Identifie un groupe de référence (par exemple, patients blancs) et les apparie avec des patients cliniquement similaires d'autres groupes. Il calcule l'écart de prédiction.
  2. Par paires : Effectue un appariement bidirectionnel entre toutes les combinaisons de groupes (par exemple, Noir-Blanc, Asiatique-Hispanique) pour créer une matrice symétrique de scores de disparité. Cela évite de supposer un seul groupe de référence « équitable » et met en évidence les disparités entre les groupes minoritaires.
• Avantage : Contrairement à l'équité contrefactuelle, le MPPD repose sur des données observées et réelles plutôt que sur des contreparties synthétiques ou des graphes causaux non vérifiés, ce qui le rend efficace sur le plan computationnel et interprétable pour les cliniciens.

3. Conception de l'étude et données

• Cohorte clinique : 59 047 patients chirurgicaux d'un grand centre médical universitaire (2012–2022).
• Résultats :
  1. Délirium post-chirurgical (identifié via les codes CIM, les scores CAM et le TAL des notes cliniques).
  2. Réadmission hospitalière sous 30 jours.
• Modèles : Classificateurs de régression logistique et XGBoost entraînés sur des caractéristiques cliniques (âge, IMC, CCI, antécédents de santé mentale, etc.). Les attributs sensibles (race, sexe, assurance) ont été inclus ou exclus pour tester leur impact.
• Références externes : Validation du MPPD sur deux ensembles de données présentant des biais historiques connus :
  1. COMPAS : Prédiction de la récidive (n=6 172).
  2. UCI Adult Income : Prédiction des revenus (n=32 561).

4. Résultats clés

Application clinique (Modèles chirurgicaux)

• Performance : Le modèle XGBoost a atteint un AUROC de 0,78 pour le délirium et de 0,61 pour la réadmission. Le retrait des attributs sensibles a eu un impact négligeable sur la performance prédictive.
• Équité de groupe : Les métriques standard ont montré des disparités modérées, en particulier dans la distribution des erreurs (EDDI).
• Équité individuelle (MPPD) :
  • Le MPPD a révélé des incohérences systématiques : Parmi les patients cliniquement similaires aux patients blancs, les patients asiatiques présentaient la plus grande disparité de prédiction (différence MPPD = 0,045).
  • Sensibilité aux caractéristiques : L'exclusion des attributs sensibles (race/ethnie) de l'entraînement du modèle a considérablement réduit les scores MPPD, indiquant une amélioration de la cohérence sans sacrifier la précision.
  • Analyse par paires : La matrice par paires a mis en évidence des disparités entre les groupes minoritaires que les méthodes basées sur une référence pourraient manquer.

Validation par référence externe

• COMPAS : Le MPPD a correctement identifié la plus forte disparité pour les défendeurs afro-américains, cohérent avec les biais connus dans le scoring de récidive.
• UCI Adult Income : Le MPPD a attribué le score de disparité le plus élevé aux travailleurs femmes, en accord avec le biais de genre documenté dans la prédiction des revenus.
• Conclusion : Le MPPD a détecté avec succès des biais avérés dans des ensembles de données non cliniques, validant son utilité en tant que métrique de dépistage.

5. Contributions clés

1. Outil EquiLense : Un cadre unifié et a posteriori qui intègre les métriques d'équité de groupe et individuelle sans nécessiter de réentraînement du modèle.
2. Métrique MPPD : Une métrique nouvelle et interprétable qui comble le fossé entre la disparité de groupe et la cohérence individuelle en comparant de vrais patients observés. Elle est légère sur le plan computationnel et ne nécessite pas de spécification de graphe causal.
3. Applicabilité pratique : L'outil est agnostique du modèle (fonctionne avec n'importe quel classificateur) et permet aux cliniciens de définir la « similarité » en fonction de leurs connaissances métier, le rendant directement applicable à l'audit réel des soins de santé.
4. Preuve empirique : Démontre qu'une performance globale élevée du modèle ne garantit pas l'équité ; les modèles peuvent traiter systématiquement de manière différente des patients cliniquement similaires en fonction des attributs démographiques.

6. Importance et limites

Importance :

• Combler le vide : EquiLense adresse le « point aveugle » où les métriques de groupe manquent les incohérences individuelles et où les métriques individuelles manquent de contexte systémique.
• Informations exploitables : En permettant des analyses de sensibilité (par exemple, retrait des caractéristiques sensibles), l'outil aide les praticiens à prendre des décisions éclairées concernant le déploiement du modèle et la sélection des caractéristiques pour atténuer les biais.
• Utilité a posteriori : Il répond à un besoin critique d'audit des modèles déjà en production, une étape où les stratégies d'atténuation lors de l'entraînement ne sont plus applicables.

Limites :

• Causalité : Le MPPD est une métrique basée sur la corrélation ; il signale les incohérences mais ne peut pas déterminer si elles sont dues à un biais algorithmique ou à des distinctions cliniquement appropriées.
• Définition de la similarité : La précision de l'équité individuelle dépend de la définition subjective de l'utilisateur de la « similarité clinique ». Une mauvaise sélection de caractéristiques ou des données bruyantes peuvent fausser les résultats.
• Impact en aval : L'outil audite les sorties du modèle mais n'évalue pas les conséquences cliniques en aval (par exemple, les changements réels dans les soins aux patients ou les résultats de santé).
• Taille de l'échantillon : Les estimations pour les petits sous-groupes (par exemple, les patients amérindiens dans l'étude) doivent être interprétées avec prudence.

Conclusion

L'article présente EquiLense comme une étape vitale vers l'opérationnalisation de l'équité dans l'IA clinique. En combinant des métriques de groupe établies avec le nouveau MPPD, il offre une approche complète, interprétable et pratique pour auditer les modèles déployés, garantissant que les systèmes d'IA font progresser l'équité en santé plutôt que de la compromettre.