Reliable fairness auditing with semi-supervised inference

Résumé technique : Audit fiable de l'équité par inférence semi-supervisée

Énoncé du problème
Les modèles d'apprentissage automatique déployés dans des applications biomédicales présentent souvent des biais qui exacerbent les inégalités au sein de sous-populations définies par des attributs protégés (par exemple, la race, le sexe). L'identification et l'atténuation de ces biais nécessitent un « audit de l'équité de groupe », un processus qui évalue les métriques de performance du modèle (telles que le taux de vrais positifs, le taux de faux positifs ou l'étalonnage) à travers différents groupes. Cependant, un audit fiable exige généralement de grands volumes de données étiquetées pour détecter des disparités de performance subtiles. Dans les contextes biomédicaux, l'obtention de telles étiquettes est coûteuse et laborieuse, nécessitant souvent une expertise clinique spécialisée (par exemple, l'annotation d'images médicales ou de résumés de sortie). Par conséquent, les audits d'équité fonctionnent fréquemment dans un cadre semi-supervisé (SS) : un petit ensemble de données étiquetées est disponible, accompagné d'un ensemble de données non étiquetées beaucoup plus important. Les méthodes d'audit supervisées traditionnelles ignorent les données non étiquetées, ce qui entraîne une variance élevée et une puissance réduite pour détecter les disparités. Les méthodes SS existantes pour l'audit d'équité sont soit limitées à des métriques spécifiques, soit reposent sur des hypothèses paramétriques qui peuvent conduire à une inférence biaisée si elles sont violées, soit échouent à exploiter les covariables auxiliaires disponibles lors de l'audit.

Méthodologie : Le cadre Infairness
Les auteurs proposent Infairness, un cadre unifié d'inférence semi-supervisée conçu pour auditer un large éventail de critères d'équité en exploitant à la fois les données étiquetées et non étiquetées. Le cœur de la méthode consiste à imputer les résultats manquants ($Y$) dans les données non étiquetées en utilisant un modèle de régression conditionné aux prédictions du modèle ($S$) et aux covariables auxiliaires ($W$).

1. Configuration du problème : Le cadre suppose un ensemble de données de validation composé de $n$ échantillons étiquetés $\{(Y_i, X_i, W_i, A_i)\}$ et de $N$ échantillons non étiquetés $\{(X_i, W_i, A_i)\}$, où $A$ est un attribut protégé catégoriel. L'objectif est d'estimer les métriques de performance spécifiques aux groupes ($M_a$) et leurs différences ($\Delta M$) avec une efficacité supérieure à l'estimation supervisée.
2. Stratégie d'imputation : Pour les métriques dépendant du résultat $Y$ (par exemple, TPR, FPR), la méthode estime l'espérance conditionnelle $E(Y | S, W, A=a)$ en utilisant un modèle de travail. Ce modèle utilise des fonctions de base non linéaires flexibles (spécifiquement des splines cubiques naturelles) de la prédiction $S$ et des covariables auxiliaires $W$. Les paramètres sont estimés via une équation d'estimation pénalisée sur les données étiquetées.
3. Estimation : Les résultats manquants dans les données non étiquetées sont imputés à l'aide du modèle ajusté. Les métriques spécifiques aux groupes sont ensuite calculées en moyennant ces imputations sur le grand ensemble de données non étiquetées au sein de chaque groupe. Pour les métriques indépendantes de $Y$ (par exemple, celles dépendant uniquement de $S$ ou $D$), la méthode se contente de moyenner sur les données non étiquetées, ce qui réduit intrinsèquement la variance en raison de la plus grande taille de l'échantillon.
4. Robustesse : Le cadre est conçu pour être robuste à la spécification du modèle d'imputation. En incluant une constante, la prédiction $S$ et la classification $D$ dans les fonctions de base, l'estimateur reste cohérent même si la forme fonctionnelle du modèle d'imputation est mal spécifiée, à condition que la base inclue ces termes clés.

Contributions clés et résultats théoriques

• Cadre unifié : Infairness fournit une approche générale applicable à un large spectre de métriques d'équité (précision, discrimination, étalonnage) et ne repose pas sur les hypothèses paramétriques restrictives des méthodes SS d'équité précédentes (par exemple, l'étalonnage Beta).
• Cohérence et validité : Les auteurs démontrent que l'estimateur Infairness est cohérent pour les métriques d'équité cibles et que les procédures d'inférence (intervalles de confiance) sont valides sous des conditions de régularité standard, même lorsque le modèle d'imputation n'est pas parfaitement spécifié.
• Gains d'efficacité : L'analyse théorique démontre que l'estimateur Infairness présente une variance asymptotique plus faible que l'estimateur supervisé. Plus précisément, si le modèle d'imputation capture des informations sur $Y$ au-delà de ce qui est contenu dans $S$ seul (c'est-à-dire $E(Y|S, W, A) \neq E(Y|A)$), la variance est strictement réduite.
• Robustesse à la mauvaise spécification : Contrairement aux méthodes qui supposent une forme paramétrique spécifique pour la relation entre les prédictions et les résultats, Infairness utilise des expansions de base flexibles. Les résultats théoriques montrent que l'estimateur reste cohérent même si le modèle de travail est mal spécifié, tant que les fonctions de base incluent les termes nécessaires (constante, $S$, $D$).

Résultats empiriques
L'article évalue Infairness par le biais d'études de simulation extensives et de deux audits biomédicaux réels :

1. Études de simulation :

   • Dans des configurations stylisées, Infairness a fourni de manière cohérente des estimations non biaisées avec des probabilités de couverture nominales, tandis que les méthodes paramétriques (étalonnage Beta) souffraient d'un biais significatif et d'une sous-coverage lorsque leurs hypothèses étaient violées.
   • Dans des configurations traditionnelles avec des mécanismes de génération de données complexes (non-linéarités, interactions, structures basées sur des arbres), Infairness a maintenu un faible biais et une couverture proche de la valeur nominale.
   • Efficacité : Infairness a systématiquement surpassé l'estimation supervisée et les bases non paramétriques. Lorsque les covariables auxiliaires ($W$) contenaient des informations sur $Y$, les modèles incorporant $W$ (par exemple, Infairness($S \times W$)) ont réalisé des gains d'efficacité relatifs de 10 à 37 % par rapport aux méthodes ignorant $W$.

2. Applications réelles :

   • Phénotypage des DSE (Dépression) : Audit d'un modèle de détection de la dépression à travers des groupes raciaux utilisant les données MIMIC-III ($n=872$ étiquetés, $N=28\,766$ non étiquetés). Infairness a réduit la variance des estimations de disparité d'environ 43,5 % par rapport à l'estimation supervisée, équivalent à la nécessité de 43,5 % d'échantillons étiquetés en moins pour atteindre la même précision.
   • Imagerie médicale (Radiographie thoracique) : Audit d'un classificateur de cardiomegalie à travers des groupes de sexe ($n=500$ étiquetés, $N=64\,740$ non étiquetés). Infairness a réduit la variance de 60,9 % pour la disparité du TPR et de 56,3 % pour la disparité du FPR par rapport à l'estimation supervisée.

Signification et affirmations
L'article affirme qu'Infairness offre une solution pratique et statistiquement rigoureuse au goulot d'étranglement de la « rareté des étiquettes » dans l'audit d'équité biomédical. En exploitant efficacement les données non étiquetées abondantes et les covariables auxiliaires, la méthode permet une détection plus puissante des disparités de performance des sous-groupes sans augmenter le coût de l'annotation des données. Les auteurs soulignent que la méthode ne sacrifie pas la validité à l'efficacité ; elle garantit une estimation cohérente et une inférence valide sans dépendre d'hypothèses paramétriques fortes qui pourraient conduire à des conclusions surconfiantes et déformées concernant l'équité du modèle. Ce travail souligne la valeur de l'inférence semi-supervisée pour garantir que les modèles d'IA en santé sont déployés de manière responsable et équitable.