Résumé technique : Une borne supérieure pratique sur les effets du biais de sélection dans les modèles de prédiction médicale

Énoncé du problème

Le biais de sélection est un problème omniprésent dans les données du monde réel qui compromet la généralisabilité des modèles d'apprentissage automatique, particulièrement dans les domaines à enjeux élevés comme la santé. Lorsque des modèles sont entraînés sur des données biaisées (par exemple, des dossiers hospitaliers spécifiques ou des biobanques basées sur le volontariat) et déployés sur une population cible plus large, ils peuvent échouer de manière catastrophique, risquant de réifier la discrimination contre les groupes sous-représentés.

Les méthodes existantes pour évaluer la généralisabilité des modèles sous l'effet d'un biais de sélection souffrent d'hypothèses irréalistes. Les techniques telles que l'estimation du rapport de densité nécessitent un accès complet à la distribution cible, tandis que la pondération par l'inverse de la probabilité (IPW) suppose l'observabilité complète des variables causant la sélection. En pratique, les praticiens manquent souvent d'accès à des échantillons représentatifs de la population cible (en raison du coût ou de la confidentialité) et n'observent que rarement le mécanisme de sélection explicite. Par conséquent, il existe un manque d'outils fondés sur des principes et pratiques pour auditer les modèles de biais de sélection avant leur déploiement.

Méthodologie

Les auteurs proposent un nouveau cadre pour estimer une borne supérieure pratique sur la performance dans le pire des cas (perte attendue) sur une population cible non observée. La méthode opère dans un contexte réaliste d'observabilité partielle :

1. Données observées : Un ensemble de données biaisées $D_P$ (où l'indicateur de sélection $S=1$) contenant des covariables $X$, des résultats $Y$, et un sous-ensemble de variables de sélection $\tilde{U}$.
2. Contraintes de la cible : L'accès à la distribution cible $Q$ est limité à :
   • Un sous-ensemble de variables de sélection $\tilde{U}$ (entièrement observées).
   • Des statistiques de résumé marginales (moyennes et variances) pour toutes les variables candidates.
   • Aucun échantillon direct de $(X, Y)$ provenant de la distribution cible $Q$.

Composants théoriques clés

La méthode repose sur trois hypothèses fondamentales :

• Indépendance conditionnelle : L'indicateur de sélection $S$ est indépendant de $(X, Y)$ étant donné l'ensemble complet des variables de sélection $U$.
• Support commun : La distribution biaisée $P$ et la distribution cible $Q$ partagent un support commun.
• Perte non négative : La fonction de perte $\ell$ est non négative.

Sous ces hypothèses, les auteurs dérivent une borne supérieure $\hat{R}_Q$ pour la perte attendue $R_Q$ sur la distribution cible :
$$R_Q \leq \hat{R}_Q := E_P \left[ w(\tilde{U}) \cdot \phi(\tilde{X}, Y, U^*) \cdot \ell(f_P(\tilde{X}), Y) \right]$$
Où :

• $w(\tilde{U})$ est un poids de propension dérivé du rapport des densités marginales $p(\tilde{U}) / p(\tilde{U}|S=1)$.
• $\phi(\tilde{X}, Y, U^*)$ est un facteur de pire cas défini comme le rapport maximal des densités conditionnelles sur l'espace des variables de sélection non observées $U^* = U \setminus \tilde{U}$.

Mise en œuvre pratique

Pour rendre la borne traitable, les auteurs introduisent deux heuristiques :

1. Identification heuristique de $U^*$ : Puisque $U^*$ est inconnu, les auteurs proposent un algorithme d'appariement de moments. Cet algorithme traite le processus de sélection comme une fonction logistique et utilise les statistiques de résumé observées de $Q$ pour résoudre les coefficients identifiant quelles variables restantes dans l'ensemble de données biaisées sont probablement des moteurs de la sélection. Les variables ayant des coefficients non nuls dans l'intervalle de confiance sont nommées $U^*$.
2. Outils de diagnostic : Pour évaluer la validité de la borne en pratique (là où les hypothèses pourraient être violées), les auteurs proposent trois diagnostics :
   • Test KS : Évalue le chevauchement entre les distributions de propension dans $P$ et $Q$.
   • Effet de conception du poids ($d_{eff}$) : Mesure la stabilité des poids résultants pour détecter un manque de support commun.
   • Invariance de la propension : Un nouveau test pour approximer l'hypothèse d'indépendance conditionnelle en vérifiant si la distribution des covariables reste invariante à travers différentes classes de scores de propension.

Contributions clés

1. Formulation de problème réaliste : Ce travail comble l'écart entre les bornes théoriques et les contraintes pratiques en ne nécessissant qu'une observabilité partielle du mécanisme de sélection et de la distribution cible (spécifiquement, les statistiques marginales et un sous-ensemble de variables de sélection).
2. Nouvelle borne supérieure : Les auteurs dérivent une borne supérieure théorique sur l'erreur de généralisation qui modélise explicitement le processus de sélection sans nécessiter la connaissance complète du mécanisme sous-jacent ou de la densité jointe de la distribution cible.
3. Estimation et diagnostics traitables : Le papier fournit un algorithme pratique pour nommer les variables de sélection non observées et une suite d'outils de diagnostic pour aider les praticiens à interpréter la borne et à détecter les violations d'hypothèses.
4. Validation empirique : La méthode est validée par des données entièrement synthétiques, des données semi-synthétiques du programme de recherche All of Us, et un biais de sélection réel dans MIMIC-IV.

Résultats

Les auteurs évaluent leur méthode par rapport à des lignes de base incluant l'IPPW (pondération par l'inverse de la probabilité de participation) naïve, le calibrage empirique, l'équilibrage d'entropie et le raking.

• Validité et étroitesse : Dans les expériences avec des données synthétiques et All of Us, la borne proposée (utilisant l'heuristique $U^*$) a produit des bornes supérieures valides (c'est-à-dire $\hat{R}_Q \geq R_Q$) dans 97 % des tâches pour All of Us et 90 % pour les données synthétiques. En revanche, la meilleure ligne de base suivante (IPPW) n'a atteint la validité que dans 82 % des tâches et a fréquemment sous-estimé l'erreur réelle.
• Robustesse : La méthode est restée robuste même lorsque le nombre de variables de sélection observées $\tilde{U}$ était limité (par exemple, $dim(\tilde{U})=1$).
• Application au monde réel : Dans les expériences MIMIC-IV, la méthode a identifié avec succès les écarts de généralisation pour des tâches telles que la prédiction de l'hypertension et du diabète de type 2. Pour la tâche de prédiction de la mortalité (où l'erreur cible réelle était inconnue), la méthode a fourni une borne non vacueuse, cohérente avec la littérature antérieure suggérant que les données hospitalières d'un site unique généralisent souvent mal.
• Performance de l'heuristique : L'heuristique d'appariement de moments pour identifier $U^*$ a obtenu des scores F2 de 0,84 (synthétique) et 0,81 (All of Us), approchant de près la performance d'un oracle qui connaît le vrai $U^*$.

Signification et affirmations

Les auteurs positionnent ce travail comme un outil pratique d'audit de modèle plutôt que comme une solution parfaite. Ils affirment que leur méthode permet aux praticiens de :

• Estimer l'impact du biais de sélection dans des contextes où les données cibles sont autrement intraitables.
• Prendre des décisions de déploiement éclairées : Si la borne supérieure estimée est faible et que les diagnostics d'hypothèses sont satisfaits, le déploiement peut procéder en toute confiance. Si la borne est élevée ou si les diagnostics indiquent des violations, les praticiens sont guidés pour retarder le déploiement, collecter des données plus représentatives ou appliquer des techniques de débiaisage.
• Éviter la "fausse confiance" souvent fournie par les méthodes de repondération existantes qui ont tendance à sous-estimer l'erreur de généralisation.

Le papier conclut en notant des limites, notamment un accent sur les données catégorielles de faible dimension (bien que des extensions aux données continues soient discutées) et la difficulté inhérente de l'estimation de densité. Cependant, les auteurs affirment que le cadre proposé offre une étape fondamentale vers des modèles de prédiction médicale plus sûrs et plus généralisables.