Résumé technique : Au-delà de la distribution d'entraînement : Évaluer les prédictions sous l'effet du changement de distribution et du biais de sélection

Énoncé du problème

Les modèles d'apprentissage automatique se dégradent fréquemment lors de leur déploiement dans de nouveaux environnements en raison de deux défis principaux, souvent concomitants : le changement de covariables (covariate shift) et les étiquettes sélectives (selective labels).

• Changement de covariables : La distribution marginale des caractéristiques d'entrée ($P(X)$) diffère entre la population d'entraînement (source) et la population de déploiement (cible), tandis que la relation conditionnelle entre les caractéristiques et les résultats ($P(Y|X)$) reste stable. Une évaluation standard sur un ensemble de test réservé peut masquer une dégradation des performances si les erreurs sont concentrées dans des régions de caractéristiques communes dans l'environnement cible mais rares dans la source.
• Étiquettes sélectives : Dans les domaines à enjeux élevés (ex. : santé, crédit), les étiquettes de résultats ne sont observées que pour les individus sélectionnés par une politique de décision préalable (ex. : les patients qui reçoivent un test de diagnostic). Cela induit un biais de sélection, car les étiquettes observées sont tirées d'un sous-ensemble de la population dépendant de la décision, faisant de l'ensemble de données d'entraînement un reflet inexact de la pleine population de déploiement.

La littérature existante traite généralement ces problèmes de manière isolée. Cet article étudie la présence conjointe du changement de covariables et de l'étiquetage sélectif, un scénario courant dans la prise de décision clinique où des modèles entraînés sur des groupes démographiques spécifiques sont déployés dans des populations diverses, alors que les résultats ne sont observés que pour les patients subissant des protocoles cliniques spécifiques. Le problème central est d'évaluer le risque cible (l'espérance de la perte dans l'environnement de déploiement) d'un modèle de prédiction boîte noire arbitraire lorsque les résultats cibles sont inobservés et que les résultats sources sont observés de manière sélective.

Méthodologie

1. Formalisation et identification du problème

Les auteurs définissent le risque cible $\psi$ comme l'espérance de la perte dans la population cible :
$$\psi := E_T [\ell(f(X), Y)]$$
où $f$ est un prédicteur boîte noire fixe et $\ell$ est une fonction de perte générale.

Pour identifier $\psi$ à partir des données observables, l'article s'appuie sur quatre hypothèses standards :

1. Sélection sur les observables (Source) : Conditionnellement aux covariables $X$, l'observabilité de l'étiquette $D$ est indépendante du résultat $Y$ dans la population source ($Y \perp\!\!\!\perp D \mid X, R=1$).
2. Changement de covariables : La distribution conditionnelle des résultats étant données les caractéristiques est invariante entre les domaines ($P_S(Y|X) = P_T(Y|X)$).
3. Positivité : Chaque profil de covariables a une probabilité positive d'être observé dans la population source.
4. Rapport de vraisemblance borné : Le rapport de densité entre les distributions cible et source est borné.

Sous ces hypothèses, le risque cible est identifié via deux expressions équivalentes (Proposition 3.5) :

1. Espérance cible : $\psi = E_T [\mu(X)]$, où $\mu(X) = E[\ell(f(X), Y) \mid X, R=1, D=1]$ est l'espérance conditionnelle de la perte dans la source.
2. Espérance source avec corrections : $\psi = E_S \left[ \frac{p_T(X)}{p_S(X)} \cdot \frac{D}{\pi_S(X)} \cdot \ell(f(X), Y) \right]$, où $\frac{p_T(X)}{p_S(X)}$ corrige le changement de covariables et $\frac{D}{\pi_S(X)}$ corrige les étiquettes sélectives via la pondération par l'inverse de la propension.

2. Fonction d'influence efficace (EIF)

Les auteurs dérivent la Fonction d'Influence Efficace (EIF) pour l'estimand du risque cible (Proposition 3.6). L'EIF, $\phi(Z; P)$, combine les signaux provenant à la fois des distributions source et cible :
$$\phi(Z; P) = \frac{R D}{\pi(X)} \frac{g(X)}{\rho} (L - \mu(X)) + \frac{1-R}{\rho} (\mu(X) - \psi)$$
où :

• $R$ est l'indicateur de domaine (1 pour la source, 0 pour la cible).
• $D$ est l'indicateur d'observabilité de l'étiquette.
• $\pi(X)$ est le score de propension combiné.
• $g(X)$ est le score de propension de domaine.
• $\rho$ est la proportion de la population cible.
• $L$ est la perte observée.

Le premier terme représente une correction résiduelle pour les unités sources étiquetées, pondérée pour être transportée vers la distribution cible. Le second terme est une estimation "plug-in" pour les unités cibles non étiquetées, centrée par le risque cible.

3. Estimateur de Double Apprentissage Automatique (DML)

En exploitant l'EIF, l'article propose un estimateur de Double Apprentissage Automatique (DML) (Équation 7) :
$$\hat{\psi} = \frac{1}{n} \sum_{i=1}^n \left[ \frac{R_i D_i}{\hat{\pi}(X_i)\hat{g}(X_i)} (L_i - \hat{\mu}(X_i)) + \frac{1-R_i}{\hat{\rho}} \hat{\mu}(X_i) \right]$$
Les caractéristiques clés de cet estimateur incluent :

• Correction de biais : Il utilise la structure de l'EIF pour corriger les biais de premier ordre découlant des erreurs d'estimation des fonctions de nuisance ($\mu, \pi, g$).
• Séparation d'échantillons/Cross-fitting : Les fonctions de nuisance sont estimées sur un échantillon auxiliaire indépendant de l'échantillon d'évaluation afin de garantir la normalité asymptotique.
• Robustesse : L'estimateur est semi-paramétriquement efficace et $\sqrt{n}$-consistant, à condition que les estimateurs de nuisance convergent à un taux de $o_p(n^{-1/4})$. Cela permet l'utilisation de méthodes d'apprentissage automatique flexibles et non paramétriques (ex. : forêts aléatoires, réseaux de neurones) pour l'estimation des nuisances sans exiger de taux paramétriques.

Résultats Clés

Garanties Théoriques

L'article prouve que le proposé estimateur DML est asymptotiquement linéaire et semi-paramétriquement efficace (Théorème 3.7). Cela implique :

• L'estimateur converge vers le véritable risque cible à un taux de $\sqrt{n}$.
• L'estimateur est asymptotiquement normal, permettant la construction d'intervalles de confiance de type Wald valides pour l'évaluation du risque pré-déploiement.
• L'estimateur reste cohérent même si les fonctions de nuisance sont estimées avec des modèles de haute dimension ou complexes, tant que le produit de leurs erreurs est négligeable.

Évaluation Empirique

Les auteurs évaluent la méthode en utilisant la base de données eICU Collaborative Research Database (plus de 200 000 admissions en soins intensifs) et des expériences semi-synthétiques.

• Expériences Semi-Synthétiques : En utilisant des covariables réelles de l'eICU avec des résultats et une observabilité d'étiquette simulés, l'estimateur DML a démontré le biais le plus faible et la RMSE la plus basse par rapport à :
  • Un estimateur "Plug-in" naïf (repondérant pour le changement et la sélection).
  • Un estimateur de changement de covariables (CS) uniquement (ignorant le biais de sélection).
  • Un estimateur d'étiquettes sélectives (SL) uniquement (ignorant le changement de covariables).
  • Les résultats ont montré que traiter une seule source de biais conduit à une représentation erronée systématique du risque de déploiement, surtout lorsque la force de sélection augmente.
• Expériences en Monde Réel : Appliqué à quatre résultats cliniques (BNP, Troponine-I, CK, Hypoxémie) où les étiquettes ne sont observées que lorsque des tests de laboratoire spécifiques sont commandés. L'estimateur DML a produit des estimations de risque qui différaient significativement des bases de référence dans plusieurs hôpitaux, soulignant que l'ignorance de la nature conjointe du changement et de la sélection peut conduire à une sous-estimation ou une surestimation du risque du modèle dans de nouveaux contextes cliniques.
• Tests de Robustesse : L'estimateur a montré une robustesse raisonnable aux violations des hypothèses de positivité et de rapport de vraisemblance borné. Cependant, comme prévu, les performances se sont dégradées en cas de violations de la sélection sur les observables (facteurs de confusion non observés) et du changement de résultat conditionnel, bien qu'il soit resté compétitif par rapport aux autres références.

Signification et Revendications

L'article affirme être le premier à formaliser et à fournir une solution pour évaluer les prédicteurs boîte noire sous la présence simultanée du changement de covariables et de l'étiquetage sélectif.

• Impact Pratique : Ce travail fournit un cadre rigoureux pour l'évaluation pré-déploiement dans des domaines à enjeux élevés comme la santé, où les modèles sont souvent entraînés sur une population mais déployés sur une autre, et où les données de résultats sont intrinsèquement incomplètes en raison des processus de décision clinique.
• Contribution Méthodologique : En établissant l'identification du risque cible et en dérivant la fonction d'influence efficace, l'article comble le fossé entre la littérature sur le changement de distribution et celle sur l'étiquetage sélectif. Il démontre qu'une inférence valide est possible même lorsque les étiquettes cibles sont entièrement inobservées et que les étiquettes sources sont biaisées.
• Équité et Sécurité : Les auteurs soulignent que le fait de ne pas tenir compte de ces défis conjoints peut représenter de manière systématiquement erronée les performances du modèle pour les sous-populations sous-représentées, perpétuant potentiellement les inégalités. Leur méthode permet aux praticiens d'évaluer les propriétés d'équité et de sécurité de manière plus précise avant le déploiement.
• Applicabilité Plus Large : Bien que centré sur les contextes cliniques, le cadre est applicable à tout domaine impliquant des modèles de fondation ou des LLM où le feedback est observé de manière sélective et où les distributions de déploiement diffèrent des distributions d'entraînement.

Les auteurs maintiennent une position modeste, reconnaissant que l'identification repose sur des hypothèses substantielles (ex. : la sélection sur les observables) qui peuvent échouer en pratique (ex. : si les décisions cliniques dépendent d'une sévérité non mesurée). Ils suggèrent que bien que leur méthode offre une tolérance aux petites violations, les travaux futurs pourraient se concentrer sur l'assouplissement de ces hypothèses ou sur la collecte de données adaptative.