Distributionally Robust Transfer Learning with Structurally Missing Covariates, with Application to Cross-National Cardiac Arrest Prediction

Résumé technique : Apprentissage par transfert robuste aux distributions avec covariables structurellement manquantes

Énoncé du problème
L'article aborde un défi critique dans le déploiement de modèles de prédiction clinique à travers divers systèmes de santé : le scénario où un modèle entraîné dans un environnement « source » à ressources élevées repose sur un ensemble riche de covariables $(X, A)$, mais où l'environnement de déploiement « cible » manque entièrement de covariables $A$ hautement prédictives en raison de différences structurelles dans l'infrastructure de collecte de données. Contrairement aux données manquantes standard où les observations individuelles sont incomplètes, cette « absence structurelle » représente une absence de variables au niveau de la population. De plus, le domaine cible manque souvent de données d'étiquetage des résultats, empêchant l'adaptation supervisée ou le réentraînement.

Les approches existantes échouent dans ce contexte. Les méthodes d'imputation nécessitent des hypothèses intestables sur la distribution de $A$ dans le domaine cible. Les corrections de décalage de covariables (par exemple, la pondération par importance) ne traitent que les différences dans les variables observées $X$ et ne peuvent pas récupérer les informations perdues par l'absence de $A$. L'optimisation robuste aux distributions (DRO) standard construit généralement des ensembles d'incertitude sur la distribution conjointe de toutes les variables, ce qui est excessivement conservateur et ne parvient pas à distinguer entre les covariables observées stables et celles structurellement manquantes.

Méthodologie : Le cadre DRUM
Les auteurs proposent DRUM (Distributionally Robust Unsupervised transfer learning with structurally Missing covariates), un cadre conçu pour transférer des modèles de prédiction vers des populations cibles non étiquetées où $A$ est absent. La philosophie centrale consiste à optimiser la performance prédictive dans le pire des cas sur un ensemble d'incertitude de la distribution conditionnelle cible inconnue $A|X$, plutôt que d'essayer d'imputer $A$ ou de supposer que $A|X$ reste stable.

La méthodologie se déroule en trois étapes :

1. Formulation du problème :
   L'objectif est d'apprendre un prédicteur $m(X)$ en utilisant uniquement les covariables partagées $X$. Les auteurs formulent cela comme un problème minimax :
   $$\min_{m(\cdot)} \max_{P_{A|X} \in \mathcal{C}(\delta)} \mathbb{E}_{X \sim Q_X, A \sim P_{A|X}, Y \sim P^S_{Y|X,A}} \left[ Y^2 - (Y - m(X))^2 \right]$$
   Ici, $\mathcal{C}(\delta)$ est un ensemble d'incertitude de distributions conditionnelles pour $A|X$ dans le domaine cible, contrôlé par un paramètre de robustesse $\delta$. L'objectif maximise la réduction dans le pire des cas de l'erreur quadratique par rapport à un prédicteur nul.

2. Paramétrisation basée sur un générateur et DRO :
   L'optimisation directe sur l'espace infini-dimensionnel des distributions conditionnelles est intraitable. DRUM paramétrise la distribution conditionnelle $A|X$ en utilisant un générateur de réseau de neurones $g_\phi(X, \epsilon)$, où $\epsilon$ est un bruit latent.

   • Ensemble d'incertitude : L'ensemble d'incertitude est défini en utilisant la Distance d'Énergie (via le cadre Engression). L'ensemble $\mathcal{C}_g(\delta)$ contient des générateurs dont le score d'énergie s'écarte du générateur conditionnel source $g^S$ d'au plus $\delta$. Cela permet au modèle d'explorer des distributions conditionnelles qui s'écartent de la source sans nécessiter d'estimation de densité.
   • Optimisation : Le problème est résolu via une approche primale-duale. Un générateur « pire des cas » est entraîné pour minimiser l'erreur quadratique de prédiction attendue sur la cible $X$ (en marginalisant sur le $A$ généré), sous réserve de la contrainte de distance d'énergie.

3. Correction de biais (Orthogonalité de Neyman) :
   Les auteurs identifient que l'estimateur « plug-in » (moyenne du modèle de résultat source $\hat{f}(X, A)$ sur le $A$ généré) hérite de biais du premier ordre de l'estimation de $\hat{f}$. Pour atténuer cela, ils dérivent un estimateur corrigé de biais basé sur l'estimation orthogonale de Neyman et l'ajustement croisé.

   • Ils construisent une pseudo-résultat $F_i$ qui combine les résidus source (repondérés par un rapport de densité $\hat{\omega}$ pour correspondre à la distribution induite par le générateur) et les prédictions plug-in cibles.
   • La régression de cette pseudo-résultat sur $X$ produit un estimateur robuste aux erreurs du premier ordre dans les fonctions de nuisance ($\hat{f}$ et le rapport de densité $\hat{\omega}$), atteignant des taux de convergence paramétriques sous des conditions de produit de taux.

Contributions clés

1. Un nouveau cadre DRO pour l'absence structurelle : DRUM isole l'incertitude spécifiquement à la distribution conditionnelle $A|X$ plutôt qu'à la distribution conjointe, en utilisant un modèle génératif pour paramétriser l'ensemble d'incertitude. Cela évite l'intratabilité de l'optimisation infini-dimensionnelle.
2. Estimation corrigée de biais : L'article dérive un estimateur débiaisé qui réduit la sensibilité aux erreurs d'estimation des fonctions de nuisance, améliorant considérablement les performances sur des échantillons finis dans les simulations et les applications réelles.
3. Application à la prédiction d'arrêt cardiaque hors hôpital (OHCA) transnationale : Le cadre est appliqué à la prédiction des résultats neurologiques après un arrêt cardiaque hors hôpital (OHCA), transférant des modèles du registre US-ROC (données préhospitalières riches) vers les registres asiatiques PAROS (où des variables préhospitalières comme la dose d'épinéphrine et le pH sanguin sont structurellement manquantes).

Résultats

• Simulations : Dans des contextes avec des relations conditionnelles linéaires et non linéaires et des dimensions variables de covariables manquantes, DRUM (en particulier les variantes débiaisées) a considérablement surpassé les bases de référence standard (ERM, DRO, pondération par importance) et les méthodes d'imputation par pseudo-étiquettes. Il a atteint une erreur quadratique moyenne (MSE) normalisée plus faible dans le pire des cas sous divers degrés de décalage distributionnel.
• Application réelle (OHCA) :
  • Calibration : Appliqué à Singapour, au Japon et en Corée, DRUM a produit des prédictions significativement mieux calibrées que les bases de référence. Les bases de référence standard surestimaient systématiquement les résultats favorables en raison du décalage de prévalence et des covariables manquantes, tandis que DRUM suivait de plus près les taux d'événements observés.
  • Performance : Les variantes DRUM-Débiaisées ont obtenu les scores Brier les plus bas et l'erreur d'étalonnage attendue (ECE) la plus faible sur tous les sites.
  • Utilité clinique : À des seuils de probabilité fixes pertinents pour le triage clinique, DRUM-Débiaisé a démontré une précision et une spécificité plus élevées, indiquant que ses probabilités calibrées conduisent à des classifications positives plus fiables par rapport aux bases de référence qui souffraient de taux de faux positifs élevés dus à un mauvais étalonnage.

Signification et affirmations
L'article affirme que DRUM fournit une alternative fondée sur des principes à la dichotomie actuelle dans le déploiement de l'IA clinique : soit restreindre les modèles aux sites ayant une infrastructure de données identique, soit ignorer l'information prédictive en négligeant les covariables manquantes. En tenant explicitement compte de l'incertitude dans la distribution conditionnelle non observée $A|X$ sans s'appuyer sur des hypothèses intestables, DRUM permet le déploiement de modèles à ressources élevées dans des environnements à faibles ressources.

Les auteurs soulignent que l'avantage principal de la méthode réside dans l'étalonnage et la stratification des risques (score Brier, ECE, précision à seuil fixe) plutôt que dans la discrimination globale (AUROC), ce qui est cohérent avec l'objectif du pire des cas pénalisant l'erreur quadratique. Le cadre est présenté comme une solution générale pour tout problème d'apprentissage par transfert où des covariables prédictives sont disponibles lors de l'entraînement mais absentes ou restreintes lors du déploiement, avec des extensions potentielles à l'équité algorithmique et à la prédiction de stabilité pharmaceutique.

L'article reste modeste concernant les limites, notant que la paramétrisation actuelle du générateur suppose des covariables continues, que le cadre gère actuellement une seule population source, et que la dérivation se concentre sur les pertes d'erreur quadratique et d'entropie croisée. Les orientations futures incluent la gestion de variables discrètes/mixtes, l'apprentissage fédéré avec plusieurs sources, et des résultats structurés comme les données de temps jusqu'à l'événement.