Résumé Technique : Décalage de Distribution dans l'Imputation de Données Manquantes

Formulation du Problème

L'article aborde le défi fondamental de l'imputation de données manquantes, en se concentrant spécifiquement sur la divergence entre la distribution des données observées utilisée pour l'entraînement et la distribution complète des données requise pour l'évaluation. Alors que de nombreuses méthodes d'imputation de pointe (par exemple, GAIN, MIWAE, MICE, MissForest) opèrent dans un cadre de minimisation du risque, elles entraînent généralement sur les entrées observées sans corriger explicitement le décalage de distribution induit par le mécanisme de manquance.

Les auteurs formalisent le problème comme la minimisation du risque d'erreur quadratique moyenne (MSE) sur la distribution complète des données. Ils démontrent que lorsque la probabilité de manquance dépend des données (spécifiquement sous l'hypothèse de Données Manquantes au Hasard (MAR)), la distribution d'entraînement (données observées) et la distribution cible (données complètes) diffèrent. Cela crée un problème de décalage de covariables où la minimisation empirique standard du risque sur les données observées produit des estimateurs biaisés pour le risque sur les données complètes.

Méthodologie

Fondement Théorique

La contribution théorique centrale est la dérivation du risque d'imputation comme une espérance pondérée par l'importance sur les données observées.

• Décomposition du Risque : Le risque MSE global est décomposé en une somme de risques coordonnée par coordonnée. Pour une coordonnée spécifique $i$ avec manquance, le risque $J_i(g_i)$ est défini sur la sous-population non observée ($R_i=0$).
• Lien avec le Décalage de Covariables : Sous l'hypothèse MAR ($p(r|x) = p(r|x_{obs})$) et une condition de chevauchement, les auteurs montrent que le risque sur la sous-population non observée peut être réécrit comme une espérance sur la sous-population observée ($R_i=1$) pondérée par un facteur d'importance :
  $$w_i(x_{obs}, r_{\neg i}) = \frac{p(x_{obs}, r_{\neg i} | R_i = 0)}{p(x_{obs}, r_{\neg i} | R_i = 1)}$$
  Ce poids corrige le décalage dans la distribution marginale des covariables entre les groupes observés et non observés. Il est démontré que les méthodes existantes omettent implicitement ce terme de pondération, optimisant ainsi efficacement pour la mauvaise distribution.

Algorithme Proposé : Imputation Itérative Pondérée

Pour opérationnaliser cette théorie, les auteurs proposent un algorithme d'Imputation Itérative Pondérée (Algorithme 1), qui étend l'approche itérative standard en roue de secours (par exemple, MICE, HyperImpute).

1. Cadre Itératif : L'algorithme parcourt les variables partiellement observées. À chaque étape, un modèle d'imputation conditionnelle $g_i$ est ajusté pour la variable cible en utilisant les valeurs actuelles de toutes les autres variables comme prédicteurs.
2. Risque Surrogate : Au lieu de minimiser la perte de reconstruction standard, l'algorithme minimise un risque surrogate qui intègre des poids d'importance estimés :
   $$J_i^{(t)}(g_i) = \mathbb{E}\left[ w_i(\hat{X}_{\neg i}^{(t)}) (g_i(\hat{X}_{\neg i}^{(t)}) - X_i)^2 \mid R_i = 1 \right]$$
3. Estimation des Poids : Puisque les vrais poids dépendent de distributions inconnues, ils sont estimés à chaque itération (Algorithme 2) en utilisant un modèle de classification binaire (régression logistique) pour estimer la probabilité de manquance $p(R_i=1 | \hat{X}_{\neg i})$. Les poids sont ensuite calculés comme le rapport inverse des probabilités.
4. Stabilisation Pratique : Pour gérer la variance élevée souvent associée au pondération par l'importance, les auteurs emploient plusieurs techniques de stabilisation :
   • Écrêtage des poids aux percentiles 5 et 95.
   • Suppression des caractéristiques avec une variance proche de zéro.
   • Introduction d'un paramètre de tempérage $\gamma$ (où les poids deviennent $w_i^\gamma$) pour contrôler l'influence des poids, ajusté par validation croisée.
   • Une stratégie de "démarrage à chaud" pour ajuster $\gamma$ afin de réduire la surcharge computationnelle.

Contributions Clés

1. Formulation Théorique : L'article établit rigoureusement que l'imputation sous MAR est équivalente à un ensemble de problèmes de décalage de covariables, en dérivant les poids d'importance spécifiques nécessaires pour aligner la distribution des données observées avec la distribution complète des données.
2. Algorithme Novel : Il introduit un algorithme itératif pratique en roue de secours qui intègre ces poids d'importance dans l'objectif d'entraînement, corrigeant explicitement le décalage de distribution.
3. Validation Empirique : La méthode est évaluée par rapport à des bases de référence non pondérées (utilisant des classes de modèles conditionnels identiques) et des méthodes de pointe sur des ensembles de données divers (données tabulaires, séries temporelles et images) et des classes de modèles (Linéaire, Forêt Aléatoire, MLP).

Résultats Expérimentaux

Les auteurs ont évalué leur méthode sur huit ensembles de données, simulant des conditions MAR avec des intensités variables de dépendance entre la manquance et les covariables observées.

• Gains de Performance : L'approche pondérée a réduit de manière constante l'erreur quadratique moyenne racine (RMSE) et la distance de Wasserstein (WD) par rapport aux bases de référence non pondérées.
  • Réduction moyenne de 3 % en RMSE et de 7 % en distance de Wasserstein.
  • Les améliorations étaient les plus marquées pour les modèles simples (Linéaire) et dans des contextes de fort décalage de covariables (forte dépendance MAR).
• Expressivité du Modèle : L'analyse théorique et les résultats empiriques indiquent que le bénéfice du pondération diminue à mesure que l'expressivité du modèle conditionnel augmente (par exemple, Forêts Aléatoires et MLP). Cela est attribué au compromis biais-variance ; les modèles hautement expressifs peuvent approximer la fonction cible même sans pondération explicite, tandis que les modèles plus simples dépendent davantage de la correction.
• Tâches en Aval : Dans les tâches de régression et de classification en aval, l'imputation pondérée a généralement conduit à des améliorations statistiquement significatives des performances prédictives, en particulier pour les modèles linéaires et par rapport aux bases de référence sans imputation.
• Robustesse : La méthode a montré une dégradation progressive des performances en cas de violation de l'hypothèse MAR (MNAR) ou de mauvaise spécification du modèle de poids, plutôt qu'un échec brutal, à condition que les principaux facteurs de manquance soient capturés dans les données observées.
• Efficacité : Le coût computationnel était gérable, avec des temps d'exécution augmentant de seulement ~10 % pour les modèles complexes (RF/MLP) et montrant des accélérations significatives pour les modèles linéaires en raison des détails d'implémentation spécifiques.

Importance et Revendications

L'article affirme que le décalage de distribution est un problème inhérent et souvent négligé dans l'imputation basée sur le risque. En présentant l'imputation comme un problème de décalage de covariables, les auteurs fournissent une justification principielle pour l'utilisation du pondération par l'importance.

• L'importance réside dans la démonstration que prendre explicitement en compte le décalage entre les distributions des données observées et complètes conduit à une imputation plus précise et à une meilleure préservation de la distribution sous-jacente des données (fidélité).
• Les auteurs positionnent leur travail comme un raffinement nécessaire des cadres existants de minimisation du risque, arguant que sans cette correction, les modèles d'imputation sont optimisés pour la distribution des données observées plutôt que pour la véritable distribution des données requise pour une inférence valide.
• L'article reste modeste concernant les limites, reconnaissant que la méthode peut offrir des gains limités dans des régimes de MAR faible ou avec des modèles hautement expressifs où l'erreur d'approximation est déjà faible, et que les performances dépendent de la qualité de l'estimation des poids.