Résumé Technique : Diff-Joint – Un cadre de diffusion sensible à l'incertitude pour l'absence de données significative

1. Définition du Problème

Les méthodes standards d'imputation de valeurs manquantes opèrent sous l'hypothèse que toutes les entrées manquantes dans un ensemble de données correspondent à des valeurs régulières non observées qui doivent être récupérées. Cependant, dans de nombreux scénarios réels, l'absence de données provient de deux sources distinctes :

1. Absence Significative (Meaningfully Missing - MM) : Des entrées qui sont intrinsèquement absentes et sémantiquement valides (par exemple, « N/A » pour le revenu dans un sondage pour un répondant sans emploi, ou un test de laboratoire non commandé dans des dossiers cliniques). Imputer ces entrées avec des valeurs régulières fausse la distribution des données et supprime l'information sémantique.
2. Absence Induite par l'Observation : Des entrées qui sont manquantes en raison du processus d'observation (par exemple, des erreurs d'enregistrement, des échecs de transfert de données) et qui doivent être imputées.

Le défi central est que ces deux sources ne sont pas directement étiquetées dans les données observées ; elles apparaissent toutes deux comme le même jeton manquant (par exemple, NA). Les méthodes existantes traitent généralement toutes les entrées manquantes comme récupérables, échouant ainsi à distinguer les entrées qui doivent être préservées en tant que NA de celles qui nécessitent une imputation. Cet article formalise cela comme un problème d'imputation sélective : l'objectif est d'inférer conjointement quelles entrées manquantes sont significatives (et doivent être préservées) et lesquelles sont induites par l'observation (et doivent être imputées).

2. Méthodologie : Diff-Joint

Les auteurs proposent Diff-Joint, un cadre basé sur la diffusion conçu pour effectuer une imputation sélective en modélisant conjointement les données tabulaires et un masque d'absence de données latent.

2.1 État de Diffusion Conjoint

La méthode définit un état de diffusion conjoint $s = (x, c)$, où :

• $x$ représente les valeurs tabulaires complétées.
• $c$ est un masque binaire indiquant quelles entrées sont significativement manquantes ($c_j=1$) par rapport aux entrées induites par l'observation ($c_j=0$).

2.2 Cadre de Raffinement Itératif

Diff-Joint opère selon un schéma itératif alternant entre l'entraînement du modèle et les mises à jour de l'état latent :

1. Initialisation : Les valeurs manquantes observées sont remplies de manière aléatoire pour créer un état conjoint initial, traitant toutes les entrées manquantes comme induites par l'observation ($c=0$).
2. Mise à jour du Modèle : Un modèle de diffusion est entraîné sur l'état conjoint actuel $\{(\hat{x}^{(t)}, \hat{c}^{(t)})\}$ pour capturer les dépendances entre les valeurs de données et les motifs d'absence significative.
3. Mise à jour de l'État Latent (Échantillonnage Conditionnel et Agrégation) :
   • Échantillonnage : Étant donné les données observées, le modèle tire $K$ échantillons conditionnels de l'état conjoint $(x, c)$.
   • Mise à jour de l'Imputation : Pour les entrées manquantes, la valeur imputée est mise à jour en utilisant le mode (discret) ou la moyenne (continue) des $K$ échantillons.
   • Agrégation Sensible à l'Incertitude : Pour distinguer l'absence significative de l'absence induite par l'observation, la méthode calcule un score d'incertitude pour chaque entrée manquante basé sur la variance (continue) ou l'entropie (discrète) des $K$ échantillons.
     • Hypothèse : Les entrées manquantes induites par l'observation correspondent à des valeurs régulières récupérables et présentent donc une faible incertitude (distributions prédictives concentrées). Les données significativement manquantes ne sont pas bien expliquées par un état régulier unique, ce qui conduit à une incertitude plus élevée.
   • Mise à jour du Masque : La méthode combine deux signaux pour mettre à jour le masque $\hat{c}$ :
     1. Signal d'Incertitude : Les entrées présentant des scores d'incertitude élevés sont regroupées (via k-means) et marquées comme potentielles absences significatives (MM).
     2. Signal du Masque Échantillonné : Le vote majoritaire des masques échantillonnés $c^{(k)}$.
     3. Règle de Fusion : Le masque final est mis à jour à l'aide d'une opération logique OU : une entrée est classée comme MM si soit le motif d'incertitude, soit le masque échantillonné soutient l'interprétation MM.

2.3 Identifiabilité

L'article fournit des intuitions théoriques (Proposition 3.1) établissant les conditions dans lesquelles l'absence significative est identifiable à partir des données observées. Plus précisément, l'identifiabilité est vérifiée si le mécanisme d'absence induite par l'observation est connu (par exemple, MCAR avec des probabilités connues) ou si les contraintes structurelles des données permettent la séparation des deux mécanismes.

3. Contributions Clés

1. Formalisation du Problème : Les auteurs formalisent le problème de l'imputation sélective pour les données tabulaires, distinguant les entrées significativement manquantes (à préserver) des entrées induites par l'observation (à imputer).
2. Cadre Diff-Joint : Ils introduisent un cadre basé sur la diffusion qui modélise conjointement les valeurs complétées et un masque d'absence significative. La méthode affine de manière itérative à la fois les valeurs imputées et les étiquettes MM par le biais d'un échantillonnage conditionnel et d'une agrégation sensible à l'incertitude.
3. Validation Empirique : La méthode est évaluée sur un ensemble de données synthétiques de réseau bayésien et sur un ensemble de données réelles MIMIC-IV-ED. Les résultats démontrent que Diff-Joint identifie efficacement les entrées significativement manquantes tout en maintenant une précision d'imputation compétitive et en améliorant les performances des tâches en aval.

4. Résultats Expérimentaux

Les auteurs ont évalué Diff-Joint par rapport à des bases de référence incluant l'imputation statistique simple (Moyenne/Mode), les méthodes itératives classiques (missForest), les auto-encodeurs masqués (CACTI/CMAE) et l'imputation par diffusion (DiffPuter).

• Données Synthétiques (Réseau Bayésien) :

  • Identification de MM : Diff-Joint est la seule méthode identifiant explicitement les MM. Il a obtenu un rappel élevé (76,99 % – 92,02 %) à travers différents ratios de données manquantes (10 % – 40 %).
  • Précision de l'Imputation : Diff-Joint a obtenu la meilleure précision de récupération au niveau du jeton pour les variables discrètes sur tous les ratios. Pour les variables continues, il est resté compétitif, équilibrant les doubles objectifs d'identification de MM et de récupération de valeurs.
  • Performance en Aval : Dans les tâches de classification multiclasse, Diff-Joint a nettement surpassé toutes les bases de référence (par exemple, un Macro-F1 de 75,54 % contre environ 46 % pour la deuxième meilleure méthode), démontant que la préservation des états MM améliore l'utilité prédictive.

• Données Réelles (MIMIC-IV-ED) :

  • Identification de MM : Diff-Joint a identifié avec succès les étiquettes MM synthétiques introduites sur les variables de résultats cliniques.
  • Imputation : Il a obtenu la meilleure précision pour la récupération de jetons discrets à des ratios de données manquantes plus faibles et est resté compétitif pour l'imputation continue (souvent deuxième avec une différence négligeable par rapport au meilleur).
  • Performance en Aval : Diff-Joint a montré des gains constants de Macro-F1 et de l'AUC de la courbe ROC pour la prédiction des résultats cliniques (par exemple, état critique, transfert en soins intensifs), particulièrement pour les résultats graves où la préservation du signal « significativement manquant » était cruciale.

5. Signification et Revendications

L'article affirme que Diff-Joint comble une lacune critique dans la gestion des données manquantes : l'incapacité des méthodes actuelles à distinguer « manquant parce que cela ne s'applique pas » de « manquant parce que ce n'a pas été enregistré ».

• Préservation Sémantique : En modélisant explicitement l'état « significativement manquant », le cadre empêche la distorsion des distributions de données qui se produit lorsqu'un NA est naïvement imputé avec une valeur régulière.
• Utilité en Aval : Les auteurs soutiennent que traiter le NA comme un état sémantique valide, plutôt que comme une erreur à corriger, fournit des signaux prédictifs qui améliorent la prise de décision en aval, particulièrement dans des domaines à enjeux élevés comme la santé.
• Robustesse : La méthode reste robuste à travers différents mécanismes d'absence (MCAR, MAR, MNAR) et ne nécessite pas d'étiquettes de vérité terrain pour le type d'absence pendant l'entraînement.

Les auteurs reconnaissent des limites, notant que le cadre suppose des colonnes candidates connues pour les MM et repose sur un écart d'incertitude détectable. Ils notent également que la procédure de diffusion itérative est plus coûteuse en calcul que les bases de référence non itératives, bien que ce coût puisse être contrôlé par le nombre d'itérations. Des travaux futurs sont suggérés pour assouplir les conditions d'identifiabilité et améliorer l'évolutivité.