Identifiable Deep Latent Variable Models for MNAR Data

1. Problématique

Le problème central abordé par cet article est celui des données manquantes non aléatoires (MNAR - Missing Not At Random). Dans les scénarios réels (enquêtes, recommandations, médecine), la probabilité qu'une donnée soit manquante dépend souvent de la valeur manquante elle-même ou d'autres variables non observées.

• Limites des méthodes existantes : La plupart des méthodes d'imputation traditionnelles (comme MICE, missForest) et même les modèles génératifs profonds récents (comme not-MIWAE) reposent sur l'hypothèse de données manquantes au hasard (MAR) ou négligent un problème fondamental : l'identifiabilité non paramétrique.
• Le défi de l'identifiabilité : Sans hypothèses fortes sur le mécanisme de manque, la distribution complète des données ne peut pas être unique à partir des données observées. Cela conduit à des résultats biaisés et non fiables, car plusieurs distributions complètes différentes peuvent expliquer les mêmes données observées.
• Le vide théorique : Bien que des travaux théoriques existent sur l'identifiabilité en MNAR, ils sont souvent limités à des modèles paramétriques spécifiques ou nécessitent des variables auxiliaires qui ne sont pas toujours disponibles.

2. Méthodologie : IM-IWAE

Les auteurs proposent un nouveau cadre basé sur des modèles de variables latentes profondes (DLVM) pour les données MNAR, nommé IM-IWAE (Identifiable Missing-Not-At-Random Importance-Weighted Autoencoder).

A. Hypothèse Fondamentale : Absence d'auto-censure conditionnelle

Le cœur de la contribution théorique est l'introduction d'une nouvelle hypothèse d'identification : l'absence d'auto-censure conditionnelle aux variables latentes.

• Hypothèse : L'indicateur de manque $R_j$ d'une variable $X_j$ est conditionnellement indépendant de $X_j$ et des autres indicateurs de manque $R_{-j}$, étant donné les autres variables observées $X_{-j}$ et un facteur latent $\tilde{Z}$.
• Formalisation : $R_j \perp\!\!\!\perp (X_j, R_{-j}) \mid X_{-j}, \tilde{Z}$.
• Signification : Une fois que l'on contrôle pour les autres variables et les facteurs latents cachés, le fait qu'une donnée soit manquante ne dépend plus de sa propre valeur. Cela permet de briser l'ambiguïté de l'identifiabilité.

B. Architecture du Modèle

Le modèle décompose la distribution complète des données $(X, R)$ en utilisant deux espaces latents :

1. $Z$ : Variable latente générant les données observées $X$ (via $p(x|z)$).
2. $\tilde{Z}$ : Variable latente spécifique au mécanisme de manque, générant les indicateurs $R$ (via $p(r|x, \tilde{z})$).

La distribution conjointe est modélisée comme :
$$p(x, r) = \iint p(x|z) p(r|x, \tilde{z}) p(z) p(\tilde{z}) \, dz \, d\tilde{z}$$

Le modèle impose la structure d'indépendance conditionnelle (pas d'auto-censure) directement dans le décodeur du mécanisme de manque : $R_j$ dépend de $X_{-j}$ et $\tilde{Z}$, mais pas de $X_j$.

C. Algorithme d'Inférence

Pour estimer les paramètres inconnus ($\theta, \psi$) et les distributions postérieures, les auteurs utilisent une inférence variationnelle pondérée par l'importance (Importance-Weighted Variational Inference) :

• Ils maximisent une borne inférieure de la vraisemblance (ELBO) améliorée par un échantillonnage Monte Carlo (IWAE).
• L'objectif est d'approximer la vraisemblance des données observées tout en respectant les contraintes d'identifiabilité imposées par la structure du réseau de neurones.
• L'algorithme utilise des encodeurs probabilistes (réseaux de neurones) pour approximer les distributions postérieures de $Z$ et $\tilde{Z}$.

3. Contributions Clés

1. Identifiabilité Non Paramétrique : Les auteurs établissent théoriquement que, sous l'hypothèse d'absence d'auto-censure conditionnelle aux variables latentes, la distribution complète des données (y compris les parties manquantes) est non paramétriquement identifiable. Cela garantit qu'il existe une correspondance univoque entre la distribution observée et la distribution complète.
2. Modèle Pratique IM-IWAE : Ils proposent le premier modèle de variables latentes profondes qui combine à la fois l'identifiabilité théorique pour les données MNAR et une mise en œuvre pratique via des réseaux de neurones, sans nécessiter de variables auxiliaires externes.
3. Théorème de Reconstruction : Ils prouvent que leur modèle peut approximer arbitrairement bien la distribution complète des données (ground-truth) lorsque la capacité du modèle et le nombre d'échantillons d'importance ($K$) sont suffisants.
4. Robustesse : Le modèle est conçu pour être robuste même si l'hypothèse stricte d'absence d'auto-censure est légèrement violée dans la pratique, grâce aux corrélations entre les variables.

4. Résultats Expérimentaux

Les auteurs valident leur méthode sur des simulations et des données réelles, en la comparant à des méthodes classiques (MICE, missForest) et à l'état de l'art des modèles génératifs (GINA, not-MIWAE).

• Simulations (Données synthétiques) :

  • Dans des scénarios MNAR avec et sans variables latentes pour le mécanisme de manque, IM-IWAE surpasse systématiquement les autres méthodes en termes d'erreur quadratique moyenne (RMSE) pour l'imputation.
  • Les méthodes concurrentes (GINA, not-MIWAE) montrent une instabilité et des biais importants, confirmant les problèmes d'identifiabilité non résolus.
  • En haute dimension (jusqu'à 100 variables) et avec des blocs de données manquantes, IM-IWAE maintient une performance stable tandis que les autres se dégradent.
  • La méthode permet de reconstruire fidèlement la distribution complète (mesurée par le MMD - Maximum Mean Discrepancy) et d'estimer correctement les paramètres (ex: moyennes de mélanges gaussiens).

• Données Réelles :

  • UCI (avec manque synthétique) : Sur plusieurs jeux de données (vin, béton, levure, etc.), IM-IWAE obtient les meilleurs scores d'imputation, même lorsque le mécanisme de manque inclut une auto-censure (violation de l'hypothèse), démontrant sa robustesse.
  • Botswana (HIV) : Application sur des données médicales réelles concernant les mères séropositives. Le modèle estime la distribution conjointe des traitements et des accouchements prématurés, fournissant des rapports de cotes cohérents avec la littérature, là où l'analyse des cas complets (CC) est biaisée.
  • Yahoo! R3 (Recommandation) : Sur un jeu de données de notation de musique avec un taux de manque de 98%, IM-IWAE parvient à apprendre une distribution proche de la distribution de test (non biaisée), surpassant légèrement les autres modèles génératifs.

5. Signification et Impact

Cet article représente une avancée majeure dans le domaine de l'apprentissage automatique pour les données manquantes :

• Résolution d'un problème théorique fondamental : Il comble le fossé entre la théorie de l'identifiabilité (souvent abstraite) et la modélisation pratique par apprentissage profond.
• Fiabilité accrue : En garantissant l'identifiabilité, la méthode réduit le risque de biais systématique dans les inférences statistiques et les tâches en aval (comme la prédiction ou la génération de données).
• Applicabilité large : La méthode ne nécessite pas de variables auxiliaires, ce qui la rend applicable à une large gamme de problèmes réels où les données manquantes sont suspectées d'être MNAR mais dont le mécanisme exact est inconnu.
• Fondation pour l'avenir : Le cadre proposé ouvre la voie à l'extension de l'identifiabilité dans d'autres espaces topologiques et à l'amélioration des performances sur des taux de manque extrêmes.

En résumé, IM-IWAE offre une solution robuste et théoriquement fondée pour traiter le défi complexe des données manquantes non aléatoires, dépassant les limitations des approches actuelles basées sur des hypothèses d'ignorabilité ou des modèles non identifiables.