📊 statistics

Missing Data Imputation under Manifold Hypothesis

Cet article propose une méthode d'imputation de données manquantes basée sur un modèle qui exploite des autoencodeurs variationnels de mélange et la diffusion dans l'espace latent pour échantillonner à partir de la distribution conditionnelle des valeurs manquantes, respectant ainsi la géométrie de la variété des données sous-jacentes tout en fournissant une quantification de l'incertitude et une imputation efficace à la volée.

Auteurs originaux : Zelong Bi, Amuchechukwu Ibenegbu

Publié 2026-07-20

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zelong Bi, Amuchechukwu Ibenegbu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de terminer une mosaïque géante et complexe, mais que quelqu'un a découpé des centaines de petites tuiles. Vous voyez les pièces environnantes et vous savez que l'image censée être un paysage fluide et continu, et non un amas désordonné de couleurs aléatoires. C'est le combat quotidien des scientifiques des données face aux « données manquantes ». Dans le monde réel, les capteurs tombent en panne, les sondages sont ignorés et les enregistrements sont perdus, laissant des trous dans nos cartes numériques. Pendant des décennies, la méthode standard pour combler ces vides consistait à deviner en se basant sur ce qui se trouvait à proximité, comme un voisin remplissant un mur vide avec les briques qui restaient dans l'allée. Mais et si le mur n'était pas plat ? Et si l'image était en réalité une sculpture courbe et torsadée, comme une piste de montagnes russes ou un ruban tordu ? Si vous essayez de combler les lacunes sur une piste courbe en utilisant des suppositions de lignes droites et plates, vous obtiendrez une pièce qui semble correcte de près, mais qui se détache complètement de la piste quand vous prenez du recul.

Ce document explore un coin spécifique des mathématiques appelé l'« hypothèse de la variété » (manifold hypothesis). Considérez cela comme l'idée que, même si nos données ressemblent à un nuage chaotique de points dans une immense pièce de haute dimension (imaginez une pièce où l'on peut se déplacer dans des centaines de directions), les points vivent en réalité sur une surface beaucoup plus petite et plus lisse cachée à l'intérieur de cette pièce. C'est comme réaliser que toutes les fourmis dans un tas chaotique marchent en fait en une seule ligne sinueuse sur une feuille de papier. Le document utilise également des « Autoencodeurs Variationnels » (VAE), qui sont comme des caméras intelligentes et flexibles capables d'apprendre à prendre un objet 3D complexe et à le aplatir en un dessin 2D simple, puis à reconstruire l'objet 3D parfaitement à partir de ce dessin. La grande question est la suivante : si nous perdons certaines parties d'un objet 3D, pouvons-nous utiliser ce dessin 2D pour déterminer exactement à quoi les pièces manquantes devraient ressembler, en respectant la courbe de la piste plutôt qu'en faisant simplement une supposition ?

Les auteurs, Zelong Bi et Amuchechukwu Ibenegbu, proposent une nouvelle façon de réparer ces mosaïques brisées en traitant les données comme une surface courbe plutôt que comme une feuille plate. Ils soutiennent que les méthodes les plus populaires actuellement utilisées, comme un outil appelé MissForest, sont excellentes pour trouver des modèles, mais échouent souvent à respecter la « géométrie » des données. Pour visualiser cela, imaginez MissForest essayant de combler un espace manquant sur un cercle en traçant une ligne droite à travers l'écart ; le résultat pourrait être mathématiquement proche des voisins, mais il brise le cercle. La méthode des auteurs, cependant, comprend que les données vivent sur une courbe, elle comble donc l'écart en suivant l'arc, préservant ainsi la forme intacte.

Pour ce faire, ils utilisent un tour de magie en deux étapes. D'abord, ils utilisent un « Mélange de VAE » pour apprendre la forme de la surface cachée. Imaginez cela comme ayant une équipe d'artistes, chacun responsable d'une section différente de la courbe (comme un artiste pour le haut de la colline, un autre pour le bas). Ils projettent les données désordonnées de haute dimension vers un « espace latent » simple et de faible dimension où les courbes sont faciles à voir. Ensuite, lorsqu'une pièce manque, ils ne se contentent pas de deviner ; ils utilisent une procédure statistique appelée « Échantillonnage par Importance-Redistribution » (SIR). Considérez SIR comme un jeu de « patate chaude » où ils génèrent des milliers de suppositions possibles pour la pièce manquante, mais ne conservent que celles qui s'ajustent parfaitement aux parties connues de la courbe, écartant celles qui semblent bizarres ou déplacées. Cela leur permet non seulement de donner une seule réponse, mais aussi de montrer une gamme de réponses possibles, quantifiant ainsi leur incertitude sur le remplissage.

Mais ils ne se sont pas arrêtés là. Ils ont réalisé que parfois, les artistes (les VAE) n'ont pas assez d'exemples pour apprendre chaque torsion et chaque virage de la courbe parfaitement. Ils ont donc ajouté un « processus de diffusion conjoint ». Imaginez cela comme un brouillard magique qui se dissipe lentement. Vous commencez avec une supposition complètement floue et bruitée de la pièce manquante et de la forme de la courbe, puis le modèle « débruite » progressivement, affinant la supposition étape par étape jusqu'à ce qu'elle s'emboîte parfaitement et nettement, respectant à la fois les détails locaux et la forme globale. Cela se produit dans l'espace de faible dimension, ce qui est beaucoup plus rapide et efficace que d'essayer de nettoyer le bruit dans la grande pièce de haute dimension.

Les résultats de leurs expériences sont très convaincants. Lorsqu'ils ont testé leur méthode sur des données synthétiques en forme de cercles, de sphères et de donuts (tore), leur approche a produit des imputations bien meilleures pour préserver la véritable forme des données que les méthodes de pointe. Bien que la méthode standard (MissForest) obtienne parfois un « score d'erreur » (RMSE) plus bas en devinant simplement des nombres proches des voisins, elle brise souvent la forme géométrique. La méthode des auteurs, quant à elle, a obtenu la « distance de Wasserstein » la plus faible, une façon sophistiquée de dire que la forme globale et la distribution de leurs données complétées ressemblaient beaucoup plus à l'image originale et intacte.

Sur des ensembles de données du monde réel, comme les enregistrements de supraconducteurs (matériaux qui conduisent l'électricité sans résistance) et la consommation d'énergie, les auteurs ont constaté que leur méthode était un concurrent sérieux. Elle a presque aussi bien performé que MissForest lorsque les données étaient manquantes de manière aléatoire, mais elle a brillé lorsque les données manquantes étaient complexes ou lorsqu'une grande partie d'entre elles avait disparu. Dans ces scénarios difficiles, leur méthode est restée robuste, tandis que les autres commençaient à s'effondrer. Par exemple, sur le jeu de données de supraconductivité, leur méthode a maintenu les taux d'erreur les plus bas même lorsque l'absence de données n'était pas aléatoire, suggérant que la compréhension de la géométrie sous-jacente aide le modèle à deviner correctement même lorsque les données se « cachent » de manière non aléatoire.

Cependant, l'article note prudemment que ce n'est pas une baguette magique pour tous les problèmes. La méthode repose fortement sur l'hypothèse que les données suivent réellement une courbe lisse et de faible dimension (l'hypothèse de la variété). Si les données sont simplement du bruit aléatoire ou ne possèdent pas de forme claire, la méthode peut éprouver des difficultés. Ils ont également constaté que sur un petit ensemble de données comme les données sur la qualité du vin, la méthode n'a pas été aussi performante, probablement parce qu'il n'y avait pas assez de données pour enseigner aux artistes comment dessiner la courbe. Dans ces cas, des méthodes plus simples qui se contentent de regarder les plus proches voisins fonctionnent mieux.

En fin de compte, cet article suggère qu'en combinant la compréhension géométrique de l'apprentissage de variétés avec le pouvoir génératif des modèles de diffusion, nous pouvons combler les données manquantes d'une manière qui semble « juste » par rapport à la forme de l'univers dont proviennent les données. C'est un passage du simple remplissage de trous avec la brique la plus proche à la sculpture de la pièce manquante pour qu'elle s'adapte parfaitement à la courbe du mur. Bien que cela nécessite plus de puissance de calcul et un type de structure de données spécifique pour fonctionner, cela offre une voie prometteuse vers une récupération de données plus précise et plus fiable, surtout dans les domaines où la forme des données compte autant que les chiffres eux-mêmes.

Résumé Technique : Imputation de Données Manquantes sous l'Hypothèse de la Variété

Énoncé du Problème

L'imputation de données manquantes cherche à estimer et à remplacer systématiquement les valeurs manquantes dans un ensemble de données. Bien que l'hypothèse de la variété (manifold hypothesis) postule que les données de haute dimension se concentrent près d'une variété de faible dimension encastrée, les méthodes d'imputation conventionnelles ont largement échoué à exploiter cette structure géométrique. Les méthodes de pointe actuelles, telles que MissForest, échouent souvent à respecter la géométrie sous-jacente lorsqu'elle existe, menant à des imputations qui peuvent être précises au niveau ponctuel (faible RMSE) mais géométriquement incohérentes avec la distribution des données. De plus, de nombreuses approches actuelles sont transductives, ce qui signifie qu'elles optimisent les imputations pour un jeu de données spécifique sans apprendre un modèle réutilisable, ce qui les rend inefficaces pour traiter de nouvelles données ou pour l'imputation en ligne.

Méthodologie

Le cadre proposé traite ces limitations en combinant l'apprentissage de variétés avec l'échantillonnage probabiliste et les modèles de diffusion. La méthodologie se déroule en trois étapes principales :

1. Apprentissage de Variété via des VAE de Mélange

L'approche suppose que les données résident sur une variété de faible dimension intrinsèque $d \ll p$ . Pour capturer cette structure, les auteurs utilisent un mélange de Variational Autoencoders (VAE). Dans cette formulation :

La variété est couverte par plusieurs « cartes » (charts) chevauchantes.
Chaque carte $c \in \{1, \dots, C\}$ est associée à un système de coordonnées locales $z \in \mathbb{R}^d$ .
Le modèle apprend un encodeur $E_c$ et un décodeur $D_c$ pour chaque carte, approximant les distributions conditionnelles $p(z|x, c)$ et $p(x|z, c)$ comme des gaussiennes.
Cette formulation multi-cartes permet au modèle de récupérer fidèlement la géométrie sous-jacente, là où les VAE à carte unique échouent souvent.

2. Imputation via l'Échantillonnage-Importance-Rééchantillonnage (SIR)

La tâche d'imputation centrale consiste à échantillonner la distribution conditionnelle $p(x_{mis} | x_{obs})$ . Puisque la distribution jointe a posteriori $p(z, c | x_{obs})$ est intraçable, les auteurs emploient une procédure d'Échantillonnage-Importance-Rééchantillonnage (SIR) :

Échantillonnage : Des échantillons latents joints $(z_k, c_k)$ sont tirés des données d'entraînement en utilisant le modèle de variété appris.
Pondération : Pour un vecteur observé spécifique $x_{obs}$ , les poids sont calculés comme $w_k = p(x_{obs} | z_k, c_k)$ .
Rééchantillonnage : Une nouvelle paire latente $(z^*, c^*)$ est échantillonnée à partir de l'ensemble des paires d'entraînement selon les poids normalisés.
Génération : Les valeurs manquantes sont générées en échantillonnant de $p(x_{mis} | z^*, c^*)$ , qui est gaussienne grâce à la structure du modèle.
Ce processus produit une imputation basée sur un modèle, inductive, qui respecte à la fois les contraintes géométriques et distributionnelles, et permet la quantification de l'incertitude.

3. Processus de Diffusion Latente Conjoint

Pour surmonter la limitation d'être contraint par le support des échantillons d'entraînement observés, les auteurs introduisent un processus de diffusion conjoint dans l'espace latent $(z, c)$ .

Processus Avant (Forward Process) : Du bruit est ajouté indépendamment aux coordonnées latentes continues $z_t$ et aux étiquettes de cartes discrètes $c_t$ .
Processus Inverse (Reverse Process) : Un réseau de neurones est entraîné pour prédire les variables latentes propres $(z_0, c_0)$ à partir de l'état bruité $(z_t, c_t)$ et de l'étape temporelle $t$ .
Échantillonnage : Le processus inverse permet de générer des échantillons latents de haute qualité à une échelle arbitraire, qui sont ensuite décodés pour produire des imputations. Cela améliore la qualité de l'imputation, particulièrement dans les régions de l'espace de données non densément couvertes par l'ensemble d'entraînement original.

Contributions Clés

Imputation Basée sur un Modèle via SIR : Les auteurs proposent une procédure qui échantillonne directement de $p(x_{mis} | x_{obs})$ en utilisant le SIR, en exploitant les structures de variétés apprises. Cette approche est inductive, supporte l'imputation à la volée sans réentraînement, et fournit une quantification de l'incertitude.
Diffusion Latente Conjointe : Un nouveau processus de diffusion conjoint est développé pour l'espace latent qui met à jour simultanément les coordonnées continues et les étiquettes d'appartenance aux cartes discrètes. Cela améliore la génération d'échantillons de haute qualité qui préservent la géométrie et la distribution sous-jacentes.
Performance Sensible à la Géométrie : La méthode est conçue pour respecter la géométrie intrinsèque des données, répondant ainsi à l'échec des méthodes traditionnelles à maintenir la cohérence structurelle.

Résultats Expérimentaux

La méthode proposée a été évaluée sur des ensembles de données synthétiques (cercles, sphères, tore) et six ensembles de données réels (supraconductivité, énergie, finance, centrale électrique, vin, expression faciale) sous des mécanismes de données manquantes Complètement au Hasard (MCAR), Manquantes selon un Mécanisme (MAR) et Non au Hasard (MNAR).

Métriques : L'évaluation a utilisé l'erreur quadratique moyenne (RMSE) et la distance de Wasserstein. Les auteurs notent que si la RMSE mesure la précision ponctuelle, la distance de Wasserstein capture mieux l'alignement avec la géométrie et la distribution sous-jacentes.
Données Synthétiques : La méthode proposée a obtenu la plus faible distance de Wasserstein sur tous les ensembles de données synthétiques, indiquant une supériorité dans la préservation de la structure géométrique par rapport aux bases de référence comme MissForest, MICE et GAIN.
Données Réelles :
- La méthode a obtenu des performances compétitives avec MissForest, la surpassant souvent lorsque les taux de données manquantes augmentaient ou sous des mécanismes de manque complexes (MAR/MNAR).
  - Sur l'ensemble de données de supraconductivité, la méthode a démontré sa robustesse, maintenant la plus faible RMSE moyenne et la plus faible distance de Wasserstein à travers les mécanismes de données manquantes.
- Dans les tâches de prédiction en aval (régression linéaire sur les données de supraconductivité), la méthode proposée a obtenu la meilleure performance prédictive sous le réglage MNAR et la deuxième meilleure sous MCAR/MAR.
- La méthode a montré des limites sur l'ensemble de données du vin (petit échantillon), où KNN a mieux performé, suggérant qu'un apprentissage de variété fiable nécessite suffisamment de cas entièrement observés.

Signification et Revendications

L'article affirme que sa principale importance réside dans le pont jeté entre l'apprentissage de variétés et l'imputation de données manquantes. En traitant l'imputation comme un problème d'échantillonnage à partir d'une structure géométrique apprise, la méthode fournit un moyen systématique de remplir les valeurs manquantes de manière cohérente avec la variété intrinsèque des données.

Les auteurs soulignent que leur approche est inductive, permettant l'imputation de nouveaux points de données sans réoptimiser l'ensemble de la procédure, un avantage distinct par rapport aux méthodes transductives. De plus, la nature probabiliste de l'échantillonnage permet une quantification de l'incertitude des imputations, une caractéristique souvent absente des méthodes déterministes.

Le papier reconnaît modestement certaines limites : la méthode repose sur l'hypothèse que les données satisfont l'hypothèse de la variété, ce qui peut être difficile à vérifier en pratique. De plus, en raison de sa dépendance à des structures lisses, la méthode est principalement adaptée aux variables continues et peut ne pas être directement applicable aux données discrètes sans modification. Enfin, les auteurs notent que le développement de métriques capables de capturer simultanément la fidélité géométrique et la cohérence distributionnelle reste une direction ouverte pour les travaux futurs.