📊 statistics

Latent Diffusion for Missing Data

Ce papier propose un cadre en deux étapes combinant un imputeur robuste basé sur un VAE avec un modèle de diffusion dans l'espace latent, démontrant que le déplacement de la modélisation générative vers une représentation latente apprise améliore significativement la stabilité et la qualité de l'imputation par rapport à la diffusion dans l'espace des pixels sous des niveaux élevés de données manquantes.

Auteurs originaux : Alberte Heering Estad, Ignacio Peis, Jes Frellsen

Publié 2026-05-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Alberte Heering Estad, Ignacio Peis, Jes Frellsen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédiez un gigantesque album photo, mais que quelqu'un a renversé du café sur la moitié des pages, estompant des détails importants. Votre objectif est de deviner à quoi ressemblent les parties manquantes des photos. C'est le problème de l'imputation de données manquantes.

Pendant longtemps, les ordinateurs ont tenté de résoudre ce problème en examinant directement les « pixels » (les minuscules points qui composent l'image). Mais l'article que vous avez partagé, intitulé « Latent Diffusion for Missing Data », soutient qu'il existe une méthode plus intelligente pour y parvenir, surtout lorsque les photos sont gravement endommagées.

Voici l'histoire de leur découverte, expliquée simplement :

Le Problème : Tenter de Réparer une Photo Floue Pixel par Pixel

Les chercheurs ont examiné les méthodes existantes (appelées Diffusion dans l'Espace des Pixels). Imaginez essayer de restaurer une peinture abîmée en examinant chaque minuscule point de peinture individuellement. Si la peinture est recouverte à 50 % par du café, l'ordinateur se perd. Il voit beaucoup de valeurs « zéro » (les taches de café) et tente de deviner les couleurs à partir de celles-ci. À mesure que les dégâts s'aggravent, l'ordinateur commence à halluciner : il rend l'image granuleuse, bruyante et pleine de parasites, comme une vieille télévision avec un mauvais signal.

La Solution : L'Approche « Esquisse d'abord » (Diffusion Latente)

Les auteurs, Alberte Heering, Ignacio Peis et Jes Frellsen, ont proposé une nouvelle méthode appelée LDMiss. Au lieu d'examiner chaque minuscule point de peinture, ils demandent à l'ordinateur d'abord d'apprendre le « fond » ou l'« esquisse » de l'image.

Pensez-y ainsi :

L'Encodeur (L'Esquisse de l'Artiste) : D'abord, l'ordinateur compresse la photo sale et tachée de café en une esquisse simplifiée et basse résolution. Il ignore les détails minuscules et se concentre sur les grandes formes (comme « c'est un nez », « c'est un œil »).
La Diffusion (La Restauration) : L'ordinateur tente ensuite de réparer les parties manquantes de cette esquisse, et non de la photo originale. Parce que l'esquisse est plus simple et plus propre, il est beaucoup plus facile de deviner à quoi devraient ressembler les lignes manquantes, même si la moitié du papier est tachée.
Le Décodeur (La Peinture Finale) : Une fois l'esquisse réparée, l'ordinateur l'agrandit pour reconstituer une photo complète et de haute qualité.

L'Expérience : Une Course Contre les Taches de Café

L'équipe a testé cette méthode sur le célèbre jeu de données MNIST (qui n'est qu'une collection de milliers de chiffres manuscrits comme 0, 1, 2, etc.). Ils ont simulé des « données manquantes » en noircissant aléatoirement des pixels (comme des taches de café) à différents taux : 10 %, 30 %, 50 %, et même jusqu'à 80 % manquants.

Ils ont comparé leur méthode « Esquisse d'abord » (LDMiss) à l'ancienne méthode « Pixel par Pixel » (DDPM) et à quelques autres concurrents.

Les Résultats : Qui a gagné la course ?

L'Ancienne Méthode (Espace des Pixels) : Lorsque les dégâts étaient légers (10 % manquants), elle s'en sortait correctement. Mais dès que les dégâts atteignaient 20-30 %, les images commençaient à ressembler à du bruit statique. À 50 % de données manquantes, les résultats étaient terribles. C'était comme essayer de réparer une peinture en fixant les taches de café ; l'ordinateur était simplement submergé.
La Nouvelle Méthode (LDMiss) : Cette méthode est restée calme. Même lorsque 50 % des données étaient manquantes, les chiffres générés semblaient nets et clairs. Elle ne commençait à devenir un peu floue que lorsque les dégâts étaient extrêmes (60-80 %).
Le Test de « Remplissage » : Lorsqu'ils ont utilisé ces modèles pour remplir réellement les parties manquantes des photos, LDMiss s'est constamment mieux comporté. Il ne se contentait pas de bien paraître ; il devinait en réalité les chiffres manquants avec plus de précision que les autres.

Pourquoi Cela Fonctionne-t-il ?

L'article suggère que l'approche « Esquisse d'abord » agit comme un filtre. Lorsque vous regardez les pixels bruts, un point manquant n'est qu'un carré noir confus. Mais lorsque vous regardez la version « latente » (esquisse), l'ordinateur comprend le sens de l'image. Il sait : « C'est un '3', donc même si la boucle supérieure manque, je sais qu'elle devrait être ronde. » Cela empêche l'ordinateur d'amplifier les erreurs « zéro » causées par les données manquantes.

Le Fond du Problème

L'article conclut que si vous essayez de réparer des données incomplètes, ne fixez pas les pixels bruts. Au lieu de cela, enseignez à l'ordinateur à comprendre la « vibe » ou la « structure » sous-jacente des données en premier, puis effectuez la réparation là-bas.

Ce que l'article ne dit pas :

Ils n'ont pas testé cela sur des dossiers médicaux, des marchés boursiers ou des données climatiques (pour l'instant).
Ils n'ont pas affirmé que cela fonctionne pour les données « Manquantes Non Aléatoirement » (où les données manquantes sont liées à la valeur elle-même, comme des personnes malades quittant une étude). Ils n'ont testé que les données « Manquantes Complètement Aléatoirement » (de purs renversements de café aléatoires).
Ils n'ont testé que sur des chiffres manuscrits (MNIST), et non sur des photos complexes de chats ou de voitures.

En résumé : LDMiss est un moyen plus robuste de deviner les pièces manquantes d'un puzzle car il se concentre sur l'ensemble plutôt que de se perdre dans les détails minuscules et endommagés.

Résumé technique : Diffusion latente pour données manquantes

Énoncé du problème
Les jeux de données réels contiennent fréquemment des valeurs manquantes en raison de facteurs tels que la perte de vue dans les études cliniques ou une documentation incomplète. Bien que les modèles génératifs probabilistes (VAE, GAN, Flows) et, plus récemment, les modèles de diffusion aient montré leur potentiel pour l'imputation, les méthodes existantes basées sur la diffusion opèrent généralement directement dans l'espace des données (pixels). Un vide critique subsiste dans la compréhension de la manière dont le choix de l'espace de représentation — pixels versus latent — affecte la qualité de génération et les performances d'imputation lorsque les données d'entraînement sont fortement incomplètes. Plus précisément, il est incertain de savoir si l'opération dans l'espace des pixels se dégrade sous des taux élevés de corruption aléatoire complètement manquante (MCAR), où l'imputation par zéro des valeurs manquantes peut introduire des artefacts perturbant l'estimation du score.

Méthodologie
Les auteurs proposent LDMiss, un cadre en deux étapes qui déplace le processus de diffusion de l'espace des pixels vers une représentation latente apprise afin d'améliorer la robustesse face aux données manquantes.

Apprentissage de l'espace latent (Étape 1) : Un Autoencodeur Variationnel (VAE) robuste est entraîné sur des observations incomplètes. Les auteurs utilisent une architecture $\beta$ -VAE où les entrées manquantes sont imputées par zéro. La perte de reconstruction est calculée uniquement sur les dimensions observées, tandis que la divergence KL est pondérée par un petit $\beta$ ( $10^{-6}$ ) pour assurer des reconstructions fidèles. Cette étape apprend un espace de caractéristiques sémantiques compact ( $z = E(x)$ ) à partir des données incomplètes.
Diffusion latente (Étape 2) : Un modèle de diffusion est entraîné sur les représentations latentes $z$ plutôt que sur les pixels bruts $x$ . Le processus direct suit une Équation Différentielle Stochastique (SDE) à préservation de variance (VP), et le processus inverse est appris via un réseau de neurones dépendant du temps $s_\theta$ optimisé à l'aide d'un objectif d'appariement de score de débruitage adapté aux variables latentes.
Stratégie d'imputation (Auto-guidage) : Pour l'imputation en aval, les auteurs emploient une méthode d'« auto-guidage ». Puisque le concept de « dimensions manquantes » n'existe pas dans l'espace latent compressé, le processus génératif est conditionné par les données de pixels observées. Le score conditionnel est approximé en utilisant la règle de Bayes, le décomposant en un score inconditionnel et un terme de guidage dérivé de la formule de Tweedie. Le modèle décode l'estimation de la moyenne a posteriori latente vers l'espace des pixels pour calculer les gradients, guidant ainsi efficacement le processus d'échantillonnage en utilisant ses propres capacités prédictives.

Configuration expérimentale
L'étude réalise une comparaison contrôlée sur le jeu de données MNIST sous corruption MCAR à des taux de manquants variables (jusqu'à 80 %). Le LDMiss proposé est mis en regard de :

DDPM dans l'espace des pixels : Entraîné en utilisant l'approche MissDiff (imputation par zéro avec perte masquée) et l'algorithme itératif basé sur l'EM de DiffPuter.
Lignes de base d'imputation : Reconstruction par autoencodeur et DDPM avec des stratégies de remplacement ou de guidage.

Résultats clés

Qualité de l'échantillon : LDMiss maintient une haute qualité d'échantillon (mesurée par FID et IS) et reste stable jusqu'à 50 % de manquants. En revanche, le DDPM dans l'espace des pixels se dégrade progressivement à mesure que le taux de manquants augmente, devenant « granuleux » au-delà de 10 % de manquants en raison du traitement direct des valeurs imputées par zéro. DiffPuter performe bien à des taux de manquants faibles à modérés mais perd en diversité et en fidélité à 60–80 % de manquants.
Performance d'imputation : LDMiss atteint des performances d'imputation (MSE, FID, IS) systématiquement supérieures sur tous les taux de manquants d'entraînement. Il reste robuste même lorsqu'il est entraîné avec 80 % de données manquantes. Le DDPM dans l'espace des pixels se dégrade à mesure que le taux de manquants d'entraînement augmente, car son réseau de score repose sur une estimation dégradée.
Stabilité : LDMiss présente une variance plus faible entre les graines aléatoires par rapport aux alternatives dans l'espace des pixels, indiquant des performances plus cohérentes.

Portée et affirmations
L'article affirme que la modélisation dans l'espace latent atténue l'amplification des artefacts causés par des entrées imputées par zéro, qui constitue un mode de défaillance principal pour les modèles de diffusion dans l'espace des pixels entraînés sur des données incomplètes. En compressant les données en caractéristiques sémantiques avant le processus de diffusion, le modèle apprend une prior générative plus robuste pour l'apprentissage sur données incomplètes.

Les auteurs concluent que LDMiss est une alternative solide et pratiquement utile à la diffusion dans l'espace des pixels pour les problèmes de données manquantes. Ils notent que leurs résultats sont actuellement limités au jeu de données MNIST sous des hypothèses MCAR avec imputation par zéro et que des différences architecturales peuvent contribuer à l'écart de performance observé. Des travaux futurs sont suggérés pour tester ces avantages sur des jeux de données plus complexes, différents mécanismes de manquants (MAR/MNAR) et des fonctions d'imputation alternatives.