🤖 machine learning

Flow Matching with Missing Data

Ce document introduit le « Missing-Data Flow Matching », une méthode qui traite les coordonnées manquantes comme des variables latentes pour prouver que l'absence de données sous certaines conditions ne modifie pas l'objectif d'apprentissage mais déplace le défi vers la complétion, tout en démontrant que l'utilisation d'une complétion apprise unique par exemple est théoriquement optimale pour minimiser la variance et le biais.

Auteurs originaux : Fairoz Nower Khan, Nabuat Zaman Nahim, Peizhong Ju

Publié 2026-08-03

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Fairoz Nower Khan, Nabuat Zaman Nahim, Peizhong Ju

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à peindre le tableau parfait d'une ville bouillonnante. Vous lui montrez des milliers de photos, et il apprend comment les bâtiments, les voitures et les gens s'assemblent pour créer une scène réaliste. C'est le monde de la modélisation générative, une branche de l'intelligence artificielle où les ordinateurs apprennent à créer de nouvelles données qui ressemblent exactement à la réalité. L'un des outils les plus populaires pour cela s'appelle le Flow Matching (appariement de flux). Voyez cela comme un fleuve : l'IA apprend le courant exact (ou le « flux ») nécessaire pour guider une goutte d'eau d'un point de départ calme et vide jusqu'à une destination spécifique et complexe (comme une photo de ville). Si l'IA maîtrise bien le flux, elle peut géner de nouveaux paysages urbains infinis et réalistes en partant simplement d'une goutte d'eau et en suivant le courant.

Mais voici le piège : la vie réelle est désordonnée. Les photos que vous devez utiliser pour enseigner au robot sont souvent incomplètes. Peut-être qu'un arbre est caché par un réverbère, qu'une voiture est dissimulée derrière un bâtiment, ou qu'un capteur dans un dispositif médical a échoué à enregistrer une mesure. Dans le monde de l'IA, on appelle cela des données manquantes. Si vous essayez d'enseigner au robot en utilisant ces photos brisées, il s'embrouille. Il ne sait pas où les parties manquantes devraient se trouver, alors il risque de simplement deviner un seul endroit ennuyeux pour combler le vide. Cela gâche la magie, car l'IA cesse d'apprendre la diversité de la ville et commence à apprendre à peindre le même endroit ennuyeux encore et encore.

Cet article s'attaque précisément à ce problème. Les chercheurs Fairoz Nower Khan, Nabuat Zaman Nahim et Peizhong Ju proposent une nouvelle méthode ingénieuse pour enseigner le Flow Matching même lorsque les données sont incomplètes. Ils appellent leur méthode le Missing-Data Flow Matching (MDFM) (Appariement de flux avec données manquantes). Au lieu de deviner un seul endroit pour combler le trou, leur méthode traite les parties manquantes comme un mystère qui peut être résolu de nombreuses façons différentes. Ils imaginent combler les pièces manquantes avec de nouvelles conjectures aléatoires à chaque fois, puis faire la moyenne des leçons apprises de toutes ces conjectures.

La grande surprise ? Ils ont prouvé que ce n'est pas seulement une astuce « assez bonne » ; c'est mathématiquement exact. Si les données manquantes disparaissent de manière aléatoire (comme un bug de capteur par hasard) et que vous remplissez les vides avec les vraies valeurs possibles, votre IA apprend exactement la même chose que si elle avait vu les photos parfaites et complètes dès le début. La difficulté ne disparaît pas ; elle se déplace simplement. La partie difficile devient la construction d'un bon modèle de « remplissage de blancs », mais une fois que vous avez cela, l'IA principale apprend parfaitement.

De plus, ils ont mené des simulations pour répondre à des questions délicates sur la manière de faire cela efficacement. Ils ont découvert que vous n'avez pas besoin de remplir les parties manquantes dix ou vingt fois pour chaque photo. Une seule nouvelle conjecture par photo est en fait suffisante pour obtenir le même niveau de précision que si vous aviez les données complètes. Si vous disposez d'une puissance de calcul limitée, il vaut mieux l'utiliser sur plus de photos avec une seule conjecture chacune, plutôt que sur moins de photos avec de nombreuses conjectures. Ils ont également montré que si vous utilisez une conjecture « figée » (qui ne change jamais) ou une simple moyenne pour combler les trous, l'IA s'effondre et perd sa capacité à créer de la diversité. Mais si vous gardez les conjectures fraîches et aléatoires, l'IA préserve son intégrité créative.

En bref, cet article nous donne une recette pour enseigner à l'IA à créer des mondes magnifiques et complexes, même lorsque nos données d'entraînement sont truffées de trous, tant que nous comblons ces trous avec le bon type d'aléatoire.

Résumé Technique : Flow Matching avec Données Manquantes (MDFM)

Énoncé du Problème

Le flow matching est une technique de modélisation générative puissante qui apprend un champ de vecteurs dépendant du temps pour transporter une distribution de base vers une distribution de données via un objectif de régression stable. Cependant, le flow matching standard suppose que les points terminaux d'entraînement sont entièrement observés. Dans les applications du monde réel (par exemple, dossiers médicaux, données de capteurs, enquêtes), les données sont fréquemment incomplètes.

Les solutions existantes emploient généralement l'imputation ponctuelle (remplacer les valeurs manquantes par une estimation unique telle que la moyenne conditionnelle). Bien que l'imputation ponctuelle soit efficace pour les tâches de prédiction reposant sur les moyennes, elle est préjudiciable à l'apprentissage génératif. Parce que le flow matching apprend à reproduire la distribution de ses points terminaux d'entraînement, remplacer une plage de valeurs manquantes plausibles par un point unique provoque un effondrement de la distribution conditionnelle. Cela se traduit par une distribution générée ayant une variance conditionnelle nulle, échouant ainsi à capturer la véritable dispersion et les dépendances des données.

Méthodologie : Missing-Data Flow Matching (MDFM)

Les auteurs proposent le Missing-Data Flow Matching (MDFM), un cadre qui traite les coordonnées manquantes comme des variables latentes plutôt que de tenter de les fixer à une valeur unique.

Mécanisme Central

Au lieu de s'engager sur une seule valeur imputée, le MDFM traite la partie manquante d'un échantillon, $X_{-\Lambda}$ , comme une variable aléatoire tirée de sa distribution conditionnelle étant donné la partie observée, $X_\Lambda$ .

Traitement en Variable Latente : Pour une observation incomplète $O = (\Lambda, X_\Lambda)$ , les coordonnées manquantes $X_{-\Lambda}$ sont échantillonnées à partir d'une distribution de complétion.
Perte Moyennée : La perte de flow matching est moyennée sur ces complétions échantillonnées. La fonction objectif devient une espérance sur les motifs observés, les données observées et les complétions des parties manquantes.
Oracle vs Appris :
- Objectif Oracle : Suppose l'accès à la véritable distribution conditionnelle $p^*(x_{-\Lambda} | x_\Lambda)$ .
- Objectif Appris : Utilise un modèle de complétion appris $q_\phi(x_{-\Lambda} | x_\Lambda, \Lambda)$ , entraîné via un masquage auto-supervisé sur un ensemble de données auxiliaire indépendant.

Fondement Théorique

L'article établit que sous les conditions de Manque de Données Complètement Aléatoire (MCAR), si les complétions sont tirées de la véritable distribution conditionnelle, l'objectif MDFM est exactement équivalent à l'objectif de flow matching avec données complètes.

Exactitude : Contrairement au score matching avec données manquantes, qui nécessite d'approximer des intégrales intraitables, la correction du MDFM est une égalité exacte. La cible de régression ( $X_1 - X_0$ ) devient explicite une fois un point terminal complété.
Relocalisation de la Difficulté : La difficulté des données manquantes ne disparaît pas mais se déplace entièrement vers l'estimation de la distribution de complétion conditionnelle. Si le modèle de complétion est parfait, le modèle de flow matching apprend la véritable distribution des données de manière exacte.

Contributions Clés

1. Correction Exacte et Équivalence

Les auteurs prouvent que sous l'hypothèse MCAR, l'entraînement sur des données incomplètes avec de véritables complétions produit les mêmes objectifs de population et gradients que l'entraînement sur des données complètes. Cela est vrai pour tout point différentiable dans l'espace des paramètres. Le résultat s'étend au cas de Manque de Données Aléatoire (MAR), mais pas au cas de Manque de Données Non Aléatoire (MNAR) sans hypothèses structurelles supplémentaires.

2. Analyse de la Variance en Échantple Fini

L'article fournit une décomposition rigoureuse de la variance de l'estimateur en échantplé fini, offrant des enseignements de conception contre-intuitifs :

Transfert de Variance, non Addition : L'absence de données n'augmente pas intrinsèquement la variance totale de l'estimateur ; elle transfère la variance du niveau d'observation vers le niveau de complétion. La moyenne sur les complétions élimine cette variance transférée.
Optimalité d'une Seule Complétion : Sous un budget d'évaluation fixe (nombre total d'évaluations de perte), l'utilisation d'une seule complétion par exemple est optimale. Tirer davantage de complétions par exemple est moins efficace que de collecter plus d'exemples incomplets.
Borne de Biais : Pour les modèles de complétion appris, le biais dans l'objectif de la population est borné par l'espérance de la distance Wasserstein-1 conditionnelle entre le modèle appris et la loi de complétion réelle. Ce biais est irréductible en augmentant la taille de l'échantillon d'entraînement du flow matching ; il nécessite un meilleur modèle de complétion.

3. Validation Empirique

Des expériences sur des données tabulaires synthétiques et réelles (jeux de données UCI) valident les prédictions théoriques :

Stochastique vs Déterministe : L'imputation déterministe (ex: moyenne conditionnelle) provoque l'effondrement de la distribution générée, triplant l'erreur de distribution. La complétion stochastique (ré-échantillonnage) préserve la variabilité conditionnelle et correspond aux performances des données complètes.
Métriques de Distribution : Sur des données réelles, le MDFM est compétitif avec de solides pipelines d'imputation. Plus précisément, MICE obtient les meilleurs rangs moyens sur la distance de Wasserstein découpée, la distance d'énergie et la MMD, tandis que le MDFM obtient le meilleur rang moyen sur la préservation de la covariance parmi les méthodes entraînées sur des données incomplètes.
Qualité de l'Imputation : Bien que le MDFM soit compétitif sur l'erreur d'imputation (RMSE), sa principale force réside dans la capture de la structure du second moment de la distribution jointe.

Signification et Revendications

L'article positionne le MDFM comme une solution théoriquement fondée qui comble le fossé entre la gestion des données manquantes et la modélisation générative.

Exactitude : La principale signification est la preuve que la correction est exacte, et non approximative, déplaçant la charge des données manquantes uniquement vers la qualité du modèle de complétion.
Guidage de Conception : L'analyse en échantplé fini fournit des directives concrètes et non intuitives : spécifiquement, qu'il faut prioriser la collecte de plus d'exemples de données plutôt que la génération de multiples imputations par exemple sous des budgets de calcul fixes.
Intégrité Générative : Ce travail démontre que pour maintenir l'intégrité d'un modèle génératif (spécifiquement sa capacité à reproduire la variance conditionnelle), il faut éviter l'imputation ponctuelle déterministe et utiliser à la place une complétion stochastique.

Les auteurs reconnaissent des limites, notant que la méthode repose sur l'hypothèse que le modèle de complétion peut être entraîné efficacement (nécessitant des motifs identifiables) et que les garanties théoriques se concentrent actuellement sur l'estimation de la perte plutôt que sur la qualité directe du champ de vecteurs généré. L'extension aux scénarios MNAR reste un défi ouvert nécessitant des hypothèses structurelles supplémentaires.