Résumé technique : Génération contrefactuelle débiaisée par appariement de flux à partir d'observations

Énoncé du problème

Le problème central abordé est l'estimation des distributions de résultats contrefactuels, notées $P_{Y(a)}$, sous une intervention hypothétique sur une variable binaire $A$ (par exemple, l'attribution d'un traitement), étant donné uniquement des données observationnelles confondues $(X, A, Y)$. Cette tâche est cruciale pour l'évaluation des risques liés aux traitements et pour la modélisation générative, où l'on souhaite générer des échantillons possédant un attribut spécifique $A=a$ tout en éliminant les corrélations fallacieuses avec des variables parasites $X$.

Les approches existantes modélisent généralement la distribution contrefactuelle $P_{Y(a)}$ comme une cible générative autonome, utilisant souvent des techniques de débiaisage semiparamétriques pour s'entraîner sur des données observationnelles. Cependant, ces méthodes traitent la distribution cible comme non structurée, ignorant la relation géométrique et statistique entre la distribution conditionnelle observationnelle $P_{Y|A=a}$ et la cible $P_{Y(a)}$. Par conséquent, elles peuvent éprouver des difficultés face à un support inadapté, un comportement des queues ou une multimodalité lorsqu'elles apprennent à partir de zéro, en particulier dans des contextes de haute dimension.

Méthodologie : Flux de déconfusion

Les auteurs proposent une stratégie novatrice : plutôt que d'apprendre $P_{Y(a)}$ à partir de zéro, ils apprennent un « flux de déconfusion » $f_a$ qui transporte la distribution conditionnelle observationnelle $P_{Y|A=a}$ vers la distribution contrefactuelle $P_{Y(a)}$. Cela se formule comme suit :
$$P_{Y(a)} = (f_a)_\# P_{Y|A=a}$$

Fondements théoriques

L'approche repose sur trois similarités structurelles clés entre $P_{Y(a)}$ et $P_{Y|A=a}$ sous des hypothèses causales standard (cohérence, échangeabilité conditionnelle et positivité) :

1. Support et comportement des queues identiques : Sous l'hypothèse de positivité, les deux distributions partagent le même support et la même classe de queues. Cela permet aux méthodes basées sur les flux d'éviter les limitations de mauvaise spécification courantes lors du transport depuis une distribution de base fixe (par exemple, une distribution gaussienne) vers une cible possédant des propriétés géométriques différentes.
2. Proximité statistique : La distance de variation totale (TV) entre la source et la cible est bornée par la force de la confusion. Sous une confusion faible ou lisse, les distributions sont statistiquement proches, ce qui implique que la carte de transport optimale est proche de l'identité.
3. Préservation des caractéristiques : Les caractéristiques de $Y$ qui sont invariantes aux confondants $X$ (par exemple, la forme d'un objet dans des images, tandis que la couleur est le confondant) partagent la même distribution dans $P_{Y|A=a}$ et $P_{Y(a)}$. Cela suggère que le problème d'apprentissage relève d'une édition structurée plutôt que d'une génération complète.

Estimateur : Appariement de flux débiaisé (DECFM)

Pour estimer le flux $f_a$ à partir de données observationnelles, les auteurs emploient l'Appariement de flux (Flow Matching) (Lipman et al., 2023). Le champ de vitesse $v_{\theta_a}$ est paramétré par un réseau de neurones, et le flux est la solution à temps 1 de l'équation différentielle ordinaire (ODE) associée.

Un défi critique surgit car la fonctionnelle cible pour l'estimation dépend de la distribution de données à travers le modèle lui-même (via la distribution de base $P_{Y|A=a}$). Les techniques standard de débiaisage semiparamétrique, qui supposent que la fonction de moment est fixe, sont insuffisantes. Les auteurs dérivent une correction nouvelle Fonction d'Influence Efficace (EIF) pour gérer cette dépendance.

L'estimateur proposé, DecFM, utilise un estimateur débiaisé en une étape :
$$\hat{m}(\theta_a) = \frac{1}{n} \sum_{i=1}^n \left( \hat{\mu}_{\theta_a}(A_i, X_i) + \hat{\phi}_{\theta_a, a}(X_i, A_i, Y_i) \right)$$
où $\hat{\phi}_{\theta_a, a}$ est l'EIF dérivée. Cet estimateur atteint :

• Double robustesse : La consistance est maintenue si soit le modèle de score de propension $\hat{\pi}_a$, soit le modèle de résultat conditionnel $\hat{P}_{Y|A,X}$ est consistant.
• Efficacité semiparamétrique : L'estimateur atteint la borne d'efficacité sous des conditions de régularité standard.
• Gestion des processus V : Les auteurs étendent les preuves d'efficacité existantes pour gérer les processus V découlant de l'utilisation de mesures empiriques pour la distribution de base.

Extension aux hautes dimensions (Couplage OT)

Dans les espaces de haute dimension, le couplage indépendant standard utilisé dans l'appariement de flux peut ne pas produire le chemin de transport le plus efficace. Les auteurs étendent la méthode pour cibler des flux de Transport Optimal (OT) en remplaçant le couplage indépendant par un couplage OT entropique (calculé via l'algorithme de Sinkhorn) entre les distributions de base et cible. Cela résulte en des flux « d'énergie minimale » avec des trajectoires plus droites, qui sont plus faciles à apprendre et plus robustes aux contraintes de capacité du modèle.

Contributions clés

1. Caractérisation structurelle : L'article caractérise formellement le support partagé, le comportement des queues et l'invariance des caractéristiques entre les distributions observationnelles et contrefactuelles, motivant l'utilisation de flux de déconfusion.
2. Estimateur débiaisé (DecFM) : Un nouvel estimateur d'appariement de flux basé sur une correction EIF novatrice qui prend en compte la dépendance de la cible par rapport à la distribution de base estimée. La méthode est prouvée doublement robuste et semiparamétriquement efficace.
3. Extension OT : Une extension pour cibler des flux OT d'énergie minimale en haute dimension, offrant une cible géométrique plus simple pour l'algorithme d'apprentissage.
4. Validation empirique : Une performance supérieure démontrée par rapport aux estimateurs débiaisés de l'état de l'art existants (incluant DoubleGen, TSE et INFs) sur des benchmarks synthétiques et des ensembles de données causaux réels (ACIC, TWINS, 401k).

Résultats expérimentaux

La méthode a été évaluée sur :

• Résultats synthétiques 1D/2D : DecFM a nettement surpassé l'appariement de flux à base gaussienne dans des scénarios avec des queues lourdes et un support fractionné, où les méthodes standard échouent en raison d'un décalage de support.
• Benchmarks causaux : Sur les ensembles de données ACIC, TWINS et 401k avec diverses géométries de résultats (Gaussien, Support fractionné, Queues lourdes), DecFM a obtenu l'erreur Wasserstein-1 la plus faible en moyenne.
• Génération d'images (ColorMNIST et CelebA) :
  • ColorMNIST : Dans une tâche contrôlée où la classe de chiffre ($A$) était confondue avec la couleur de premier plan ($X$), DecFM a réussi à rééquilibrer la distribution des couleurs tout en préservant la structure du chiffre, surpassant les bases de référence à base gaussienne.
  • CelebA : Dans une tâche de haute dimension rééquilibrant la couleur des cheveux ($X$) à travers les sexes ($A$), DecFM a produit des images de haute qualité avec des distributions de couleur des cheveux corrigées tout en préservant le contenu sémantique (identité du visage, pose), démontrant que le flux apprend des éditions structurées plutôt que de synthétiser des images à partir du bruit.

Importance et affirmations

L'article affirme qu'en exploitant la proximité géométrique entre les distributions observationnelles et contrefactuelles, les flux de déconfusion offrent une alternative plus efficace et robuste à la modélisation générative « à partir de zéro ». Les auteurs soutiennent que cette approche atténue les modes de défaillance connus des méthodes basées sur les flux (comme la difficulté à s'adapter au comportement des queues ou à un support déconnecté) et fournit un moyen principiel d'éliminer les corrélations fallacieuses dans les modèles génératifs.

L'importance réside dans la combinaison de la théorie de l'identification causale avec la modélisation générative moderne (appariement de flux) pour créer une méthode qui est à la fois statistiquement efficace (doublement robuste) et pratiquement efficace pour des tâches de haute dimension comme la génération d'images. Les auteurs notent que si la méthode hérite des limitations standard de l'inférence causale (par exemple, la dépendance aux hypothèses de confusion non observée), elle fournit un cadre pratique pour débiaiser les modèles génératifs dans des contextes où la distribution cible est structurellement similaire aux données observées.