Résumé Technique : Causal Variational Deep Embedding (CAUVADE)

Énoncé du Problème

Les modèles génératifs profonds (par exemple, les VAE, les GAN, les modèles de diffusion) sont conçus pour reproduire la distribution observationnelle des données d'entraînement. Cependant, lorsque les données d'entraînement contiennent des corrélations spécieuses pilotées par des facteurs de confusion non observés ($U$), ces modèles héritent de ces biais. Dans un contexte causal, si un utilisateur souhaite manipuler un attribut $X$ (par exemple, l'identité d'un chiffre) et observer la distribution résultante d'un attribut dépendant $Y$ (par exemple, la couleur de l'arrière-plan), les modèles standards produisent la distribution conditionnelle observationnelle $P(Y|X)$ plutôt que la distribution interventionnelle $P_x(Y)$.

Le défi central est l'identification partielle. Lorsque $U$ est caché, la donnée observationnelle $P(X, Y)$ est compatible avec un ensemble de mécanismes causaux distincts, chacun prédisant une $P_x(Y)$ différente. Les approches génératives causales existantes résolvent souvent cette ambiguïté en imposant de fortes hypothèses structurelles (par exemple, des formes fonctionnelles spécifiques ou l'indépendance du bruit) afin de sélectionner une distribution interventionnelle unique. Dans le domaine de l'image, de telles hypothèses sont rarement justifiées ; un modèle retournant une estimation ponctuelle unique est trop confiant, ayant silencieusement choisi un seul élément parmi un ensemble d'explications causales indiscernables. L'objectif est de caractériser la région faisable — l'ensemble de toutes les distributions interventionnelles cohérentes avec les données observées et les hypothèses structurelles défendables — plutôt que de s'engager sur une estimation ponctuelle unique.

Méthodologie

1. Modèles Structurels Causaux Augmentés Canoniques (CASCMs)

Les auteurs proposent un fondement théorique basé sur les Modèles Structurels Causaux Augmentés (ASCM) étendus à la génération d'images. Un ASCM comprend une variable d'image $I$ générée par des variables sémantiques ($X, Y, Z$) et un bruit exogène.

• Justification Théorique : L'article prouve que la classe des CASCM (Canonical ASCMs) est dense dans la classe de tous les ASCM compatibles avec un diagramme causal donné, sous les distances de 1-Wasserstein observationnelle et interventionnelle.
• Structure Canonique : Dans un CASCM, le facteur de confusion non observé $U$ est restreint à une variable latente discrète à support borné ($U \in \{1, \dots, d\}$), tandis que la variation continue est absorbée dans des bruits exogènes indépendants ($E_Z, E_X, E_Y, E_I$). Cette réduction permet d'approximer l'espace de recherche de dimension infinie des ASCM généraux par une classe traitable où le facteur de confusion est un cluster discret.

2. Architecture CAUVADE

Le Causal Variational Deep Embedding (CAUVADE) instancie la classe CASCM sous la forme d'un auto-encodeur variationnel (VAE) à mélange gaussien.

• Variables Latentes :
  • Cluster $C$ : Une variable discrète représentant le facteur de confusion canonique $U$.
  • Latent Continu $Z$ : Regroupe l'attribut pré-traitement et les bruits exogènes indépendants.
• Processus Génératif : Le modèle définit une distribution jointe où $C$ et $Z$ pilotent la génération de $X$, $Y$ et de l'image $I$.
• Intervention : Pour générer des échantillons interventionnels $P_x(I)$, le modèle échantillonne $(C, Z)$ à partir de leur priorité jointe (et non de la postérieure donnée $X$), fixe $X=x$, et propage à travers les décodeurs pour $Y$ et $I$. Cela brise le chemin de confusion, distinguant l'intervention de la sélection.

3. Entraînement et le $\gamma$-Sweep

CAUVADE est entraîné sur des données confondues où seul $X$ est étiqueté. La fonction d'objectif combine les termes standards du VAE avec deux régulariseurs spécifiques :

1. Terme de Consistance du Traitement ($L_X$) : Un classificateur auxiliaire garantit que la représentation latente $(C, Z)$ contient suffisamment d'informations pour prédire le traitement observé $X$.
2. Régularisateur d'Entropie du Cluster ($L_{ent}$) : Un terme d'entropie sur la postérieure du cluster $q_\phi(C|I)$ pondéré par un scalaire $\gamma$.
   • $\gamma$ faible : La postérieure s'effondre (entropie faible), menant à un comportement déterministe de type VAE qui suit la conditionnelle observationnelle $P(Y|X)$.
   • $\gamma$ élevé : La postérieure devient uniforme (entropie élevée), découplant l'image de la réalisation spécifique du facteur de confusion et effectuant une moyenne sur la priorité.
   • Le Balayage (Sweep) : En balayant $\gamma$ sur une plage $[0, \infty)$, CAUVADE trace une famille continue de générateurs. Chaque $\gamma$ correspond à un optimum différent qui ajuste les données observationnelles avec une vraisemblance comparable mais induit une distribution interventionnelle $P_x(I)$ distincte.

Contributions Clés

1. ASCM Canonique : Introduction d'une classe de modèles structurels où les facteurs de confusion non observés sont des clusters latents discrets. Les auteurs prouvent que cette classe est dense dans l'espace de tous les ASCM compatibles sous la distance de Wasserstein, justifiant l'utilisation de cette classe plus simple pour les domaines d'images.
2. Cadre CAUVADE : Une instanciation pratique de la classe canonique utilisant un VAE à mélange. Il introduit un régularisateur d'entropie sur la postérieure du cluster pour naviguer dans la région faisable des distributions interventionnelles sans nécessiter de fortes hypothèses structurelles ou de supervision auxiliaire.
3. Identification Partielle via $\gamma$-Sweep : Démonstration que la variation du poids d'entrop $\gamma$ trace une courbe à travers la région faisable des explications causales. Cela permet au modèle de produire un ensemble diversifié d'échantillons interventionnels cohérents avec les données, plutôt qu'une estimation ponctuelle biaisée.

Résultats Expérimentaux

Les auteurs évaluent CAUVADE sur trois jeux de données : Color-MNIST confondu, CelebA, et MIMIC-CXR-JPG.

• Color-MNIST : Dans un contexte où l'identité du chiffre et la couleur de l'arrière-plan sont corrélées de manière spécieuse via un facteur de confusion caché, les VAE standards et les ANCM s'effondrent vers des estimations ponctuelles uniques (soit la conditionnelle confondue, soit un point unique à l'intérieur de la borne de Manski). CAUVADE, grâce au balayage de $\gamma$, produit un ensemble diversifié d'associations chiffre-couleur qui couvrent l'intégralité de la région faisable définie par les bornes de Manski.
• CelebA : En modélisant l'effet de "Jeune" sur "Maquillage Prononcé" avec "Attractivité" comme facteur de confusion caché, CAUVADE génère des échantillons qui s'alignent visuellement avec la vérité terrain non confondue à travers différentes valeurs de $\gamma$, tandis que les modèles de référence échouent à désenchevêtrer la corrélation spécieuse.
• MIMIC-CXR-JPG : En modélisant l'effet causal de la Pneumonie sur l'Opacité Pulmonaire (confondu par la position du patient), CAUVADE obtient une distance de Fréchet Inception (FID) nettement plus faible par rapport à une référence non confondue (284,57) que le VAE (354,97) et l'ANCM (407,73). Les modèles de référence héritent soit directement du biais, soit s'engagent dans une explication causale unique et incorrecte.

Signification et Revendications

L'article soutient que, en présence de facteurs de confusion cachés, le "bon objet à modéliser" est la région faisable des distributions interventionnelles, et non une estimation ponctuelle unique.

• Revendications Modestes : Les auteurs ne prétendent pas identifier le véritable mécanisme causal (ce qui est impossible sans hypothèses supplémentaires). Ils prétendent plutôt fournir une méthode qui caractérise fidèlement l'ensemble des mécanismes plausibles cohérents avec les données.
• Impact Pratique : En évitant l'excès de confiance des estimateurs ponctuels, CAUVADE offre une représentation plus honnête de l'incertitude dans la génération d'images causales. La méthode est présentée comme un outil pratique de "génération d'images déconfondue" capable de produire des échantillons diversifiés et de haute qualité couvrant la gamme des explications causales autorisées par les données observationnelles.
• Contribution Théorique : Le théorème de densité (Théorème 2.2) fournit une justification rigoureuse de l'utilisation de clusters latents discrets pour approximer des facteurs de confusion continus complexes dans des espaces d'images de haute dimension, comblant ainsi le fossé entre l'inférence causale théorique et la modélisation générative profonde.