Technische Samenvatting: Causal Variational Deep Embedding (CAUVADE)

Probleemstelling

Diepe generatieve modellen (bijv. VAE's, GAN's, Diffusiemodellen) zijn ontworpen om de observationele distributie van trainingsdata te reproduceren. Echter, wanneer trainingsdata spuria true correlaties bevat die worden gedreven door niet-geobserveerde confounders ($U$), erven deze modellen deze biases. In een causale setting, wanneer een gebruiker een attribuut $X$ (bijv. het cijferidentiteit) wil manipuleren en de resulterende distributie van een afhankelijke attribuut $Y$ (bijv. de achtergrondkleur) wil observeren, geven standaardmodellen de observationele conditie $P(Y|X)$ weer in plaats van de interventionele distributie $P_x(Y)$.

De kernuitdaging is partiële identificeerbaarheid. Wanneer $U$ verborgen is, is de observationele data $P(X, Y)$ consistent met een verzameling verschillende causale mechanismen, die elk een andere $P_x(Y)$ voorspellen. Bestaande causale generatieve benaderingen lossen deze ambiguïteit vaak op door sterke structurele aannames op te leggen (bijv. specifieke functionele vormen of ruis-onafhankelijkheid) om een enkele interventionalele distributie te selecteren. In beelddomeinen zijn dergelijke aannames zelden gerechtvaardigd; een model dat een enkele puntinschatting teruggeeft, is overmoedig, omdat het stilletjes één element heeft gekozen uit een verzameling ononderscheidbare causale verklaringen. Het doel is om de toelaatbare regio te karakteriseren—de verzameling van alle interventionalele distributies die consistent zijn met de geobserveerde data en verdedigbare structurele aannames—in plaats van zich vast te leggen op een enkele puntinschatting.

Methodologie

1. Canonieke Augmented Structural Causal Models (CASCMs)

De auteurs stellen een theoretische basis voor gebaseerd op Augmented Structural Causal Models (ASCM's) die zijn uitgebreid naar beeldgeneratie. Een ASCM omvat een beeldvariabele $I$ gegenereerd door semantische variabelen ($X, Y, Z$) en exogene ruis.

• Theoretische Rechtvaardiging: Het artikel bewijst dat de klasse van Canonieke ASCM's (CASCM's) dicht is in de klasse van alle ASCM's die compatibel zijn met een gegeven causaal diagram, onder zowel observationele als interventionele 1-Wasserstein afstand ($W_1$).
• Canonieke Structuur: In een CASCM wordt de ongeobserveerde confounder $U$ beperkt tot een discrete latente variabele met een begrensde ondersteuning ($U \in \{1, \dots, d\}$), terwijl continue variatie wordt geabsorbeerd in onafhankelijke exogene ruis ($E_Z, E_X, E_Y, E_I$). Deze reductie maakt het mogelijk om de oneindig dimensionale zoekruimte van algemene ASCM's te benaderen door een tractabele klasse waarbij de confounder een discrete cluster is.

2. CAUVADE Architectuur

Causal Variational Deep Embedding (CAUVADE) instantieert de CASCM-klasse als een Gaussian-mixture Variational Autoencoder (VAE).

• Latente Variabelen:
  • Cluster $C$: Een discrete variabele die de canonieke confounder $U$ representeert.
  • Continue Latente $Z$: Bundelt het pre-treatment attribuut en de onafhankelijke exogene ruis.
• Generatief Proces: Het model definieert een gezamenlijke distributie waarbij $C$ en $Z$ de generatie van $X, Y$ en het beeld $I$ aansturen.
• Interventie: Om interventionalele samples $P_x(I)$ te genereren, samplet het model $(C, Z)$ uit hun gezamenlijke prior (niet de posterior gegeven $X$), fixeert $X=x$, en propageert door de decoders voor $Y$ en $I$. Dit verbreekt het confounding pad, waardoor interventie wordt onderscheiden van selectie.

3. Training en de $\gamma$-Sweep

CAUVADE wordt getraind op confounded data waarbij alleen $X$ gelabeld is. De objectieffunctie combineert standaard VAE-termen met twee specifieke regularisaties:

1. Treatment-Consistency Term ($L_X$): Een hulp-classifier zorgt ervoor dat de latente representatie $(C, Z)$ voldoende informatie bevat om het geobserveerde treatment $X$ te voorspellen.
2. Cluster-Entropy Regularizer ($L_{ent}$): Een entropie-term op de cluster posterior $q_\phi(C|I)$ gewogen door een scalaire $\gamma$.
   • Lage $\gamma$: De posterior stort in (lage entropie), wat leidt tot deterministisch VAE-achtig gedrag dat de observationele conditie $P(Y|X)$ volgt.
   • Hoge $\gamma$: De posterior wordt uniform (hoge entropie), waardoor de afbeelding ontkoppeld wordt van de specifieke realisatie van de confounder en er gemiddeld wordt over de prior.
   • De Sweep: Door $\gamma$ over een bereik $[0, \infty)$ te laten variëren (sweepen), brengt CAUVADE een continue familie van generatoren in kaart. Elk $\gamma$ komt overeen met een ander optimum dat de observationele data met vergelijkbare likelihood past, maar een andere interventionalele distributie $P_x(I)$ induceert.

Belangrijkste Bijdragen

1. Canonieke Augmented SCM: Introductie van een klasse structurele modellen waarbij ongeobserveerde confounders discrete latente clusters zijn. De auteurs bewijzen dat deze klasse dicht is in de ruimte van alle compatibele ASCM's onder Wasserstein-afstand, wat de rechtvaardiging vormt voor het gebruik van deze eenvoudigere klasse voor beelddomeinen.
2. CAUVADE Framework: Een praktische instantie van de canonieke klasse met behulp van een mixture VAE. Het introduceert een entropie-regularisatie op de cluster posterior om de toelaatbare regio van interventionalele distributies te navigeren zonder dat er sterke structurele aannames of extra supervisie nodig zijn.
3. Partiële Identificatie via $\gamma$-Sweep: Demonstratie dat het variëren van de entropie-gewicht $\gamma$ een curve door de toelaatbare regio van causale verklaringen tekent. Dit stelt het model in staat om een diverse set interventionalele samples te produceren die consistent zijn met de data, in plaats van een enkele vertekende schatting.

Experimentele Resultaten

De auteurs evalueren CAUVADE op drie datasets: Confounded Color-MNIST, CelebA, en MIMIC-CXR-JPG.

• Color-MNIST: In een setting waar cijferidentiteit en achtergrondkleur via een verborgen confounder spuria true gecorreleerd zijn, vallen standaard VAE's en ANCM's terug op enkele puntinschattingen (ofwel de confounded conditie, ofwel een enkel punt binnen de Manski-bounds). CAUVADE produceert, door middel van de $\gamma$-sweep, een diverse set cijfer-kleur associaties die de gehele door Manski gedefinieerde toelaatbare regio beslaat.
• CelebA: Bij het modelleren van het effect van "Young" op "Heavy Makeup" met "Attractive" als een verborgen confounder, genereert CAUVADE samples die visueel overeenkomen met de onconfounded grondwaarheid over verschillende $\gamma$-waarden, terwijl baselines falen om de spuria true correlatie te ontwarren.
• MIMIC-CXR-JPG: Bij het modelleren van het causale effect van Pneumonia op Lung Opacity (geconfound door patiëntpositie), bereikt CAUVADE een significant lagere Fréchet Inception Distance (FID) tegenover een onconfounded referentie (284.57) vergeleken met VAE (354.97) en ANCM (407.73). De baselines erven ofwel de bias direct, ofwel committeren zij zich aan een enkele onjuiste causale verklaring.

Betekenis en Claims

Het artikel beweert dat in de aanwezigheid van verborgen confounders, het "juiste object om te modelleren" de toelaatbare regio van interventionalele distributies is, en niet een enkele puntinschatting.

• Bescheiden Claims: De auteurs beweren niet het ware causale mechanisme te hebben geïdentificeerd (wat onmogelijk is zonder verdere aannames). In plaats daarvan beweren zij een methode te bieden die trouw de verzameling plausibele mechanismen karakteriseert die consistent zijn met de data.
• Praktische Impact: Door de overmoed van single-point estimators te vermijden, biedt CAUVADE een eerlijkere representatie van onzekerheid in causale beeldgeneratie. De methode wordt gepresenteerd als een praktisch hulpmiddel voor "deconfounded image generation" dat diverse, hoogwaardige samples produceert die het bereik van causale verklaringen dekken die door de observationele data worden toegestaan.
• Theoretische Bijdrage: Het dichtheidstheorema (Theorem 2.2) biedt een rigoureuze rechtvaardiging voor het gebruik van discrete latente clusters om complexe, continue ongeobserveerde confounders in hoog-dimensionale beeldruimtes te benaderen, waarmee de brug wordt geslagen tussen theoretische causale inferentie en diepe generatieve modellering.