Technische Samenvatting: ACTIVA - Amortized Causal Effect Estimation via Variational Autoencoders

Probleemstelling

Het schatten van post-interventie distributies op basis van louter observationele data is een fundamentele uitdaging in velden zoals de gezondheidszorg, economie en financiën. Een primaire hindernis is causale ambiguïteit: verschillende causale mechanismen kunnen identieke observationele data genereren terwijl ze onder interventie uiteenlopende uitkomsten impliceren. Bovendien omvatten veel real-world scenario's gedeeltelijk gespecificeerde interventies (bijv. weten dat een medicijn is toegediend, maar niet de exacte dosering), waardoor methoden die volledige functionele specificaties vereisen, ontoepasbaar worden. Ten slotte vereisen traditionele causale inferentie-methoden vaak uitgebreide berekeningen voor elk nieuw probleemscenario, waarbij ze een gebrek aan amortisatie vertonen — het onvermogen om geleerde kennis te hergebruiken over diverse taken heen om computationeel goedkope inferentie mogelijk te maken.

Methodologie: ACTIVA

De auteurs stellen ACTIVA voor (Amortized Causal Effect Estimation via Variational Autoencoders), een transformer-gebaseerde Conditional Variational Autoencoder (CVAE) die is ontworpen voor de geamortiseerde schatting van volledige interventie-distributies.

Kernarchitectuur

ACTIVA modelleert de gezamenlijke distributie $p_\theta(V, z | D_M, do(V)) = p_\gamma(V | z)p_\eta(z | D_M, do(V))$, waarbij:

• Inputs: Observationele data $D_M$ en een interventie-query $do(V)$ (gespecificeerd door een doelvariabele en een interventie-index, niet noodzakelijkerwijs een volledige functionele specificatie).
• Latente ruimte ($z$): Representeert de onzekerheid over het onderliggende causale model. Het model gaat ervan uit dat observationele data compatibel is met een klasse van observationeel equivalente causale modellen, die elk verschillende interventie-distributies impliceren.
• Encoder (Posterior): Tijdens de training conditioneert de encoder $q_\phi(z | D_M, D_{Mdo(V)}, do(V))$ op zowel observationele als interventionele samples om een latente representatie te leren.
• Prior: De conditionele prior $p_\eta(z | D_M, do(V))$ wordt geleerd om de geaggregeerde posterior van de encoder te benaderen. Cruciaal is dat de prior tijdens de inferentie alleen conditioneert op de observationele data en de interventie-query, waardoor de kennis van interventionele uitkomsten die tijdens de training is geleerd, effectief wordt "geamortiseerd".
• Decoder: Een transformer-gebaseerde decoder $p_\gamma(V | z)$ brengt latente samples in kaart naar de parameters van een Gaussian Mixture Model (GMM), waarmee de volledige post-interventionele distributie wordt voorspeld.

Belangrijkste Ontwerpkenmerken

1. Permutatie-equivariantie: De architectuur maakt gebruik van multi-head self-attention (MHSA) blokken die afwisselend aandacht besteden aan features en samples. Dit zorgt ervoor dat het model de volgorde van variabelen consistent behandelt, waardoor het statistische kracht kan delen over gerelabelde grafen.
2. Zwakke Interventie-specificatie: Het model codeert interventies via een index en een doel-selector in plaats van een volledig gespecificeerde functionele waarde te vereisen, wat toepassing mogelijk maakt in settings met gedeeltelijk gedefinieerde interventies.
3. Mixture Modeling: Zowel de latente prior als de decoder-output worden gemodelleerd als mixtures (GMM), waardoor het model multi-modale distributies kan vangen en causale ambiguïteit expliciet kan representeren.

Theoretische Analyse

Het artikel biedt een consistentie-resultaat onder geïdealiseerde condities (oneindige samples en optimale expressiviteit). De auteurs bewijzen dat:

• De leerdoelstelling streeft naar een mixture over de interventie-distributies van alle causale modellen die observationeel compatibel zijn met de inputdata en ondersteund worden door de simulator-distributie.
• Indien de observationele equivalentieklasse inklapt tot één enkel model (identificeerbaar geval), reduceert het doel tot de unieke post-interventionele distributie.
• De geleerde prior overbrugt effectief de kloof tussen de trainingssetting (waar interventionele data beschikbaar is) en de inferentie-setting (waar dit niet het geval is), door de informatie die tijdens de training uit de interventionele data is geëxtraheerd te absorberen.

Experimentele Resultaten

ACTIVA werd geëvalueerd op synthetische datasets (Gaussian en Beta ruis, 2 en 8 variabelen) en semi-synthetische genexpressie-data (SERGIO simulator). Het werd vergeleken met:

• Gaussian Conditional: Een correlationele baseline.
• Linear Causal: Een oracle baseline met toegang tot de ware causale graaf.
• MACE-TNP: Een sterke geamortiseerde baseline die is uitgebreid om gezamenlijke distributies te voorspellen.

Belangrijkste Bevindingen:

• Superieuriteit ten opzichte van Correlationele Baselines: ACTIVA presteert aanzienlijk beter dan de Gaussian Conditional baseline, met name door het verminderen van spuriale non-descendant effecten. Het voorspelt correct nul causale effecten voor non-descendants, terwijl de correlationele baseline valse verschuivingen voorspelt.
• Prestaties vs. Amortized Baselines: Op kleine grafen en semi-synthetische biologische data bereikt ACTIVA competitieve of superieure prestaties (in termen van Negative Log-Likelihood en Energy Distance) vergeleken met MACE-TNP. Op grotere synthetische grafen (8 variabelen) bereikt MACE-TNP soms een lagere energy distance, wat wijst op complementaire sterktes.
• Downstream Nut: De distributionele voorspellingen vertalen zich in accurate Average Treatment Effect (ATE) schattingen. Het vermogen van ACTIVA om de causale structuur te vangen, stelt het model in staat om competitief te presteren met de oracle Linear Causal baseline op kleinere problemen en semi-synthetische data, ondanks het ontbreken van toegang tot de ware graaf.
• Robuustheid: ACTIVA demonstreert gedeeltelijke robuustheid in out-of-distribution (OOD) settings, hoewel de prestaties achteruitgaan ten opzichte van in-distribution resultaten, met name op descendant energy distance.

Betekenis en Claims

De auteurs positioneren ACTIVA als een veelbelovende stap richting foundation models voor causale inferentie. Het artikel claimt significantie op drie gebieden:

1. Geamortiseerde Distributionele Estimatie: In tegenstelling tot methoden die causale grafen herstellen of punt-samenvattingen schatten, amorteert ACTIVA direct de voorspelling van volledige post-interventionele distributies, wat zero-shot inferentie op nieuwe datasets mogelijk maakt.
2. Expliciete Representatie van Ambiguïteit: Door de output te modelleren als een mixture over plausibele causale modellen, representeert ACTIVA expliciet de onzekerheid die inherent is aan observationele data, in plaats van deze te laten inklappen tot een enkele punt-schatting.
3. Omgaan met Partiële Interventies: Het framework is uniek geschikt voor settings waar interventies slechts gedeeltelijk gespecificeerd zijn (bijv. interventie-labels zonder precieze dosering), een veelvoorkomende beperking in real-world toepassingen.

Het artikel concludeert dat hoewel finite-sample implementaties benaderingen zijn van het theoretische ideaal, de theorie-gestuurde architectuur succesvol voorspellers leert die de post-interventionele causale structuur reflecteren in plaats van louter observationele correlaties.