Technische Samenvatting: Causal Representation Learning van Netwerkdata (GraCE-VAE)

Probleemstelling

Huidige methoden voor causal representation learning gaan er vaak van uit dat geobserveerde variabelen ongestructureerde featurevectoren zijn, waarbij de rijke relationele context die inherent is aan veel wetenschappelijke domeinen (bijv. eiwit-eiwitinteracties, pathway-gen lidmaatschappen) wordt genegeerd. Hoewel bestaande graafgebaseerde inferentiemethoden de netwerkstructuren kunnen benutten, gaan zij doorgaans uit van een bekende causale graaf of overwegen zij alleen observeerbare interventies op bekende knopen. Omgekeerd slagen methoden voor causale ontwarring (causal disentanglement) die latente Structurele Causale Modellen (SCM's) leren van observationele en interventionele data vaak niet in het benutten van bekende interactienetwerken tussen gemeten entiteiten. Dit creëert een kloof in het leren van latente causale factoren en interventie-effecten terwijl de geobserveerde contextnetwerken worden geëxploiteerd.

Dit artikel behandelt de uitdaging van het ontdekken van latente causale factoren en hun onderlinge afhankelijkheden uit netwerkdata die verrijkt is met interventie-informatie, specifiek in situaties waarin variabelen geassocieerd zijn met een bekend interactienetwerk (bijv. biologische pathways).

Methodologie: GraCE-VAE

De auteurs stellen GraCE-VAE voor (Graph-Aware Causal Effects Variational AutoEncoder), een framework dat Graph Neural Networks (GNN's) integreert met deep generative modeling om latente causale grafen te ontdekken uit heterogene netwerkdata.

Architectuur

GraCE-VAE maakt gebruik van een encoder-decoder splitsing die is ontworpen om het gebruik van structurele context te scheiden van het generatieve causale model:

1. Graaf-bewuste Encoder (Graph-Aware Encoder):

   • Maakt gebruik van een GNN (specifiek geïnstantieerd als GraphSAGE) om een heterogene contextgraaf te verwerken die primaire geobserveerde entiteiten ($X$, bijv. genen) en hulpentiteiten ($H$, bijv. pathways) bevat.
   • De encoder conditioneert op de geobserveerde attributen van $X$, de hulp-view $H$, en de adjacency-structuren ($A_{XX}, A_{XH}, A_{HH}$).
   • Het produceert structuur-bewuste embeddings die de posterieure distributie over exogene ruisvariabelen ($Z$) parametriseren, waardoor netwerkcontext effectief wordt geïnjecteerd in het proces van amortized inference.
   • Cruciaal is dat de contextgraaf alleen wordt gebruikt voor inferentie; deze komt niet in de decoder terecht.

2. Causale Decoder (Latente SCM):

   • De decoder instantieert een Structureel Causaal Model (SCM) over latente variabelen $U$.
   • Het leert een Directed Acyclic Graph (DAG) die de causale structuur tussen latente factoren vertegenwoordigt.
   • Interventie Modellering: Interventies worden gemodelleerd via een tweestaps-proces. Een interventie-encoder brengt interventie-indicatoren in kaart naar een soft selection over latente variabelen (het identificeren van het doel) en een voorgestelde mechanisme-modificatie (bijv. een additieve verschuiving). De decoder past vervolgens deze modificatie toe op het causale mechanisme van de geselecteerde latente knoop, terwijl de andere ongewijzigd blijven.
   • Een mengfunctie $f_\theta$ brengt de latente causale variabelen $U$ terug naar de geobserveerde ruimte $X$.

Leervoerschijn (Learning Objective)

Het model wordt getraind met een gewogen som van drie componenten:

1. ELBO-term: Reconstrueert de observationele en interventionele datadistributies.
2. Distributie-aligneringsterm: Gebruikt Maximum Mean Discrepancy (MMD) om de door het model gegenereerde contrafeitelijke distributies uit te lijnen met de empirische interventionele distributies.
3. Regularisatie: Bevat sparsity straffen op de geleerde DAG-adjacency matrix en graafgebaseerde regularisaties.

Identificeerbaarheid

Het artikel stelt vast dat GraCE-VAE de identificeerbaarheidsgaranties overneemt van eerdere causal discrepancy VAE's (specifiek CMVAE [34]). Dit gebeurt onder de assumpties van:

• Lineaire interventionele trouw (linear interventional faithfulness).
• Beschikbaarheid van zowel observationele als interventionele data.
• Samples zijn i.i.d. binnen elk interventieregime.
• Elke latente variabele is onderhevig aan ten minste één interventie.
• Een hulp-view assumptie waarbij de pathway-informatie $H$ helpt bij de inferentie maar geen extra generatieve informatie voor $X$ biedt zodra $U$ bekend is.

De latente causale DAG en de interventie-targets zijn identificeerbaar tot de standaard equivalentieklasse (permutaties van equivalente factoren).

Belangrijkste Bijdragen

1. Framework voor Gestructureerde Context: Stelt een variational graph autoencoder voor die gezamenlijk een latente causale graaf en interventie-effecten leert, geleid door voorkennis uit heterogene netwerken (gemeten entiteiten en groepsnodes). In tegenstelling tot methoden die uitgaan van volledig geobserveerde variabelen of een gegeven causale graaf, ontdekt GraCE-VAE de latente structuur.
2. Theoretische Verheldering: Verduidelijkt dat omdat de generatieve modelklasse overeenkomt met eerdere causal discrepancy VAE's en de graaf-bewuste encoder alleen de amortized inference wijzigt, GraCE-VAE de bestaande identificeerbaarheidsgaranties overneemt zonder dat er nieuwe stellingen nodig zijn voor een andere familie van decoders.
3. Empirische Validatie: Demonstreert via experimenten op drie CRISPR-perturbatie datasets (norman, replogle-small, replogle-large) dat het benutten van gestructureerde biologische context de voorspelling van interventionele uitkomsten verbetert, met name voor ongeziene combinaties van perturbaties. Ablatie-studies bevestigen dat zowel de graaf-bewuste encoder als de causale decoder essentieel zijn voor de prestaties.

Experimentele Resultaten

Experimenten werden uitgevoerd op drie datasets met genetische perturbaties:

• Enkele Interventies: GraCE-VAE behaalde sterke $R^2$-prestaties en presteerde beter dan baselines zoals CMVAE (die structuur negeert) en SENA. Het was competitief met of superieur aan CMVAE-multihot en VGAE (een ablatie zonder de causale decoder).
• Ongeziene Dubbele Interventies: Het model werd getraind op enkele interventies en geëvalueerd op ongeziene dubbele interventies. GraCE-VAE presteerde aanzienlijk beter dan CMVAE en SENA bij het voorspellen van deze complexe combinaties, met een gemiddelde $R^2$ van 0,7845 vergeleken met 0,7382 voor CMVAE. Dit onderstreept de synergie tussen de GNN-codering van gestructureerde context en het vermogen van de causale decoder om te generaliseren.
• Ablatie-studies:
  • GNN-ontwerp: Verschillende GNN-architecturen (GCN, GAT, GraphSAGE) werden getest; GraphSAGE presteerde het best. Het verhogen van de diepte van de lagen leverde geen verdere verbeteringen op.
  • Contextniveaus: Het opnemen van rijkere edge-informatie (gene-gene, pathway-gene, pathway-pathway) verbeterde over het algemeen de voorspelling van enkelvoudige interventies, hoewel de winst afvlakte of licht omkeerde bij dubbele interventies, wat duidt op een afweging tussen contextrijkdom en overfitting.
  • Gecorrumpeerde Grafen: Het vervangen van 50% van de biologische edges door willekeurige edges leidde consistent tot een verslechtering van de prestaties, wat bevestigt dat betekenisvolle biologische topologie de winst drijft.
  • Priors: Het toevoegen van embeddings van single-cell foundation models (scFM) of alternatieve interventie-encoders presteerde niet consistent beter dan de standaard GraCE-VAE configuratie, wat suggereert dat de winst voortkomt uit de specifieke integratie van graafstructuur en causale modellering in plaats van alleen het toevoegen van meer priors.

Betekenis en Claims

Het artikel claimt dat GraCE-VAE een nieuwe aanpak biedt voor het blootleggen van latente causale factoren in complexe netwerksystemen door relationele informatie en interventie-gebaseerde causale inferentie te verenigen. De primaire betekenis ligt in:

• Het overbruggen van een Kloof: Het adresseert het gebrek aan methoden die latente causale structuren leren terwijl ze geobserveerde contextnetwerken tussen gemeten entiteiten exploiteren.
• Generalisatie: Het demonstreert een superieur vermogen om te extrapoleren naar ongeziene interventiecombinaties (bijv. dubbele perturbaties) door gebruik te maken van gestructureerde biologische context, een cruciale capaciteit voor wetenschappelijke ontdekking.
• Theoretische Degelijkheid: Het behoudt rigoureuze identificeerbaarheidsgaranties onder standaard assumpties, waarbij bewezen wordt dat het opnemen van graafstructuur in de encoder de theoretische herstelbaarheid van het latente causale model niet in gevaar brengt.

De auteurs merken beperkingen op, waaronder de afhankelijkheid van de dekking van de interventie-data, het gebruik van vereenvoudigde functionele vormen voor interventies (additieve verschuivingen), en de specifieke hulp-view assumptie die vereist is voor identificeerbaarheid. Zij concluderen dat hoewel de geleerde DAG's biologisch plausibele hypothesen bieden (bijv. in lijn met bekende celcyclus- of differentiatiepaden), ze moeten worden beschouwd als hypotheseruimtes voor contrafeitelijke simulatie in plaats van definitieve causale validaties zonder verdere externe validatie.