Differentiable Cyclic Causal Discovery Under Unmeasured Confounders

Technische Samenvatting: Differentieerbare Cyclische Causale Ontdekking onder Niet-gemeten Confounders

Probleemstelling
Causale ontdekking beoogt de gerichte graafstructuur te achterhalen die de oorzaak-gevolgrelaties tussen variabelen representeert. Bestaande algoritmen vertrouwen doorgaans op twee restrictieve aannames: (i) de onderliggende causale graaf is een Directed Acyclic Graph (DAG), en (ii) alle variabelen zijn geobserveerd (geen niet-gemeten confounders). Deze aannames worden in de praktijk vaak geschonden, met name in biologische netwerken, die feedbackloops (cycli) en verborgen confounders vertonen. Hoewel sommige methoden cycli aanpakken en andere confounders, behandelen weinig methoden beide gelijktijdig, vooral niet in nietlineaire settings. Bovendien gaan bestaande benaderingen voor cyclische grafen met confounders vaak uit van lineariteit of hebben ze moeite met schaalbaarheid. Dit artikel adresseert de uitdaging van het leren van nietlineaire cyclische causale grafen in aanwezigheid van niet-gemeten confounders met behulp van interventionele data.

Methodologie: DCCD-CONF
De auteurs stellen DCCD-CONF voor, een differentieerbaar framework voor het leren van causale structuren onder deze complexe condities. De methodologie is gebouwd op de volgende componenten:

1. Structureel Vergelijkingsmodel (SEM) met Latente Confounders:
   Het systeem wordt gemodelleerd met behulp van een Directed Mixed Graph (DMG) die zowel gerichte randen ($i \to j$) als bidirectionele randen ($i \leftrightarrow j$) bevat. De bidirectionele randen representeren verborgen confounders. De auteurs modelleren confounding niet als een aparte latente variabele node, maar als correlaties in de exogene ruistermen. Specifiek volgt de ruisvector $Z$ een Gaussische distributie $Z \sim \mathcal{N}(0, \Sigma_Z)$, waarbij niet-nul off-diagonal entries in de covariantie-matrix $\Sigma_Z$ duiden op confounding tussen variabelen.

2. Differentieerbaar Causaal Mechanisme via Implicit Flows:
   Om cycli en nietlineariteit aan te pakken, worden de causale mechanismen gemodelleerd met behulp van implicit flows. De structurele vergelijkingen worden gedefinieerd als $X = F(X, Z)$, waarbij $F$ een functie is die geparametriseerd wordt door neurale netwerken. Om het bestaan van een uniek vast punt (evenwicht) en inversibiliteit te garanderen, dwingen de auteurs een contractieve mapping af via een specifieke vorm: $F(x, z) = -g_x(x) + g_z(z) + z$, waarbij $g_x$ en $g_z$ contractieve functies zijn (afgedwongen via spectrale normalisatie). Dit maakt het gebruik van root-finding algoritmen (bijv. Broyden's methode) mogelijk om de forward map $z = f_x(x)$ en de reverse map te berekenen.

3. Interventionele Data en Mutilated Graphs:
   Het framework maakt gebruik van "chirurgische" (harde) interventies. Wanneer een node wordt geïntervenieerd, worden alle inkomende randen (gericht en bidirectioneel) verwijderd en wordt de node ingesteld op een waarde gesampled uit een bekende distributie. De likelihood van de data onder deze interventies wordt afgeleid op basis van de Jacobiaan van de forward map.

4. Optimalisatie en Scorefunctie:
   Het leerdoel is het maximaliseren van de geregulariseerde log-likelihood van de geobserveerde data over meerdere interventionele settings.

   • Graafstructuur: De adjacency matrix wordt behandeld als een Bernoulli-toevalsvariabele geparametriseerd door een matrix $B$. De $L_1$-norm wordt gebruikt als proxy voor sparsity-regularisatie.
   • Jacobiaan Determinant: Het berekenen van het log-determinant van de Jacobiaan is computationeel duur ($O(d^2)$). De auteurs gebruiken een unbiased estimator gebaseerd op de power series expansie van $\log(1+x)$, die stochastisch wordt afgekapt om bias te verminderen, gecombineerd met de Hutchinson trace estimator.
   • Confounder Distributie: De covariantie-matrix $\Sigma_Z$ wordt bijgewerkt door een sparsity-geregulariseerde optimalisatie op te lossen (geformuleerd als een Lasso-regressie) om positieve definitie en stabiliteit te waarborgen.

Belangrijkste Bijdragen

1. Nieuw Framework: Introductie van DCCD-CONF, het eerste differentieerbare framework dat in staat is om nietlineaire cyclische causale grafen te leren terwijl het expliciet niet-gemeten confounders modelleert via gecorreleerde Gaussische ruis.
2. Theoretische Garanties: De auteurs bewijzen dat het maximaliseren van de voorgestelde scorefunctie de interventional equivalence class van de grondwaarheid identificeert onder specifieke aannames (waaronder dat de data binnen de modelklasse valt en $\sigma$-separatie eigenschappen).
3. Algoritmische Efficiëntie: De ontwikkeling van een schaalbare optimalisatieprocedure die de computationele uitdagingen van implicit flows en Jacobiaan determinanten aanpakt via stochastische schatting en gestructureerde updates voor de ruis-covariantie.

Experimentele Resultaten
Het framework werd geëvalueerd op zowel synthetische als real-world datasets:

• Synthetische Data: DCCD-CONF werd vergeleken met state-of-the-art baselines (NODAGS-Flow, LLC, DAGMA, ADMG) over variërende aantallen confounders, cycli, graden van nietlineariteit en interventie-aantallen.
  • Prestaties: DCCD-CONF behaalde consistent een lagere Structural Hamming Distance (SHD) voor graafherstel en een hogere F1-score voor confounder-identificatie vergeleken met baselines, met name in nietlineaire settings.
  • Robuustheid: De methode toonde robuustheid naarmate het aantal cycli en confounders toenam. Het presteerde beter dan baselines naarmate het aantal interventies toenam, terwijl sommige baselines (zoals LLC) faalden in puur observationele settings.
  • Schaalbaarheid: De prestaties bleven superieur naarmate het aantal nodes toenam van 10 naar 80.
• Real-World Data: Het model werd toegepast op de Perturb-CITE-seq gen-perturbatie dataset (melanoomcellen onder controle-, co-cultuur- en IFN-$\gamma$-condities).
  • Metriek: Omdat de grondwaarheid van de grafen niet beschikbaar was, werd de prestatie gemeten via Negative Log-Likelihood (NLL) op gehouden testdata.
  • Resultaat: DCCD-CONF behaalde de laagste NLL over alle drie de condities, waarmee het NODAGS, LLC en DCDI versloeg, wat wijst op superieure predictieve nauwkeurigheid en effectieve modellering van confounding in biologische systemen.

Significantie en Claims
Het artikel claimt dat DCCD-CONF een verenigde oplossing biedt voor een voorheen gefragmenteerd probleemgebied, waarbij nietlineariteit, cycli en latente confounders simultaan worden aangepakt. De auteurs stellen dat hun benadering theoretische consistentiegaranties en praktische superioriteit biedt over bestaande methoden, die vaak beperkt zijn tot lineaire aannames, acyclische structuren of volledige observeerbaarheid. Het werk benadrukt de prevalentie van confounders in real-world systemen en demonstreert dat het rekening houden met hen via differentieerbaar leren de nauwkeurigheid van causale ontdekking aanzienlijk verbetert. De auteurs merken op dat hoewel het huidige werk uitgaat van Gaussische exogene ruis, toekomstige richtingen onder meer het verkennen van andere ruisdistributies, het afhandelen van ontbrekende data en het versoepelen van aannames over interventie-targets omvatten.