Causal Discovery on Dependent Mixed Data with Applications to Gene Regulatory Network Inference

Probleemstelling

Causale ontdekking (causal discovery) richt zich op het afleiden van causale relaties tussen variabelen uit observationele data, vaak voorgesteld als een gerichte acyclische graaf (DAG). Bestaande methoden maken echter twee kritieke aannames die in moderne toepassingen vaak worden geschonden:

1. Onafhankelijkheid van steekproeven: De meeste methoden gaan uit van onafhankelijke en identiek verdeelde (i.i.d.) observaties. In real-world scenario's, zoals sociale netwerken of single-cell RNA-sequencing (scRNA-seq), vertonen steekproeven (bijv. individuen of cellen) echter onderlinge afhankelijkheden (bijv. door gemeenschappelijke afstamming of batch-effecten).
2. Gemengde data: Veel datasets bevatten een mix van continue en discrete variabelen. Het modelleren van afhankelijkheden tussen steekproeven in gemengde data is complex, omdat het niet triviaal is om afhankelijkheid in discrete data tussen verschillende eenheden in te voeren.

De combinatie van deze factoren leidt tot een schending van de i.i.d.-veronderstelling, wat resulteert in onnauwkeurige schattingen van causale structuren wanneer standaardmethoden direct op de originele data worden toegepast.

Methodologie

De auteurs stellen een nieuw raamwerk voor dat bestaat uit een latent-variable Structural Equation Model (SEM) en een de-correlatie-transformatie.

1. Het Model voor Gemengde Data met Afhankelijkheid

Het model generaliseert bestaande SEM's om zowel continue als discrete variabelen te hanteren, terwijl het afhankelijkheid tussen eenheden (samples) toestaat.

• Latente variabelen: Elke geobserveerde variabele $X_j$ (zowel continu als discreet) wordt gegenereerd door een onderliggende continue latente variabele $Z_j$.
• Discretisatie: Discrete waarden worden gegenereerd door $Z_j$ te thresholden met specifieke drempelwaarden $T_j$.
• Structuur: De latente variabelen volgen een lineair SEM:
  $$Z_j = \sum_{k \in PA_j} \beta_{kj} g(Z_k) + \epsilon_j$$
  waarbij $PA_j$ de ouderknooppunten zijn, $\beta$ de causale effecten, en $g(\cdot)$ een transformatie is (identiteit voor continue ouders, thresholding voor discrete ouders).
• Afhankelijkheid: De fouttermen $\epsilon_j$ volgen een multivariate normale verdeling $N_n(0, \Sigma)$. De covariantiematrix $\Sigma$ modelleert de afhankelijkheid tussen de $n$ eenheden (samples). De auteurs fixeren de diagonaal van $\Sigma$ op 1 voor identificeerbaarheid.

2. De-correlatie Raamwerk

Het kernidee is om de steekproefafhankelijkheid te verwijderen zodat standaard causal discovery-algoritmen kunnen worden toegepast.

• Cholesky-decompositie: Laat $\Theta = \Sigma^{-1}$ de precisiematrix zijn en $L$ de Cholesky-factor ($\Theta = LL^\top$).
• Transformatie: Door de data te transformeren met $L^\top$, worden de fouttermen gedecorreleerd ($\tilde{\epsilon} = L^\top \epsilon$ heeft onafhankelijke componenten). Hierdoor worden de geobserveerde eenheden onafhankelijk, terwijl de onderliggende causale structuur behouden blijft.

3. Schattingsprocedure (Twee Fasen)

Het algoritme werkt in twee fasen:

• Fase 1: Pre-schatting:
  • Schatting van drempelwaarden ($T$) en regressiecoëfficiënten ($\beta$) onder de aanname van onafhankelijkheid ($\Sigma = I$).
  • Schatting van de covariantiematrix $\Sigma$ via een paarsgewijze maximum likelihood schatter (Pairwise MLE). Dit benut zowel continue als discrete paren om de correlaties tussen eenheden te schatten, zonder de volledige hoge-dimensionale likelihood te hoeven maximaliseren.
• Fase 2: De-correlatie en Latente Data Herstelling:
  • Voor continue variabelen wordt de transformatie direct toegepast.
  • Voor discrete variabelen wordt een EM-algoritme gebruikt om de latente continue waarden ($Z$) te imputeren (via Gibbs sampling uit een getruncateerde Gaussische verdeling) en vervolgens te de-correleren met $L^\top$.
  • Het resultaat is een volledig continue, gedecorreleerde dataset $\tilde{Z}$.

4. Structuur Leren

Op de gedecorreleerde data $\tilde{Z}$ kunnen standaard algoritmen (zoals MMHC, PC, Copula-PC) worden toegepast om de DAG te schatten. De auteurs introduceren twee strategieën voor de uiteindelijke graaf:

• Consensus: Het uitvoeren van het algoritme op meerdere iteraties van de imputatie en het nemen van een meerderheidsstem voor de randen.
• Gemiddelde: Het middelen van de gedecorreleerde datasets voordat het algoritme wordt uitgevoerd.

Belangrijkste Bijdragen

1. Generalisatie naar Gemengde Data: Uitbreiding van bestaande de-correlatie methoden (die alleen voor continue of alleen voor binaire data werkten) naar een algemeen raamwerk voor gemengde continue en discrete data.
2. Robuustheid bij Afhankelijkheid: Een methode die expliciet rekening houdt met steekproefafhankelijkheid via een schatting van de covariantiematrix $\Sigma$, in plaats van deze te negeren.
3. Toepassing op scRNA-seq: Een toepassing op single-cell RNA-sequencing data om genregulatienetwerken (GRN) te infereren, waarbij rekening wordt gehouden met de inherente afhankelijkheid tussen cellen (bijv. door gemeenschappelijke lijnen).
4. Validatie: Een uitgebreide validatie via simulaties en een bootstrap-analyse op real-world data om de stabiliteit en betrouwbaarheid van de geschatte kansen te kwantificeren.

Resultaten

Simulatiestudies

• De methode werd getest op synthetische en echte DAGs (uit de bnlearn repository) met verschillende steekproefgroottes ($n$) en variabelenaantallen ($p$).
• Prestatie: De voorgestelde methode (zowel de 'Consensus' als 'Average' aanpak) presteerde significant beter dan standaard methoden die direct op de afhankelijke data werden toegepast (Baseline).
• F1-score: Er werd een aanzienlijke verbetering in de F1-score (precisie en recall) waargenomen, vooral in hoog-dimensionale settings ($p > n$) en bij sterke afhankelijkheid tussen eenheden. De 'Consensus'-benadering leverde over het algemeen de meest stabiele resultaten op.
• Covariantie schatting: De paarsgewijze schatter voor $\Sigma$ bleek robuust, zelfs wanneer de initiële schatting van de ouderknooppunten niet perfect was.

Toepassing: Genregulatienetwerken (scRNA-seq)

• Data: Geanalyseerd op data van menselijke embryonale stamcellen (Chu et al., 2016) met 859 cellen en 51 genen.
• Validatie: Via cross-validatie bleek dat het model met de-correlatie een aanzienlijk betere log-likelihood had op testdata vergeleken met de baseline en een variant zonder de-correlatie.
• Biologische relevantie: De afgeleide netwerken bevatten veel hoge-vertrouwens randen die overeenkomen met bekende biologische interacties uit de literatuur (bijv. interacties tussen POU5F1, NANOG en ZFP42). De bootstrap-analyse bevestigde de stabiliteit van deze inferenties.

Betekenis en Conclusie

Dit werk biedt een principieel raamwerk om causale ontdekking toe te passen op complexe, real-world datasets die zowel gemengde data-types als steekproefafhankelijkheid vertonen. De belangrijkste inzichten zijn:

• Causale ontdekking hoeft niet volledig opnieuw ontworpen te worden voor afhankelijke data; in plaats daarvan kan de afhankelijkheid "upstream" worden opgelost door een geschikte transformatie (de-correlatie).
• Het negeren van afhankelijkheid tussen samples leidt tot significante fouten in het infereren van causale structuren.
• De methode is bijzonder waardevol voor biologische toepassingen zoals single-cell sequencing, waar cellen inherent afhankelijk zijn van elkaar, en waar data vaak een mix van continue expressiewaarden en discrete toestanden is.

De auteurs wijzen op toekomstig werk gericht op het integreren van interventiedata en het uitbreiden van het model naar niet-lineaire structuren, wat de toepasbaarheid in nog complexere systemen zou vergroten.