Moment Matters: Mean and Variance Causal Graph Discovery from Heteroscedastic Observational Data

Deze paper introduceert een Bayesiaans raamwerk dat heteroscedastische observationele data analyseert om afzonderlijke causaliteitsgrafieken voor gemiddelde en variantie te identificeren, waardoor de interpretatie en het ontwerp van interventies worden verbeterd.

De kern

Stel je voor dat je een detective bent die probeert te begrijpen waarom bepaalde dingen in de wereld gebeuren. Je hebt een lijst met variabelen: bijvoorbeeld "hoeveel je slaapt", "hoeveel je koffie drinkt" en "hoe productief je bent".

Normale onderzoekers kijken naar deze lijst en zeggen: "Ah, koffie drinken beïnvloedt je productiviteit!" Ze tekenen een pijltje van koffie naar productiviteit. Maar ze laten één cruciaal detail weg: hoe die invloed werkt.

Soms zorgt koffie ervoor dat je gemiddeld iets productiever bent (de gemiddelde waarde gaat omhoog). Maar soms zorgt koffie ervoor dat je productiviteit onvoorspelbaar wordt: op sommige dagen ben je een machine, op andere dagen ben je een slak, afhankelijk van hoe je lichaam reageert (de variatie of spreiding verandert).

Dit artikel, getiteld "Moment Matters" (Momen(t) telt), gaat over een nieuwe manier om deze mysteries op te lossen, vooral wanneer data "heteroscedastisch" is. Dat is een groot woord voor: wanneer de spreiding van de data verandert afhankelijk van andere factoren.

Hier is de uitleg in simpele taal:

1. Het Probleem: De "Eén-Gezichts" Kaart

Stel je voor dat je een kaart tekent van een stad. Normale methoden tekenen alleen de wegen: "Van punt A kun je naar punt B." Maar ze vertellen je niet of die weg een snelweg is (veel verkeer, snel) of een smalle, hobbelige landweg (weinig verkeer, onvoorspelbaar).

In de echte wereld (zoals bij medicijnen of economie) is dit belangrijk.

• Voorbeeld Medicijn: Een ingenieur wil een medicijn maken dat altijd even goed werkt. Hij kijkt naar een kaart en ziet dat eiwit X1 wordt beïnvloed door eiwitten X2 tot X6. Maar de kaart zegt niet welke van die eiwitten zorgen dat het medicijn soms werkt en soms niet (de variatie), en welke zorgen dat het gemiddeld beter werkt.
• Als hij de verkeerde eiwitten aanpast, kan hij de gemiddelde werking verbeteren, maar de onvoorspelbaarheid blijft. Hij heeft dus twee kaarten nodig: één voor het gemiddelde effect en één voor de onvoorspelbaarheid (variatie).

2. De Oplossing: Twee Kaarten in Eén

De auteurs van dit paper hebben een nieuwe "detectivemethode" bedacht. In plaats van één kaart te maken, maken ze er twee tegelijk:

1. De Gemiddelde Kaart: Welke factoren zorgen dat de uitkomst omhoog of omlaag gaat?
2. De Variatie Kaart: Welke factoren zorgen dat de uitkomst chaotisch of stabiel wordt?

Ze noemen dit "Moment-driven causal discovery". In de wiskunde zijn "momenten" statistische maatstaven. Het eerste moment is het gemiddelde, het tweede is de variatie. Ze kijken specifiek naar deze twee momenten om de oorzaken te vinden.

3. Hoe werkt het? (De Magische Rekenmachine)

Het is lastig om dit uit te rekenen, omdat je niet weet welke kaart welke is. De auteurs gebruiken een slimme truc:

• Bayesiaanse Denkstijl: In plaats van één antwoord te geven ("Het is zeker X"), geven ze een kansverdeling. "Er is 80% kans dat X de variatie beïnvloedt, en 20% dat het Y is." Dit is als een detective die zegt: "Ik ben vrij zeker dat de dader links zat, maar ik houd de deur op een kier voor de rechterkant." Dit is heel belangrijk als je weinig data hebt (zoals in de geneeskunde), want dan wil je weten hoe zeker je kunt zijn.
• De "Kromming" van de Data: Ze gebruiken een slimme optimalisatie die kijkt naar de "kromming" van de data. Stel je voor dat je een bal een heuvel afrolt. Soms is de helling steil, soms vlak. De methode past de snelheid van het rollen aan zodat hij niet vastloopt in de modder (een veelvoorkomend probleem bij dit soort berekeningen).
• Gebruik van Kennis: Als je al weet dat "A" altijd voor "B" komt (bijvoorbeeld: je moet eerst een zaadje planten voordat je een bloem hebt), kun je die kennis in het systeem stoppen. Dit maakt het veel sneller om de juiste kaarten te vinden, zelfs met weinig data.

4. Waarom is dit belangrijk?

Stel je voor dat je een econoom bent. Je wilt de economie stabiliseren.

• De oude methode zegt: "Verander de rente, dan stijgt de economie."
• De nieuwe methode zegt: "Verander de rente, en de economie stijgt gemiddeld, MAAR het zorgt er ook voor dat de markt veel onvoorspelbaarder wordt (hoge variatie). Als je de onvoorspelbaarheid wilt verminderen, moet je in plaats daarvan kijken naar de belasting."

Dit helpt bij:

• Geneeskunde: Medicijnen maken die niet alleen werken, maar ook consistent werken voor iedereen.
• Eerlijke AI: Zorg dat algoritmes voor het aannemen van mensen niet alleen eerlijk zijn in het gemiddelde, maar ook dat ze geen groepen mensen "onvoorspelbaar" behandelen (wat kan leiden tot verborgen discriminatie).
• Biologie: Begrijpen waarom sommige cellen zich anders gedragen dan andere, zelfs als ze dezelfde instructies krijgen.

Samenvatting

Deze paper zegt: "Kijk niet alleen naar het gemiddelde. Kijk ook naar de spreiding." Ze hebben een nieuwe wiskundige manier bedacht om twee verschillende kaarten van oorzaken te tekenen uit één set data. Het helpt wetenschappers om niet alleen te weten wat er gebeurt, maar ook hoe stabiel dat gebeuren is, wat essentieel is voor het nemen van goede beslissingen in een chaotische wereld.

Technische samenvatting

Probleemstelling

Traditionele causale ontdekking (causal discovery) methoden produceren doorgaans één enkel "moment-agnostisch" causaal grafiek. Dit betekent dat ze alleen aangeven welke variabelen elkaar beïnvloeden, maar niet hoe ze dat doen in termen van statistische momenten (zoals het gemiddelde of de variantie).

In veel real-world data (bijvoorbeeld in genetica, economie en farmacie) is heteroscedasticiteit veelvoorkomend: de variantie van een variabele verandert afhankelijk van andere variabelen. Bestaande methoden kunnen niet onderscheiden welke oorzaken het gemiddelde van een variabele beïnvloeden en welke de variantie beïnvloeden. Dit beperkt de interpretatie en maakt gerichte interventies (bijv. het stabiliseren van een medicijnwerking zonder de gemiddelde werking te veranderen) onmogelijk. De kernvraag is: Kunnen we de gemiddelde- en variantie-structuren apart identificeren uitsluitend op basis van observationele data?

Methodologie

De auteurs stellen een nieuw raamwerk voor dat gebaseerd is op Bayesiaanse, moment-gedreven causale ontdekking.

1. Theoretisch Fundament: Mean-Variance HNM

De auteurs definiëren een nieuwe klasse van Structurele Causale Modellen (SCM), genaamd Mean-Variance Heteroscedastic Noise Models (HNMs).

• Model: Voor elke variabele $X_j$ wordt de structuurvergelijking opgesplitst in een gemiddelde-functie en een variantie-functie:
  $$X_j = m_j(X_{pa_M(j)}) + v_j(X_{pa_V(j)}) E_j$$
  Waarbij $X_{pa_M(j)}$ de ouders zijn die het gemiddelde beïnvloeden (gemiddelde-grafiek $G_M$) en $X_{pa_V(j)}$ de ouders zijn die de variantie beïnvloeden (variantie-grafiek $G_V$). $E_j$ is ruis.
• Identificeerbaarheid: De auteurs bewijzen theoretische voorwaarden waaronder $G_M$ en $G_V$ apart identificeerbaar zijn. De cruciale voorwaarden zijn:
  1. De gemiddelde-functie $m_j$ is niet-lineair.
  2. De variantie-functie $v_j$ is een stuksgewijze functie (piecewise) en geen constante.
  3. De ruis $E_j$ is Gaussisch verdeeld.
  4. Er bestaat een gedeelde topologische ordening (permutatie) voor beide grafieken.

2. Variational Inference Framework

Om deze twee grafieken te leren uit beperkte data, ontwikkelen ze een Bayesiaanse benadering met variational inference:

• Posterior Schatting: In plaats van één puntsschatting, wordt de posterior-verdeling $P(A_M, A_V | D)$ geleerd over de burenmatrices van de gemiddelde- en variantie-grafieken.
• Differentiable DAG Sampling: Ze gebruiken een aangepaste versie van Differentiable DAG Sampling (DDS). Om de acyclische eigenschap (DAG) en een gedeelde topologische ordening te garanderen, decomponeren ze de burenmatrices met een gedeelde permutatiematrix $\Pi$.
  • Ze gebruiken de Gumbel-Softmax truc voor binaire matrixelementen en SoftSort voor de permutatiematrix om differentiatie mogelijk te maken tijdens backpropagation.
• Optimalisatie uitdagingen: Heteroscedastische modellen zijn moeilijk te optimaliseren vanwege de instabiliteit van de Maximum Likelihood Estimation (MLE) bij hoge variantie.
  • Curvature-aware optimalisatie: Ze gebruiken een alternatieve update-strategie. Eerst worden parameters voor het gemiddelde geüpdatet met een geschaalde gradiënt (vergelijkbaar met een Newton-stap) om de variantie-functie te normaliseren. Daarna worden de variantie-parameters apart geüpdatet.
• Incorporatie van Prior Kennis: Om de zoekruimte te verkleinen bij kleine steekproeven, kunnen domeinkennis over de volgorde van knopen (node-ordering) worden opgelegd als zachte constraints tijdens het sampling-proces.

Belangrijkste Bijdragen

1. Definitie en Theorie: De introductie van het "Mean-Variance HNM" model en de afleiding van voldoende voorwaarden voor de identificeerbaarheid van gescheiden gemiddelde- en variantie-grafieken.
2. Principiële Onzekerheidskwantificering: Een Bayesiaans variational inference framework dat de posterior-verdeling over beide grafieken leert. Dit stelt onderzoekers in staat om onzekerheid te kwantificeren voor structurele elementen (zoals de aanwezigheid van een specifieke rand).
3. Efficiënte Optimalisatie: Een curvature-aware optimalisatie-algoritme dat de problemen van heteroscedastische regressie oplost en een methode om prior kennis over knopenordenen te integreren.
4. Empirische Validatie: Uitgebreide experimenten die aantonen dat de methode superieur is aan state-of-the-art baselines (zoals ICDH, HOST, en DDS) in zowel synthetische als real-world scenario's.

Resultaten

De methode is getest op synthetische data, semi-synthetische data (SERGIO simulaties voor genexpressie) en echte data (Sachs dataset voor eiwitsignaleringsnetwerken).

• Synthetische Data: De voorgestelde methode overtreft alle baselines significant in het nauwkeurig herstellen van zowel de gemiddelde- als de variantie-grafieken, vooral onder heteroscedastische omstandigheden waar bestaande methoden (zoals ANM-gebaseerde methoden) falen.
• Dichtheid en Dimensie: De methode presteert robuust in zowel dunne (sparse) als dichte grafieken en bij verschillende aantallen variabelen ($d=5$ tot $d=50$).
• Real-World Case Study (Sachs Dataset):
  • De methode slaagde erin om de moment-agnostische grafiek te schatten met vergelijkbare prestaties als de beste bestaande methoden.
  • Cruciaal: In een casestudy werd de methode gebruikt om de oorsprong van heteroscedasticiteit in eiwitnetwerken te vinden. De Bayesiaanse aanpak identificeerde met hoge waarschijnlijkheid de causale relatie MEK $\to$ ERK als een variantie-beheersende relatie, wat overeenkomt met biologische kennis, zelfs bij kleine steekproefgroottes ($n=100$).
• Onzekerheid: Het model levert betrouwbare posterior-kansen, wat essentieel is voor besluitvorming bij beperkte data.

Significantie

Dit werk is baanbrekend omdat het de eerste keer is dat causale ontdekking expliciet onderscheid maakt tussen oorzaken die het gemiddelde beïnvloeden en oorzaken die de variantie beïnvloeden.

• Interpretatie: Het biedt dieper inzicht in complexe systemen waar variabiliteit net zo belangrijk is als het gemiddelde (bijv. in farmacologie voor consistente medicijneffecten of in algoritmische eerlijkheid om discriminatie op basis van risicovariabiliteit te detecteren).
• Besluitvorming: Door onzekerheid te kwantificeren en gescheiden grafieken te bieden, kunnen onderzoekers gerichter interveniëren (bijv. "Hoe verandere ik de gemiddelde uitkomst zonder de variantie te vergroten?").
• Toekomstperspectief: Het legt de basis voor het bestuderen van hogere-orde momenten (scheefheid, kurtosis) in causale structuren.

Kortom, de paper transformeert causale ontdekking van een "één grootte past allemaal" benadering naar een nuance-rijke, moment-specifieke analyse die beter aansluit bij de complexiteit van real-world data.