A novel hybrid approach for positive-valued DAG learning

Dit paper introduceert de Hybrid Moment-Ratio Scoring (H-MRS)-algoritme, een nieuwe hybride methode die log-schaal regressie combineert met moment-ratio scoring op de ruwe schaal om gerichte acyclische grafieken (DAG's) te leren uit positieve data, zoals die vaak voorkomen in genomics en economie.

De kern

Causaliteit in een wereld van positieve getallen: Een simpele uitleg van de H-MRS-methode

Stel je voor dat je een enorme, ingewikkelde machine probeert te begrijpen. Je hebt geen handleiding, alleen maar een reeks foto's van de machine terwijl hij draait. Je wilt weten: Welk onderdeel zorgt ervoor dat het volgende onderdeel beweegt? In de wetenschap noemen we dit het vinden van een causale relatie (oorzaak en gevolg).

Meestal denken wetenschappers dat dingen "optellen" (A + B = C). Maar in de echte wereld, vooral in de biologie (genen) en de economie (bedrijfsfinanciën), werken dingen vaak door te vermenigvuldigen. Als je de prijs van een aandeel verdubbelt en de winst ook verdubbelt, is het resultaat niet 2+2=4, maar 2×2=4. Het is een vermenigvuldigend effect.

Deze paper introduceert een nieuwe methode, genaamd H-MRS, die speciaal is ontworpen om deze "vermenigvuldigende" wereld te doorgronden. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De verkeerde gereedschapskist

Stel je voor dat je een sleutel probeert te maken voor een slot, maar je gebruikt een hamer. De meeste bestaande methoden om oorzaak en gevolg te vinden, zijn gemaakt voor "optellende" systemen (zoals het optellen van gewichten). Als je die methoden gebruikt op vermenigvuldigende systemen (zoals geld of genen), is het alsof je die hamer gebruikt: het werkt niet goed en geeft je de verkeerde antwoorden.

2. De Oplossing: Twee stappen in één dans

De auteurs, Yao Zhao, hebben een slimme nieuwe methode bedacht die twee stappen combineert, alsof je eerst een kaart tekent en daarna de wegen markeert.

Stap 1: De "Logaritmische" Bril (Het begrijpen van de vermenigvuldiging)
Eerst kijken ze door een speciale bril (een wiskundige transformatie genaamd log-scale).

• De Analogie: Stel je voor dat je een reusachtige berg hebt die zo groot is dat je hem niet kunt meten. Als je de berg echter in "lagen" verdeelt (logaritmisch), wordt hij plotseling een kleine heuvel die je makkelijk kunt meten.
• In deze paper gebruiken ze deze "heuvel-methode" om te schatten hoe variabelen op elkaar reageren zonder dat de getallen te groot worden. Ze gebruiken een techniek genaamd Ridge-regressie om een stabiel beeld te krijgen van hoe de machine werkt, zonder dat het beeld vervormt.

Stap 2: De "Moment-ratio" Score (Het vinden van de volgorde)
Nu weten ze hoe de machine eruit ziet, maar ze weten nog niet welke schroef eerst draait en welke daarna.

• De Analogie: Stel je voor dat je een groep mensen in een kamer hebt en je wilt weten wie de leider is. Je kijkt naar wie het meest afhankelijk is van de anderen. Als je de leider verwijdert, verandert het gedrag van de rest drastisch. Als je een volger verwijdert, verandert er weinig.
• De H-MRS-methode gebruikt een slimme score (de moment-ratio). Ze kijken naar de "onverwachte variatie" in de data. Als je de juiste ouders (oorzaken) van een variabele kent, wordt deze variabele veel voorspelbaarder. De methode zoekt naar de volgorde waarbij deze voorspelbaarheid het grootst is. Het is alsof je een puzzel legt waarbij je eerst de stukjes zoekt die het minst afhankelijk zijn van anderen (de startpunten) en dan stap voor stap verder bouwt.

Stap 3: De "Schaar" (Het selecteren van de echte oorzaken)
Nadat ze een volgorde hebben, willen ze weten welke schroeven echt belangrijk zijn en welke alleen maar meedraaien.

• De Analogie: Stel je voor dat je een tuin hebt met 100 planten. Je weet dat ze in een bepaalde volgorde groeien, maar je wilt weten welke 5 planten echt de grond beïnvloeden. Je gebruikt een schaar (een techniek genaamd ElasticNet) om de onnodige takken weg te knippen. Je houdt alleen de sterkste, meest directe verbindingen over.

3. Waarom is dit belangrijk? (De Proef)

De auteurs hebben hun methode getest op twee manieren:

1. De Simulatie: Ze bouwden een virtuele wereld met vermenigvuldigende regels. Hun methode (H-MRS) was veel beter in het vinden van de juiste structuur dan de oude methoden (zoals PC of GES), die vaak de verkeerde conclusies trokken.
2. De Realiteit: Ze pasten het toe op echte financiële data van 2.223 bedrijven.
   • Wat vonden ze? De methode ontdekte dat Eigen Kapitaal (Equity Capital) de "oerbron" is. Het is de eerste schroef die draait en bepaalt hoe groot een bedrijf kan worden, hoeveel schulden het kan maken en wat de beurswaarde is.
   • Ze vonden ook dat Rente (Interest Expense) als een soort "globale rem" werkt die door het hele bedrijf heen loopt.
   • Dit klinkt logisch voor een econoom, maar de computer had dit zelf ontdekt zonder dat de onderzoekers het eerst vertelden!

Samenvatting in één zin

Deze paper introduceert een slimme nieuwe manier om oorzaak en gevolg te vinden in systemen die werken door vermenigvuldiging (zoals geld en genen), door eerst de data "plat" te maken om de verhoudingen te zien, en daarna slim te tellen welke factoren de echte leiders zijn.

Het is alsof je eindelijk de juiste sleutel hebt gevonden voor een slot dat tot nu toe alleen met hamers werd geopend.

Technische samenvatting

Probleemstelling

Causale ontdekking (causal discovery) uit observationele data blijft een fundamentele uitdaging in machine learning en statistiek. Een specifiek probleem doet zich voor bij variabelen die per definitie positief zijn (bijvoorbeeld gen-expressieniveaus, activa-prijzen, bedrijfsomzetten of bevolkingsaantallen). Deze variabelen vertonen vaak multiplicatieve dynamiek in plaats van de additieve dynamiek die door de meeste bestaande methoden wordt aangenomen.

Bestaande methoden, zoals PC (gebaseerd op conditional independence) of GES (gebaseerd op scores zoals BIC), veronderstellen doorgaans additief ruismodellen ($X_j = \sum \beta X_k + \epsilon$). Wanneer de ware data-genererende processen multiplicatief zijn (bijvoorbeeld $X_j \propto \prod X_k$), zijn deze modellen theoretisch misspecified (verkeerd gespecificeerd). Dit leidt tot onbetrouwbare resultaten en het onvermogen om de volledige causale structuur te identificeren, zelfs buiten de Markov-equivalentieklasse.

Methodologie: H-MRS

De auteur stelt de Hybrid Moment-Ratio Scoring (H-MRS)-algoritme voor, een nieuw raamwerk dat specifiek is ontworpen voor positieve waarden. Het algoritme combineert log-schaal regressie met moment-ratio scoring op de ruwe schaal.

1. Het Model:
Het uitgangspunt is een log-lineair structureel vergelijkingmodel:
$$\log X_j = \theta_j + \sum_{k \in Pa(j)} \beta_{kj} X_k + \epsilon_j$$
Dit is equivalent aan een multiplicatief model op de ruwe schaal: $X_j = \exp(\theta_j + \sum \beta_{kj} X_k + \epsilon_j)$.

2. Het Twee-Stappen Proces:
H-MRS werkt in twee fasen om een Directed Acyclic Graph (DAG) te reconstrueren:

• Fase 1: Log-schaal Ridge-regressie voor Conditionele Verwachting:
  Om numerieke stabiliteit te garanderen en multiplicatieve relaties te vangen, wordt Ridge-regressie toegepast op de log-getransformeerde data. Voor een kandidaat-ouderverzameling $S$ wordt de conditionele verwachting $\hat{\mu}_{j|S}$ geschat via:
  $$\hat{\mu}_{j|S} = \exp(\hat{\theta}_j + \sum_{k \in S} \hat{\beta}_{kj} X_k)$$
  Ridge-regressie wordt hier gebruikt (in plaats van Lasso) omdat het onbevooroordeelde schattingen van de conditionele verwachting levert, wat essentieel is voor de theoretische geldigheid van de moment-ratio.

• Fase 2: Raw-Scale Moment-Ratio Scoring voor Causale Ordening:
  De kern van het algoritme is een scoringsfunctie die de onvoorwaardelijke tweede moment vergelijkt met de verwachte tweede moment onder conditie van $S$:
  $$M(j, S) = \frac{E[X_j^2]}{E[(E[X_j | S])^2]}$$
  Kerninzicht: Deze score is geminimaliseerd wanneer $S$ alle ware ouders van $j$ bevat (en geen nakomelingen). Dit creëert een "plateau-eigenschap": elke superverzameling van de ware ouders geeft dezelfde minimale score.
  Het algoritme gebruikt een greedy-strategie: op elke stap wordt de variabele geselecteerd met de laagste moment-ratio, gegeven de reeds geordende variabelen. Dit bouwt een causale ordening op.

• Fase 3: Ouderselectie via ElasticNet:
  Nadat de ordening is vastgesteld, wordt ElasticNet-regressie gebruikt op de log-data om de daadwerkelijke ouders te selecteren. ElasticNet combineert $\ell_1$-straf (voor sparsiteit) en $\ell_2$-straf (voor stabiliteit bij gecorreleerde voorspellers). Dit lost het probleem op dat de moment-ratio alleen de minimale ouderverzameling niet kan onderscheiden van grotere superverzamelingen.

Belangrijkste Bijdragen

1. Theoretische Identificeerbaarheid: Het bewijs dat moment-ratio's onder een log-lineair model een unieke minimale waarde bereiken bij de ware ouderverzameling, wat volledige identificeerbaarheid garandeert (in tegenstelling tot additieve modellen die vaak beperkt blijven tot een Markov-equivalentieklasse).
2. Hybride Architectuur: Een innovatieve combinatie van log-schaal regressie (voor stabiele schatting van conditionele verwachtingen) en raw-schaal scoring (voor het behoud van de theoretische eigenschappen van de moment-ratio).
3. Respect voor Positiviteit: Het algoritme respecteert de natuurlijke positieve aard van de data zonder sterke distributie-aannames (zoals Gaussianiteit), wat het ideaal maakt voor domeinen zoals genetica en economie.
4. Efficiëntie: Het algoritme heeft een polynomiale tijdscomplexiteit ($O(p^2 \cdot T_{Ridge} + p \cdot T_{ElasticNet})$), waardoor het schaalbaar is voor middelgrote tot grote grafen.

Resultaten

De auteur evalueerde H-MRS op synthetische data en echte financiële data.

• Synthetische Data:

  • H-MRS werd vergeleken met PC, GES en DirectLiNGAM.
  • H-MRS behaalde superieure prestaties in termen van F1-score, precisie en recall, vooral bij complexe structuren (hoge in-degree).
  • Terwijl PC en GES vaak faalden door model-misspecificatie (ze veronderstellen additief lineair gedrag), behaalde H-MRS een F1-score van 0.733 tot 0.900 afhankelijk van de grafgrootte en dichtheid.
  • De methode bleek robuust tegenover variaties in schaal en toonde aan dat de ordening niet puur gedreven wordt door marginale variantie (varsortability).

• Echte Data (Financiële Sector):

  • Toepassing op een dataset van 2.223 bedrijven met 19 financiële variabelen (balans, winst- en verliesrekening, marktwaarde).
  • Het gereconstrueerde DAG onthulde interpreteerbare causale structuren:
    • Equity Capital (Eigen vermogen) fungeerde als de primaire bron (upstream driver) die invloed heeft op winstgevendheid, activa en marktwaarde.
    • Interest Expense (Rente-uitgaven) bleek een systemische driver met 14 uitgaande randen, wat aangeeft dat financieringskosten een globale beperking vormen voor liquiditeit en waarde.
  • Deze resultaten sluiten aan bij bestaande economische theorieën (bijv. Myers, 1984; Merton, 1974).

Significantie en Toekomstperspectief

Dit werk biedt een praktische en robuust raamwerk voor causale ontdekking in domeinen waar data per definitie positief is en multiplicatieve relaties vertoont. Het overbrugt de kloof tussen log-lineaire modellen en moment-gebaseerde methoden.

Beperkingen en Richtingen voor de Toekomst:

• De methode is momenteel beperkt tot cross-sectionele data; uitbreiding naar tijdsreeksen zou dynamische systemen beter kunnen modelleren.
• Het model gaat uit van strikt positieve waarden. Toepassing op data met "zero-inflatie" (bijv. genomics met nul-tellingen) vereist uitbreidingen (bijv. hurdle-modellen).
• Het veronderstelt een acyclische structuur (DAG). In systemen met feedback-loops (cycli) kan het algoritme slechts een benaderende acyclische representatie geven.

Concluderend biedt H-MRS een principieel alternatief voor traditionele methoden wanneer de additieve ruis-aanneming niet geldt, en levert het interpreteerbare, causale inzichten in complexe systemen zoals de financiële markt.