Density Ratio-based Causal Discovery from Bivariate Continuous-Discrete Data

Deze paper introduceert DRCD, een methode voor het ontdekken van causale richtingen tussen continue en discrete variabelen door gebruik te maken van de monotonie van dichtheidsverhoudingen en locatieverschuivingsmodellen om de causaliteit te identificeren.

De kern

Stel je voor dat je twee dingen in de natuur observeert: een temperatuur (een continu getal, zoals 20,5 graden) en of het regent (een discreet ja/nee). Je ziet vaak dat ze samen voorkomen. Maar wat veroorzaakt wat?

• Is het de temperatuur die bepaalt of het regent? (Bijvoorbeeld: als het te warm wordt, ontploft er een wolk).
• Of zorgt de regen ervoor dat de temperatuur verandert? (Regen koelt de lucht af).
• Of is het gewoon toeval?

Dit is het probleem van causale ontdekking: uit observaties alleen de oorzaak-gevolg-relatie achterhalen. De meeste bestaande methoden werken goed als beide variabelen van hetzelfde type zijn (bijv. twee temperaturen), maar ze struikelen als je een "vloeibaar" getal (temperatuur) moet koppelen aan een "stapeltje" (ja/nee).

Deze paper introduceert een nieuwe methode genaamd DRCD (Density Ratio-based Causal Discovery). Hier is hoe het werkt, vertaald naar alledaagse taal met creatieve analogieën.

1. Het Kernidee: De "Muzikale" Verhouding

Stel je voor dat je kijkt naar de verdeling van de temperaturen op dagen dat het regent versus dagen dat het niet regent.

• De Dichtheidsverhouding (Density Ratio): Dit is een maatstaf die zegt: "Hoe waarschijnlijk is het om deze specifieke temperatuur te zien, als het regent, vergeleken met als het niet regent?"

De auteurs ontdekken een heel mooi, wiskundig patroon in de natuur:

• Scenario A: De temperatuur veroorzaakt de regen (X → Y)
  Als de temperatuur de oorzaak is, gedraagt de verhouding zich als een gladde helling. Stel je een glijbaan voor. Naarmate de temperatuur stijgt, neemt de kans op regen (of de verhouding) constant toe of af. Het is monotoon. Er zijn geen pieken en dalen; het is een strakke lijn.

  • Analogie: Denk aan een trechter. Hoe hoger je gooit (temperatuur), hoe meer water er doorheen stroomt (regen). Het patroon is voorspelbaar en glad.

• Scenario B: De regen veroorzaakt de temperatuur (Y → X)
  Als de regen de oorzaak is, is de wereld veel chaotischer. De temperatuur op regenachtige dagen kan een heel ander patroon hebben dan op droge dagen. De verhouding springt hier en daar omhoog en omlaag. Het is niet-monotoon.

  • Analogie: Denk aan een kluwen garen. Als je probeert de verhouding te tekenen, krijg je een krabbelige lijn die alle kanten op gaat.

De Gouden Regel van de Paper:
Als de lijn glad en strak is (monotoon), is de temperatuur waarschijnlijk de oorzaak. Als de lijn krabbelig en onvoorspelbaar is, is de regen waarschijnlijk de oorzaak (of de verdeling is heel specifiek, maar dat is zeldzaam).

2. De Twee Valstrikken (En hoe DRCD ze oplost)

De auteurs hebben twee grote problemen opgelost die andere methoden niet konden:

Probleem 1: De "Verschuivende" Lijnen (Location-Shift)
Soms, als regen de temperatuur bepaalt, zien de temperatuurgrafieken er precies hetzelfde uit, alleen verschoven naar links of rechts (alsof je een sticker op een muur schuift).

• De oplossing: DRCD kijkt eerst of de lijnen alleen verschoven zijn. Als dat zo is, weet je direct: "Ah, dit is Y → X". Geen ingewikkelde wiskunde nodig.

Probleem 2: De "Toevallige" Gladheid
Soms kan het toevallig lijken alsof de lijn glad is, zelfs als de regen de oorzaak is.

• De oplossing: De auteurs bewijzen wiskundig dat dit extreem zeldzaam is. Het is alsof je een munt gooit en 100 keer op rij kop krijgt. Het kan, maar het gebeurt in de echte wereld bijna nooit. Als de lijn glad is, is het dus bijna zeker dat de temperatuur de oorzaak is.

3. Hoe werkt de methode in de praktijk?

De DRCD-algoritme doet in vier stappen wat een detective zou doen:

1. Check op verband: Zijn de temperaturen op regen- en droge dagen wel echt verschillend? Zo niet, dan is er geen verband.
2. Check op verschuiving: Zien de grafieken eruit alsof ze alleen op en neer zijn geschoven? Zo ja, dan is de regen de oorzaak.
3. Bereken de verhouding: Als ze niet verschoven zijn, berekenen ze de "gladheid" van de lijn (de dichtheidsverhouding).
4. De monotonie-test: Kijken ze of de lijn strak omhoog of omlaag gaat.
   • Is het een strakke helling? -> Temperatuur veroorzaakt Regen.
   • Is het een krabbelige lijn? -> Regen veroorzaakt Temperatuur.

4. Waarom is dit belangrijk?

Vroeger moesten wetenschappers kiezen tussen twee slechte opties:

• Of ze maakten te strenge aannames (bijv. "alleen als de verdeling perfect verschuift").
• Of ze vergeleken twee modellen op een manier die niet eerlijk was (alsof je appels en peren met elkaar vergelijkt).

DRCD doet het slim: het kijkt niet naar welke "score" hoger is, maar naar een fundamenteel eigenschap van de data (is de lijn glad of niet?). Dit werkt ook als de data heel complex is (bijv. als regenachtige dagen soms heel koud en soms heel warm zijn, zolang het maar niet een simpele verschuiving is).

Samenvatting in één zin

Deze paper leert computers om te kijken naar de "gladheid" van de relatie tussen een getal en een ja/nee-vraag: als de relatie strak en voorspelbaar is, is het getal de oorzaak; als het chaotisch is, is het ja/nee de oorzaak.

Dit helpt artsen, economen en biologen om beter te begrijpen wat er echt de oorzaak is van ziektes, economische schokken of biologische processen, zonder dat ze dure experimenten hoeven te doen.

Technische samenvatting

Titel: Dichtheidsverhouding-gebaseerde Causale Ontdekking uit Bivariate Continue-Discrete Data

Auteurs: Takashi Nicholas Maeda, Shohei Shimizu, Hidetoshi Matsui
Affiliaties: Gakushuin University, Universiteit van Osaka, Shiga University, RIKEN (Japan)

---

1. Het Probleem

Het artikel adresseert een fundamenteel probleem in het domein van causale ontdekking: het bepalen van de causale richting tussen een continue variabele ($X$) en een discrete variabele ($Y$) op basis van observationele data.

• Context: In veel real-world scenario's (bijv. biomedische markers vs. ziekte-aanwezigheid) is het onduidelijk of $X$ $Y$ veroorzaakt of andersom.
• Uitdaging: Bestaande methoden hebben beperkingen:
  • Constraint-based methoden (zoals PC of FCI) vereisen extra variabelen voor conditionering en kunnen in bivariate settings geen richting bepalen.
  • Functionele causale modellen (zoals LiM, MIC) gaan vaak uit van een "location-shift" familie voor de conditionele verdelingen $P(X|Y)$. Dit betekent dat ze alleen verschillen in gemiddelde toelaten, maar niet in vorm of variantie. Dit is een te restrictieve aanname voor veel complexe systemen.
  • Score-based methoden hebben moeite met het eerlijk vergelijken van scores tussen variabelen van fundamenteel verschillende typen (continue vs. discrete) vanwege verschillen in informatie-inhoud en schaal.

2. Methodologie: DRCD

De auteurs stellen DRCD (Density Ratio-based Causal Discovery) voor, een methode die de causale richting bepaalt door te testen op de monotonie van de dichtheidsverhouding (density ratio) en het bestaan van een location-shift relatie.

De methode onderscheidt drie mogelijke scenario's:

1. $X \to Y$: $X$ veroorzaakt $Y$.
2. $Y \to X$: $Y$ veroorzaakt $X$.
3. Geen causale relatie: $X$ en $Y$ zijn onafhankelijk.

De theoretische basis:

• Model voor $X \to Y$: Gebruik van een drempelmodel (threshold model). Hieruit volgt dat de conditionele dichtheidsverhouding $G_{c_s, c_t}(x) = \frac{P(X|Y=c_t)}{P(X|Y=c_s)}$ monotoon is.
• Model voor $Y \to X$:
  • Case 1 (Location-shift): De conditionele verdelingen verschillen alleen in locatie (gemiddelde).
  • Case 2 (Niet-location-shift): De conditionele verdelingen hebben verschillende vormen of schalen (gemodelleerd als mengsels van gegeneraliseerde normale verdelingen). In dit geval is de dichtheidsverhouding niet-monotoon (behalve op een verzameling met Lebesgue-maat nul).
• Principe van Onafhankelijke Mechanismen: De auteurs tonen aan dat een location-shift familie onder $X \to Y$ een zeer specifieke, niet-generieke coördinatie vereist tussen het causale mechanisme en de input-verdeling. Dit maakt het onwaarschijnlijk dat $X \to Y$ een location-shift relatie produceert.

Het DRCD-algoritme (Stap-voor-stap):

1. Test op causale existentie: Gebruik de Kolmogorov-Smirnov (KS) test om te zien of $P(X|Y=c_s)$ en $P(X|Y=c_t)$ verschillen. Als ze gelijk zijn, is er geen causale relatie.
2. Test op location-shift: Centreer de conditionele steekproeven (trek het gemiddelde af) en voer opnieuw een KS-test uit. Als de verdelingen na centrering nog steeds significant verschillen, is er geen location-shift relatie, wat suggereert $Y \to X$ (Case 2). Als ze gelijk zijn, suggereert dit $Y \to X$ (Case 1).
3. Schatting van de dichtheidsverhouding: Gebruik uLSIF (unconstrained Least-Squares Importance Fitting) om de verhouding $G_{c_s, c_t}(x)$ te schatten binnen het overlappende steunpunt van de verdelingen.
4. Evaluatie van monotonie: Bereken de Spearman rang-correlatie tussen de index van de $x$-waarden en de geschatte dichtheidsverhouding.
   • Als de correlatie sterk monotoon is ($|r_s| > \rho$), concludeer dan $X \to Y$.
   • Anders concludeer dan $Y \to X$.

3. Belangrijkste Bijdragen

1. Identificeerbaarheid: De auteurs bewijzen theoretisch dat de causale richting identificeerbaar is onder hun aannames.
   • Onder $X \to Y$ is de dichtheidsverhouding monotoon.
   • Onder $Y \to X$ (met niet-location-shift conditionals) is de dichtheidsverhouding generiek niet-monotoon.
   • Een location-shift relatie onder $X \to Y$ is niet-generiek (maakt maat nul in de parameterruimte).
2. Nieuwe Methodologie (DRCD): Een praktische algoritme dat de richting bepaalt zonder scores tussen verschillende variabele-types te vergelijken, maar door een eigenschap van de dichtheidsverhouding te testen.
3. Uitbreiding van bestaande modellen: In tegenstelling tot eerdere werken die alleen location-shift aannamen, accepteert DRCD heterogene conditionele verdelingen (verschillende vormen/varianties) onder $Y \to X$.

4. Resultaten

De auteurs testen DRCD op synthetische en real-world datasets en vergelijken het met bestaande methoden (LiM, MIC, MANMs, CRACK, GSF).

• Synthetische Data:
  • DRCD behaalde consistent hoge nauwkeurigheid (>80%) in alle vier de scenario's: geen causaliteit, $X \to Y$, $Y \to X$ (location-shift), en $Y \to X$ (niet-location-shift).
  • Bestaande methoden faalden vaak bij het niet-location-shift scenario (Case 4), omdat ze de location-shift aanname maakten. CRACK en GSF presteerden goed bij location-shift, maar faalden bij $X \to Y$ of niet-location-shift.
• Real-world Data:
  • UCI Hartziekte Dataset: DRCD en CRACK presteerden het beste (3 van 4 correcte inferenties). DRCD maakte geen omgekeerde inferenties (fouten waarbij de richting verkeerd wordt ingeschat), terwijl CRACK wel één keer de richting omdraaide.
  • Tübingen Causa Effect Pairs: DRCD en CRACK identificeerden correct de richting in 3 van 4 paren. DRCD had wederom geen omgekeerde inferenties.

5. Betekenis en Conclusie

De paper biedt een robuuste oplossing voor een langdurig probleem in causale ontdekking: het omgaan met gemengde continue-discrete data zonder restrictieve aannames over de vorm van de verdelingen.

• Theoretische kracht: Door te vertrouwen op de monotonie van de dichtheidsverhouding en het principe van onafhankelijke mechanismen, vermijdt DRCD de noodzaak voor ad-hoc normalisatie tussen variabele-types.
• Praktische toepasbaarheid: De methode werkt goed in zowel ideale (synthetische) als complexe (real-world) omgevingen en overtreft bestaande state-of-the-art methoden, vooral in scenario's waar de conditionele verdelingen heterogeen zijn.
• Toekomstperspectief: De auteurs suggereren dat het testen van monotonie een principieel alternatief kan zijn voor het vergelijken van scores, en dat DRCD geïntegreerd kan worden in constraint-based methoden (zoals PC of FCI) als een lokaal oriëntatiecriterium.

Kortom, DRCD is een significant vooruitgang in het veld van causale ontdekking voor gemengde data, met een sterke theoretische onderbouwing en empirisch bewezen superioriteit.