Density Ratio-based Causal Discovery from Bivariate Continuous-Discrete Data

Die vorgestellte Arbeit führt die Methode DRCD ein, die durch die Analyse der Monotonie von Dichteverhältnissen und der Existenz von Lageverschiebungs-Verteilungen die kausale Richtung zwischen einer kontinuierlichen und einer diskreten Variable zuverlässig bestimmt und dabei theoretische Identifizierbarkeit sowie überlegene empirische Leistung nachweist.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Detektiv, der versuchen muss, herauszufinden, wer von zwei Personen die andere beeinflusst. Nehmen wir an, wir haben zwei Variablen:

• X ist eine kontinuierliche Größe (wie die Temperatur, die Blutdruckwerte oder das Einkommen – alles Zahlen, die fließend variieren).
• Y ist eine diskrete Größe (wie "krank" oder "gesund", "männlich" oder "weiblich" – Kategorien, die man abhaken kann).

Das Problem: Wir sehen nur die Daten, aber nicht, was passiert ist. Hat die Temperatur (X) die Entscheidung beeinflusst, ob jemand krank wird (Y)? Oder hat die Krankheit (Y) den Blutdruck (X) verändert?

In der Wissenschaft nennt man das kausale Entdeckung. Bisherige Methoden hatten oft Schwierigkeiten, wenn man eine fließende Zahl mit einer festen Kategorie vergleicht. Die Autoren dieses Papers haben eine neue Methode namens DRCD (Density Ratio-based Causal Discovery) entwickelt, die dieses Problem löst.

Hier ist die Erklärung, wie sie es machen, mit einfachen Bildern:

1. Das Grundproblem: Der "Schatten" der Kausalität

Stellen Sie sich vor, Sie schauen auf einen Schatten (die Daten). Wenn Sie wissen, wie das Licht (die Ursache) auf einen Gegenstand (die Wirkung) fällt, können Sie den Gegenstand rekonstruieren. Aber wenn Sie nur den Schatten sehen, ist es schwer zu sagen, ob ein Ball oder ein Würfel den Schatten geworfen hat.

Bei Daten ist es ähnlich: Wenn X Y verursacht, sieht die Verteilung der Daten anders aus als wenn Y X verursacht. Die alten Methoden waren wie Detektive, die nur eine einzige Spur verfolgten und oft in Sackgassen landeten, besonders wenn die Daten "gemischt" waren (Zahlen und Kategorien).

2. Die neue Methode: Der "Monotonie-Test"

Die Autoren haben eine geniale Eigenschaft entdeckt, die wie ein Fingerabdruck der Kausalität funktioniert. Sie nennen es das Dichteverhältnis (Density Ratio).

Stellen Sie sich das so vor:

• Wir nehmen alle Fälle, in denen Y "Ja" ist, und alle Fälle, in denen Y "Nein" ist.
• Wir schauen uns an, wie sich die Verteilung von X in diesen beiden Gruppen unterscheidet.
• Wir berechnen ein Verhältnis: Wie viel wahrscheinlicher ist ein bestimmter X-Wert in der "Ja"-Gruppe im Vergleich zur "Nein"-Gruppe?

Jetzt kommt der magische Teil:

Fall A: X verursacht Y (Der "Türsteher")

Stellen Sie sich X als eine lange Schlange von Leuten vor, die an einer Tür stehen. Y ist der Türsteher, der entscheidet, wer reinkommt. Der Türsteher hat eine Regel: "Wer über 1,80m ist, kommt rein."

• Wenn Sie nun die Verteilung der Körpergrößen (X) der Leute betrachten, die reinkamen (Y=Ja) versus die, die draußen blieben (Y=Nein), dann ist das Verhältnis dieser beiden Gruppen monoton.
• Die Analogie: Es ist wie ein Berg. Je weiter Sie nach rechts gehen (je größer die Zahl), desto steiler wird der Anstieg oder desto flacher wird er, aber er macht keine wilden Kurven. Er verläuft wie eine glatte Rampe. Das ist ein sicheres Zeichen dafür, dass X den Türsteher (Y) beeinflusst hat.

Fall B: Y verursacht X (Der "Farbwechsler")

Jetzt drehen wir die Situation um. Y ist die Ursache. Stellen Sie sich vor, Y ist ein Lichtschalter, der die Farbe der Wand (X) ändert.

• Wenn Y "Rot" ist, wird die Wand rot. Wenn Y "Blau" ist, wird sie blau.
• Die Autoren zeigen mathematisch, dass wenn Y X verursacht, das Verhältnis der Verteilungen (das Verhältnis der "Rot-Wand" zur "Blau-Wand") nicht glatt verläuft. Es macht wilden Sprünge, Kurven und Zickzacks.
• Die Analogie: Es ist wie ein Berg, auf dem man plötzlich über eine Klippe fällt, dann wieder hochklettert und dann wieder hinunterstürzt. Es ist chaotisch und nicht "monoton".

3. Die zwei Regeln des Detektivs (DRCD)

Die neue Methode DRCD nutzt diese Beobachtung in einem klaren Ablauf:

1. Ist überhaupt ein Zusammenhang da?
   Zuerst prüft der Detektiv: Sind die Daten von X in der "Ja"-Gruppe und der "Nein"-Gruppe überhaupt unterschiedlich? Wenn nein, dann gibt es keine Kausalität.
2. Ist es ein "Verschiebungs"-Fall?
   Manchmal sieht Y X nur so an, als würde es die Werte einfach nur verschieben (wie wenn man eine Brille aufsetzt und alles nur ein bisschen weiter weg sieht). Das ist ein spezieller Fall, den DRCD erkennt.
3. Der Monotonie-Test (Der Clou):
   Wenn es kein einfacher Verschiebungsfall ist, schaut DRCD auf das Verhältnis der Verteilungen.
   • Ist die Kurve glatt und gleichmäßig (monoton)? -> X verursacht Y.
   • Ist die Kurve wild und unregelmäßig? -> Y verursacht X.

4. Warum ist das so wichtig?

Bisherige Methoden mussten oft raten oder Annahmen treffen, die in der echten Welt nicht immer gelten (z. B. "Die Verteilungen müssen immer gleich aussehen, nur verschoben"). DRCD ist robuster. Es sagt im Grunde: "Ich muss nicht raten, wie die Welt funktioniert. Ich schaue einfach auf die Form der Kurve. Wenn sie glatt ist, ist es das eine; wenn sie zickzackt, ist es das andere."

Zusammenfassung in einem Satz

Die Autoren haben einen neuen Weg gefunden, um zu erkennen, wer den anderen beeinflusst, indem sie prüfen, ob die Beziehung zwischen einer Zahl und einer Kategorie wie eine glatte Rampe (Causalität von Zahl zu Kategorie) oder wie ein wildes Achterbahn-Verhältnis (Causalität von Kategorie zu Zahl) aussieht.

In Tests mit künstlichen und echten Daten (wie Herzkrankheitsdaten) hat diese Methode andere, ältere Methoden deutlich geschlagen und war oft das einzige Werkzeug, das die richtige Antwort fand.

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert das fundamentale Problem der kausalen Entdeckung (Causal Discovery) aus reinen Beobachtungsdaten, speziell im Kontext von bivariaten Daten, die aus einer kontinuierlichen Variable $X$ und einer diskreten Variable $Y$ bestehen.

• Herausforderung: Bestehende Methoden haben Schwierigkeiten, die kausale Richtung ($X \to Y$ oder $Y \to X$) in diesem gemischten Szenario zu bestimmen.
  • Constraint-basierte Methoden (z. B. PC-Algorithmus) benötigen bedingte Unabhängigkeitstests, die in bivariaten Settings ohne weitere Variablen nicht funktionieren.
  • Funktionsbasierte Modelle (z. B. LiM, MIC) gehen oft davon aus, dass bei $Y \to X$ die bedingten Verteilungen $P(X|Y)$ eine Lokationsverschiebungs-Familie (Location-Shift Family) bilden (d. h. gleiche Form, nur unterschiedliche Mittelwerte). Diese Annahme ist in der Realität oft verletzt, wenn sich Varianzen oder Formen der Verteilungen ändern.
  • Flexible Score-basierte Methoden (z. B. CRACK, GSF) vermeiden starke Verteilungsannahmen, haben aber Schwierigkeiten, Modelle fair zu vergleichen, da kontinuierliche und diskrete Variablen unterschiedliche Informationsinhalte und Skalen aufweisen.

2. Methodik: DRCD (Density Ratio-based Causal Discovery)

Die Autoren schlagen DRCD vor, eine Methode, die die kausale Richtung durch die Analyse der Dichteverhältnisse (Density Ratios) und die Prüfung auf Lokationsverschiebungen bestimmt. Der Ansatz basiert auf drei theoretischen Ergebnissen zur Identifizierbarkeit.

A. Modellannahmen

Das Paper betrachtet drei Szenarien:

1. $X \to Y$: $X$ verursacht $Y$. Hier wird ein Schwellenwert-Modell (Threshold Model) verwendet, bei dem $Y$ durch binäre Indikatoren bestimmt wird, die von $X$ abhängen.
2. $Y \to X$: $Y$ verursacht $X$. Zwei Fälle werden unterschieden:
   • Fall 1 (Lokationsverschiebung): Die bedingten Verteilungen $P(X|Y=c)$ bilden eine Lokationsverschiebungs-Familie.
   • Fall 2 (Nicht-Lokationsverschiebung): Die bedingten Verteilungen sind Mischungen verallgemeinerter Normalverteilungen mit unabhängig parametrisierten Komponenten (unterschiedliche Varianzen, Formen). Dies ist der allgemeinere und realistischere Fall.
3. Keine Kausalität: $X$ und $Y$ sind unabhängig.

B. Theoretische Kernergebnisse (Identifizierbarkeit)

Die Methode stützt sich auf folgende Theoreme:

1. Monotonie bei $X \to Y$: Unter dem Modell $X \to Y$ ist das Dichteverhältnis $G_{c_s, c_t}(x) = \frac{P(X|Y=c_t)}{P(X|Y=c_s)}$ monoton (nicht-konstant steigend oder fallend).
2. Nicht-Monotonie bei $Y \to X$ (Nicht-Lokationsverschiebung): Wenn $Y \to X$ gilt und die bedingten Verteilungen keine Lokationsverschiebungs-Familie bilden (d. h. sie haben unterschiedliche Formen/Varianzen), dann ist das Dichteverhältnis generisch nicht-monoton. Monotonie tritt hier nur auf einer Menge von Lebesgue-Maß Null im Parameterraum auf (d. h. extrem unwahrscheinlich).
3. Nicht-Lokationsverschiebung bei $X \to Y$: Unter $X \to Y$ bilden die bedingten Verteilungen generisch keine Lokationsverschiebungs-Familie. Eine solche Struktur würde eine präzise, nicht-generische Koordination zwischen dem kausalen Mechanismus und der Eingangsverteilung erfordern, was dem Prinzip der unabhängigen Mechanismen (Independent Mechanisms Principle) widerspricht.

C. Der DRCD-Algorithmus

Der Algorithmus durchläuft vier Schritte:

1. Test auf Kausalität: Anwendung eines Zwei-Stichproben-Kolmogorov-Smirnov-Tests (KS-Test) auf die bedingten Verteilungen von $X$ für zwei verschiedene Werte von $Y$. Wenn keine signifikanten Unterschiede bestehen, wird keine Kausalität angenommen.
2. Test auf Lokationsverschiebung: Wenn Kausalität besteht, wird geprüft, ob die bedingten Verteilungen eine Lokationsverschiebungs-Familie bilden (durch Zentrieren der Daten und erneuten KS-Test). Wenn ja, wird $Y \to X$ inferiert.
3. Schätzung des Dichteverhältnisses: Falls keine Lokationsverschiebung vorliegt, wird das Dichteverhältnis $G_{c_s, c_t}(x)$ mit uLSIF (unconstrained Least-Squares Importance Fitting) geschätzt.
4. Monotonie-Test: Die Monotonie des geschätzten Dichteverhältnisses wird mittels Spearman-Rangkorrelation geprüft.
   • Starke Monotonie $\Rightarrow$ $X \to Y$.
   • Keine Monotonie $\Rightarrow$ $Y \to X$.

3. Wichtige Beiträge

• Theoretische Identifizierbarkeit: Beweis, dass die kausale Richtung in bivariaten kontinuierlich-diskreten Settings unter realistischen Annahmen (insbesondere bei nicht-Lokationsverschiebungs-Verteilungen) eindeutig identifizierbar ist.
• Neue Eigenschaft: Die Entdeckung, dass die Monotonie des Dichteverhältnisses ein charakteristisches Merkmal der Richtung $X \to Y$ ist, während Nicht-Monotonie auf $Y \to X$ (mit heterogenen Verteilungen) hindeutet.
• Vermeidung von Ad-hoc-Normalisierung: Im Gegensatz zu Score-basierten Methoden muss DRCD keine Modelle unterschiedlicher Variablentypen (kontinuierlich vs. diskret) direkt vergleichen, sondern testet eine Eigenschaft des Dichteverhältnisses innerhalb einer Richtung.
• Erweiterung bestehender Modelle: Das Framework erweitert frühere Arbeiten, die nur Lokationsverschiebungen bei $Y \to X$ zuließen, um den allgemeineren Fall heterogener Verteilungen.

4. Ergebnisse

Die Autoren führten Experimente auf synthetischen und realen Datensätzen durch und verglichen DRCD mit State-of-the-Art-Methoden (LiM, MIC, MANMs, CRACK, GSF).

• Synthetische Daten: DRCD erreichte in allen vier Szenarien (keine Kausalität, $X \to Y$, $Y \to X$ mit Lokationsverschiebung, $Y \to X$ ohne Lokationsverschiebung) eine Genauigkeit von über 80–95 %.
  • Andere Methoden (wie LiM, MIC, MANMs) scheiterten signifikant im Szenario $Y \to X$ ohne Lokationsverschiebung (Genauigkeit oft < 10–50 %), da ihre Annahmen verletzt wurden.
  • CRACK und GSF zeigten gute Ergebnisse, hatten aber Schwierigkeiten bei der Unterscheidung von $X \to Y$ und $Y \to X$ in bestimmten Fällen.
• Reale Daten:
  • UCI Heart Disease Dataset: DRCD erzielte mit 3 von 4 korrekten Inferenzen die beste Leistung (neben CRACK).
  • Tübingen Cause-Effect Pairs: DRCD identifizierte in 3 von 4 Fällen korrekt die Richtung und machte dabei keine invertierten Inferenzen (im Gegensatz zu CRACK, das eine falsche Richtung vorhersagte).

5. Bedeutung und Fazit

Das Paper liefert einen robusten theoretischen und praktischen Ansatz für die kausale Entdeckung in gemischten Daten.

• Robustheit: DRCD ist weniger anfällig für Verletzungen der Verteilungsannahmen als funktionale Modelle.
• Prinzipielle Herangehensweise: Durch den Verzicht auf den direkten Vergleich von Scores zwischen unterschiedlichen Variablentypen umgeht das Verfahren ein fundamentales Problem bestehender Score-basierter Methoden.
• Anwendbarkeit: Die Methode ist besonders wertvoll in Bereichen wie Biomedizin (z. B. Biomarker vs. Krankheitsstatus) oder Wirtschaftswissenschaften, wo kausale Beziehungen zwischen kontinuierlichen und kategorischen Variablen häufig sind, aber experimentelle Daten fehlen.

Die Autoren stellen den Code öffentlich zur Verfügung und sehen zukünftige Arbeiten darin, DRCD als lokalen Orientierungstest in constraint-basierten Algorithmen (wie PC oder FCI) für multivariate Szenarien zu integrieren.