Moment Matters: Mean and Variance Causal Graph Discovery from Heteroscedastic Observational Data

Die Autoren stellen einen bayesschen, momentenbasierten Rahmen vor, der aus heteroskedastischen Beobachtungsdaten separate kausale Graphen für Mittelwert und Varianz ableitet, um die Interpretierbarkeit zu erhöhen und die Unsicherheit kausaler Strukturen zu quantifizieren.

Das Wesentliche

Das große Rätsel: Nicht nur was passiert, sondern wie es passiert

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht herauszufinden, wer die Schuldigen in einem komplexen Verbrechen sind. In der Welt der Datenwissenschaft nennen wir das kausale Entdeckung. Normalerweise schauen wir uns nur an, welche Variable (Zeuge A) eine andere Variable (Zeuge B) beeinflusst.

Aber hier gibt es ein Problem: Die Welt ist nicht immer vorhersehbar. Manchmal ist ein Zeuge sehr ruhig und konstant, manchmal aber extrem launisch und unvorhersehbar.

In der Statistik nennen wir diese Schwankungen Heteroskedastizität. Das ist ein kompliziertes Wort für: "Die Streuung (Varianz) einer Sache ändert sich, je nachdem, was anderes passiert."

Das Problem mit den alten Methoden

Bisherige Methoden waren wie ein grobes Sieb. Sie sagten nur: "Zeuge A beeinflusst Zeuge B." Aber sie konnten nicht unterscheiden, wie A B beeinflusst.

• Ändert A den Durchschnittswert von B? (Macht B im Durchschnitt größer?)
• Oder ändert A die Unvorhersehbarkeit von B? (Macht B chaotischer oder ruhiger?)

Ein Beispiel aus dem Papier (Arzneimittelentwicklung):
Stellen Sie sich einen Medikamenten-Ingenieur vor, der ein neues Medikament entwickelt. Er weiß, dass Protein X1 das Ziel ist.

• Die alte Methode sagt ihm nur: "Proteine X2 bis X6 beeinflussen X1."
• Das ist frustrierend! Denn vielleicht macht X2 das Medikament im Durchschnitt stärker, aber X5 macht die Wirkung so schwankend, dass es bei manchen Patienten gar nicht wirkt und bei anderen Nebenwirkungen hat.
• Der Ingenieur braucht zwei getrennte Landkarten: Eine für den Durchschnitt (wie stark wirkt es?) und eine für die Schwankung (wie stabil ist es?).

Die Lösung: Zwei Landkarten statt einer

Die Autoren dieses Papiers haben eine neue Methode entwickelt, die genau das tut. Sie nennen es "Moment-Driven Causal Discovery" (Moment-getriebene kausale Entdeckung).

Stellen Sie sich vor, Sie beobachten einen Fluss:

1. Die alte Methode sagt nur: "Der Regen macht den Fluss höher." (Das ist der Mittelwert).
2. Die neue Methode sagt: "Der Regen macht den Fluss nicht nur höher, sondern er macht ihn auch wilder und unberechenbarer." (Das ist die Varianz).

Die Methode erstellt also zwei getrennte Graphen (Landkarten):

• Graph 1 (Der Durchschnitt): Wer beeinflusst den Wert einer Sache?
• Graph 2 (Die Schwankung): Wer beeinflusst die Streuung oder das Chaos einer Sache?

Wie funktioniert das technisch? (Die Metapher)

Stellen Sie sich vor, Sie backen einen Kuchen.

• Der Durchschnitt ist die Grundmasse.
• Die Schwankung ist, wie sehr der Kuchen im Ofen wackelt oder ungleichmäßig backt.

Früher haben Forscher nur geschaut, welche Zutaten den Kuchen größer machen. Jetzt schauen sie auch, welche Zutaten dafür sorgen, dass der Kuchen unruhig wird.

Die Autoren haben bewiesen, dass man diese zwei Landkarten theoretisch trennen kann, wenn man bestimmte Regeln beachtet (z. B. dass die Beziehungen nicht linear sind und das "Rauschen" im System normalverteilt ist).

Der Clou: Unsicherheit messen

Ein weiterer großer Vorteil ist, dass ihre Methode Bayesianisch ist. Das bedeutet, sie gibt nicht nur eine Antwort, sondern sagt auch, wie sicher sie sich ist.

• Alte Methode: "Ich bin zu 100% sicher, dass A B beeinflusst." (Aber wenn die Daten knapp sind, kann das falsch sein).
• Neue Methode: "Ich bin zu 80% sicher, dass A den Durchschnitt von B beeinflusst, aber nur zu 40% sicher, dass A die Schwankung von B beeinflusst."

Das ist wie ein Wetterbericht: Statt nur zu sagen "Es wird regnen", sagt es "Es wird mit 80% Wahrscheinlichkeit regnen". Das ist für Ärzte oder Ingenieure viel wertvoller, um Risiken einzuschätzen.

Warum ist das wichtig?

1. Medizin: Um Medikamente zu entwickeln, die nicht nur wirken, sondern auch stabil wirken (weniger Nebenwirkungen bei verschiedenen Patienten).
2. Wirtschaft: Um zu verstehen, was die Wirtschaft stabilisiert und was sie in Krisen (hohe Schwankungen) treibt.
3. Fairness: Um zu erkennen, ob bestimmte Entscheidungen (z. B. bei Krediten) bei bestimmten Gruppen zu unvorhersehbaren Ergebnissen führen.

Zusammenfassung

Dieses Papier ist wie der Bau eines neuen Mikroskops. Bisher haben wir nur gesehen, dass Dinge sich gegenseitig beeinflussen. Jetzt können wir sehen, ob diese Beeinflussung den Durchschnittswert verändert oder die Unvorhersehbarkeit. Das hilft uns, komplexe Systeme wie unseren Körper oder die Weltwirtschaft viel besser zu verstehen und gezielter zu steuern.

Technische Zusammenfassung

1. Problemstellung und Motivation

Heteroskedastizität in realen Daten:
In vielen wissenschaftlichen und realen Anwendungen (z. B. Biologie, Ökonomie, Arzneimittelforschung) ist die Varianz einer Variable nicht konstant, sondern hängt von anderen Variablen ab. Dieses Phänomen wird als Heteroskedastizität bezeichnet. Herkömmliche Methoden zur kausalen Entdeckung (Causal Discovery) liefern jedoch meist nur einen einzigen „momentenagnostischen" kausalen Graphen. Dieser zeigt zwar, welche Variablen kausal miteinander verbunden sind, unterscheidet aber nicht, ob ein Einfluss auf den Mittelwert (Mean) oder die Varianz (Variance) der Zielvariable wirkt.

Die Lücke:
Für das Verständnis komplexer Systeme und für gezielte Interventionen ist diese Unterscheidung jedoch entscheidend.

• Beispiel Arzneimittelforschung: Ein Ingenieur möchte die therapeutische Wirkung eines Proteins stabilisieren. Ein herkömmlicher Graph zeigt nur die kausalen Nachbarn. Ein Graph, der Mittelwert und Varianz trennt, würde jedoch zeigen, welche Regulatoren die mittlere Expression steuern und welche spezifisch die Variabilität (Streuung) zwischen Individuen beeinflussen. Dies ermöglicht eine präzisere Interventionsstrategie.

Forschungsfragen:

1. Können Mittelwert- und Varianz-kausale Graphen allein aus Beobachtungsdaten (ohne Interventionen) separat identifiziert werden?
2. Wie kann man die Unsicherheit dieser Inferenzen quantifizieren, insbesondere bei kleinen Stichprobengrößen?

2. Methodik

Die Autoren schlagen einen Bayesschen, momentengetriebenen kausalen Entdeckungsrahmen vor, der zwei separate Graphen ($G_M$ für den Mittelwert und $G_V$ für die Varianz) aus heteroskedastischen Daten inferiert.

A. Theoretische Grundlage: Mean-Variance HNM

Die Methode basiert auf einer Erweiterung des Heteroscedastic Noise Model (HNM). Für jede Variable $X_j$ wird folgende strukturelle Gleichung definiert:
$$X_j = m_j(\mathbf{X}_{pa_M(j)}) + v_j(\mathbf{X}_{pa_V(j)}) E_j$$
Dabei sind:

• $m_j$: Die Mittelwertfunktion, abhängig von Elternknoten $\mathbf{X}_{pa_M(j)}$.
• $v_j$: Die Varianzfunktion (immer positiv), abhängig von Elternknoten $\mathbf{X}_{pa_V(j)}$.
• $E_j$: Ein standardnormalverteilter Rauschterm ($E_j \sim \mathcal{N}(0,1)$).

Die Elternmengen für Mittelwert und Varianz können unterschiedlich sein, was zu zwei verschiedenen Adjazenzmatrizen $A_M$ und $A_V$ führt. Der herkömmliche Graph $G$ ist das logische ODER beider Graphen.

B. Identifizierbarkeit (Identifiability)

Die Autoren leiten hinreichende Bedingungen her, unter denen $G_M$ und $G_V$ eindeutig aus der gemeinsamen Verteilung $P(X)$ rekonstruierbar sind (Theorem 3.5):

1. Kausale Suffizienz: Keine versteckten gemeinsamen Ursachen.
2. Kausale Minimalität: Keine überflüssigen Kanten.
3. DAG-Struktur: Beide Graphen sind gerichtete azyklische Graphen.
4. Gemeinsame Permutation: Es existiert eine gemeinsame topologische Sortierung für beide Graphen.
5. Funktionsbedingungen:
   • $m_j$ muss nicht-linear sein.
   • $v_j$ muss eine stückweise Funktion sein, aber nicht konstant.
   • Das Rauschen $E_j$ muss Gaußsch sein.

Wichtig: Die Nicht-Konstanz von $v_j$ ist entscheidend, um zu unterscheiden, ob eine Variable die Varianz beeinflusst.

C. Inferenz-Algorithmus: Variational Inference

Da die exakte Berechnung der Posterior-Verteilung $P(A_M, A_V | D)$ intractabel ist, wird ein Variational Inference (VI) Ansatz verwendet.

1. DAG-Verteilungsmodell:

   • Um die DAG-Eigenschaft und die gemeinsame Permutation zu erzwingen, werden die Adjazenzmatrizen mittels einer Permutationsmatrix $\Pi$ und oberen Dreiecksmatrizen $U_M, U_V$ zerlegt: $A = \Pi^T U \Pi$.
   • Zur Differentiierbarkeit des Lernprozesses (Backpropagation) werden diskrete Sampling-Operationen durch kontinuierliche Relaxierungen ersetzt:
     • Für $U_M, U_V$: Gumbel-Softmax Trick.
     • Für $\Pi$: SoftSort (basierend auf dem Gumbel-Top-K Trick), um eine differentiable Approximation der Sortierreihenfolge zu erhalten.

2. Likelihood-Modell:

   • Die Mittelwert- und Varianzfunktionen werden durch Multi-Layer Perceptrons (MLPs) parametrisiert.
   • Die Eingaben der MLPs werden durch Maskierung basierend auf den aktuellen Samples von $A_M$ und $A_V$ gesteuert.
   • Um die Identifizierbarkeitsbedingungen zu erfüllen, werden Leaky-ReLU-Aktivierungen verwendet (nicht-linear, stückweise) und für $v_j$ wird eine Exponentialfunktion angewendet, um Positivität zu garantieren.

3. Optimierung und Herausforderungen:

   • Curvature-aware Optimization: Das direkte Maximieren der Likelihood ist bei heteroskedastischen Modellen oft schlecht gestellt (die Varianz kann künstlich aufgebläht werden, um den Fehler zu minimieren). Die Autoren nutzen einen alternierenden Ansatz: Zuerst werden Mittelwert-Parameter mit einem skalierten Gradienten (basierend auf dem MSE) aktualisiert, um die Krümmung zu berücksichtigen, danach die Varianz-Parameter mit dem Standard-Gradienten.
   • Einbeziehung von Vorwissen: Um die Suche im Parameterraum bei kleinen Stichproben zu reduzieren, können bekannte Ordnungsbeziehungen (z. B. "Gen A reguliert Gen B") als weiche Constraints in die Optimierung der Permutationsparameter $\psi$ eingebaut werden (via quadratischer Programmierung).

3. Wichtige Beiträge

1. Theoretische Fundierung: Erste Herleitung der Identifizierbarkeitsbedingungen für getrennte Mittelwert- und Varianz-Graphen innerhalb eines HNM-Rahmens.
2. Bayesscher Rahmen: Entwicklung eines Variational-Inference-Verfahrens, das nicht nur Punkt-Schätzer liefert, sondern die Posterior-Verteilung über beide Graphen berechnet. Dies ermöglicht eine prinzipielle Unsicherheitsquantifizierung (z. B. Wahrscheinlichkeit einer Kante).
3. Effiziente Optimierung: Ein neuartiger, krümmungsbewusster Optimierungsalgorithmus, der die spezifischen Schwierigkeiten heteroskedastischer Regressionen adressiert.
4. Integration von Vorwissen: Eine Methode zur Einbindung von partiellen Ordnungsbeschränkungen, um die Sample-Effizienz zu steigern.

4. Ergebnisse

Die Methode wurde auf synthetischen, semi-synthetischen (SERGIO-Simulator für Genexpression) und realen Daten (Sachs-Dataset für Protein-Signalwege) getestet.

• Vergleich mit Baselines: Die Methode übertrifft State-of-the-Art-Methoden wie MC3, DDS (Additive Noise Models), ICDH und HOST (Heteroscedastic Noise Models) deutlich.
  • Hinweis: Herkömmliche ANM-Methoden (MC3, DDS) versagen bei Heteroskedastizität, da sie falsche Annahmen über die Varianz treffen.
  • Hinweis: Punkt-Schätzer für HNM (ICDH, HOST) können oft den Mittelwert-Graphen gut finden, scheitern aber häufig beim korrekten Inferieren des Varianz-Graphen, da sie die Struktur des Mittelwert-Graphen dominieren lassen.
• Genauigkeit: Auf synthetischen und semi-synthetischen Daten zeigt die Methode niedrigere SHD-Fehler (Structural Hamming Distance) und höhere F1-Scores für beide Graphen ($G_M$ und $G_V$).
• Robustheit: Die Methode ist robust gegenüber Misspezifikation des Rauschverteilungsmodells (z. B. Laplace- oder Student-t-Verteilung statt Gauß), obwohl die Theorie Gauß-Rauschen voraussetzt.
• Realwelt-Anwendung (Sachs-Dataset):
  • Die Methode konnte plausible Varianz-Strukturen aus begrenzten Daten (n=100) rekonstruieren.
  • Case Study: Die bekannte kausale Beziehung $MEK \to ERK$ wurde mit hoher posteriorer Wahrscheinlichkeit als Varianz-Steuerung identifiziert, was mit biologischem Wissen übereinstimmt. Dies demonstriert die Fähigkeit, Heteroskedastizitätsquellen zu entdecken.

5. Bedeutung und Fazit

Das Paper stellt einen bedeutenden Fortschritt in der kausalen Entdeckung dar, indem es den Fokus von reinen Mittelwert-Beziehungen auf die gesamte Verteilung (insbesondere die Varianz) ausweitet.

• Interpretierbarkeit: Durch die Trennung von Mittelwert- und Varianz-Einflüssen erhalten Forscher ein viel tieferes Verständnis der zugrunde liegenden Mechanismen (z. B. welche Faktoren die Stabilität eines Systems steuern).
• Entscheidungsfindung: Die Fähigkeit, Unsicherheiten zu quantifizieren, ist besonders wertvoll in datenarmen Szenarien (wie der Medizin), wo falsche Interventionen teuer oder gefährlich sein können.
• Zukunftsperspektive: Die Arbeit legt den Grundstein für die Entdeckung von kausalen Strukturen höherer Momente (Schiefe, Kurtosis), was das Verständnis komplexer Phänomene weiter vertiefen könnte.

Zusammenfassend bietet „Moment Matters" einen theoretisch fundierten und praktisch anwendbaren Ansatz, um die oft vernachlässigte Rolle der Varianz in kausalen Systemen zu entschlüsseln.