Bayesian Hierarchical Invariant Prediction

1. Problemstellung und Motivation

Das Paper adressiert die Herausforderung der Kausalitätsentdeckung (Causal Discovery) in heterogenen Umgebungen. In vielen realen Anwendungen (Medizin, Verkehr, Umweltwissenschaften) stammen Daten aus unterschiedlichen Kontexten oder „Umgebungen" (z. B. verschiedene Krankenhäuser, Regionen oder Zeiträume), die oft Verteilungsverschiebungen (Distribution Shifts) aufweisen.

Das etablierte Verfahren Invariant Causal Prediction (ICP) nutzt diese Heterogenität, um kausale Prädiktoren zu identifizieren. ICP basiert auf der Annahme, dass die bedingte Verteilung der Zielvariable $Y$ gegeben ihre direkten kausalen Eltern (Parents) über alle Umgebungen hinweg invariant bleibt.
Die Hauptprobleme von ICP sind:

• Rechenkomplexität: ICP muss die Invarianz für alle möglichen Teilmengen der Prädiktoren testen ($2^d$ Kombinationen, wobei $d$ die Anzahl der Prädiktoren ist). Dies skaliert exponentiell und ist bei vielen Prädiktoren rechnerisch untragbar.
• Konservatismus: Um Typ-I-Fehler (falsch-positive Kausalität) zu minimieren, schneidet ICP alle Teilmengen, die nicht strikt invariant sind, ab. Dies führt oft zu einer geringen statistischen Power (viele wahre Kausalitäten werden übersehen) oder zu leeren Ergebnissen, wenn die Heterogenität nicht ausreicht.
• Fehlende Unsicherheitsquantifizierung: Als frequentistische Methode bietet ICP keine natürliche Möglichkeit, Prior-Wissen einzubringen oder die Unsicherheit der Schätzungen probabilistisch zu quantifizieren.

2. Methodik: Bayesian Hierarchical Invariant Prediction (BHIP)

Die Autoren schlagen BHIP vor, eine Neuformulierung von ICP durch die Linse des Hierarchischen Bayes. Statt Invarianz durch exhaustive Unabhängigkeitstests zu prüfen, modelliert BHIP die Variabilität der Prädiktor-Effekte über die Umgebungen hinweg explizit.

Kernkomponenten des Modells:

1. Hierarchische Struktur:

   • Für jede Umgebung $e$ werden lokale Regressionskoeffizienten $\beta^e_d$ für jeden Prädiktor $d$ geschätzt.
   • Diese lokalen Koeffizienten werden als aus einer gemeinsamen globalen Verteilung gezogen modelliert, parametrisiert durch globale Parameter $\phi_d$ (z. B. Mittelwert $\mu_d$ und Skalierung $\tau_d$).
   • Dies ermöglicht ein „Partial Pooling": Informationen werden über Umgebungen hinweg geteilt, was besonders bei kleinen Stichproben pro Umgebung vorteilhaft ist.

2. Definition von Invarianz:
   Ein Prädiktor gilt als kausal invariant, wenn:

   • Sein Effekt über alle Umgebungen hinweg nicht null ist (signifikante Assoziation).
   • Die lokalen Effekte $\beta^e_d$ nahe beieinander liegen und somit der globalen Verteilung folgen (keine signifikante Heterogenität des Effekts).

3. Inferenz und Testverfahren:
   Um Invarianz zu testen, werden zwei Bayes'sche Metriken auf den Posterior-Verteilungen der Parameter angewendet:

   • HDI + ROPE (Highest Density Interval + Region of Practical Equivalence):
     • Prüft, ob der Effekt signifikant von Null verschieden ist.
     • Der HDI (z. B. 95%) muss vollständig außerhalb eines „ROPE"-Intervalls um Null liegen (z. B. $[-\epsilon, \epsilon]$).
   • Pooling-Faktor ($\gamma_d$):
     • Quantifiziert den Grad des Informationsaustauschs (Pooling) zwischen den Umgebungen.
     • Ein Wert nahe 1 deutet auf starke Invarianz hin (lokale Effekte sind konsistent mit dem globalen Mittelwert).
     • Ein niedriger Wert deutet auf Heterogenität hin.
   • Ein Prädiktor wird als kausal identifiziert, wenn er beide Kriterien erfüllt (nicht-null Effekt und hohe Invarianz).

4. Vorteile des Ansatzes:

   • Skalierbarkeit: Da keine exhaustive Suche über Teilmengen nötig ist, skaliert BHIP linear mit der Anzahl der Prädiktoren, im Gegensatz zur exponentiellen Skalierung von ICP.
   • Prior-Wissen: Durch die Bayes'sche Natur können Priors (z. B. sparsity-inducing Priors wie Horseshoe oder Spike-and-Slab) integriert werden, um die Variablenselektion zu verbessern.
   • Unsicherheitsquantifizierung: Das Modell liefert vollständige Posterior-Verteilungen, was eine nuancierte Analyse der Effekte ermöglicht.

3. Wichtige Beiträge

• Einheitlicher probabilistischer Rahmen: BHIP verbindet Hierarchische Bayes-Modelle mit dem Prinzip der kausalen Invarianz, um Eltern-Entdeckung (Parent Discovery) probabilistisch zu testen.
• Überwindung der Dimensionsfluch: BHIP löst das Skalierungsproblem von ICP bei großen $d$ (Anzahl der Prädiktoren), indem es auf exhaustive Tests verzichtet und stattdessen Parameterbeziehungen nutzt.
• Erhöhte Power: Durch die Nutzung von Priors und der probabilistischen Testlogik kann BHIP mehr wahre kausale Prädiktoren identifizieren als das konservative ICP, ohne die Fehlerkontrolle zu vernachlässigen.
• Theoretische Fundierung: Das Paper liefert asymptotische Garantien (basierend auf dem Bernstein-von-Mises-Theorem), die zeigen, dass der Pooling-Faktor für wahre kausale Eltern gegen 1 konvergiert, wenn die Datenmenge und die Anzahl der Umgebungen wachsen.

4. Ergebnisse und Evaluation

Die Autoren evaluieren BHIP auf synthetischen und realen Datensätzen:

• Bus-Dwell-Time-Problem (Synthetisch):
  • In einem kontrollierten Szenario mit bekannten kausalen Strukturen (Passagier-Zu- und Abgang als wahre Ursachen) konnte BHIP die wahren Prädiktoren ($X_3, X_4$) zuverlässig identifizieren.
  • Vergleich mit ICP: ICP identifizierte zwar $X_3$, verpasste aber oft $X_4$ aufgrund seiner Konservativität. BHIP erkannte beide korrekt.
• Bildungserfolg (Real-World, Rouse-Datensatz):
  • BHIP identifizierte „Achievement Score" und „Väterliche Bildung" als invariante Prädiktoren.
  • Zusätzlich konnte BHIP einen negativen Effekt der „niedrigen Einkommen" identifizieren, den ICP übersehen hatte.
  • Das Modell lieferte detaillierte Unsicherheitsanalysen für umgebungsspezifische Effekte.
• Rechenkomplexität:
  • Experimente zeigen, dass die Laufzeit von ICP exponentiell mit der Anzahl der Prädiktoren ($N$) wächst, während BHIP nur langsam ansteigt. BHIP bleibt auch bei vielen Prädiktoren rechnerisch machbar.
• Benchmark gegen moderne Methoden (Wu et al., 2025):
  • Auf synthetischen Daten und dem Yeast-Gen-Perturbations-Datensatz (Hefe-Genexpression) schnitt BHIP in Bezug auf die „Exact Discovery Rate" (Wiederfinden der exakten Menge) und die „Coverage" (Wahrscheinlichkeit, dass die geschätzte Menge eine Teilmenge der wahren Menge ist) sehr gut ab.
  • BHIP übertraf ICP und Hidden-ICP deutlich in der Power und wies eine vergleichbare Präzision wie die neuesten Bayes'schen Methoden (BIP, VI-BIP) auf, blieb dabei aber in hochdimensionalen Szenarien konservativer und robuster.

5. Bedeutung und Fazit

BHIP stellt einen signifikanten Fortschritt in der kausalen Inferenz dar, insbesondere für Anwendungen mit heterogenen Daten und vielen potenziellen Prädiktoren.

• Praktische Relevanz: Der Ansatz ermöglicht es, robuste kausale Modelle zu lernen, die auch bei Verteilungsverschiebungen (Out-of-Distribution) gut generalisieren, ohne auf exhaustive Tests angewiesen zu sein.
• Flexibilität: Die Integration von Priors erlaubt es, Domänenwissen einzubringen und Sparsity zu erzwingen, was in hochdimensionalen Problemen entscheidend ist.
• Zukunftsausblick: Das Paper schlägt vor, effizientere Inferenzalgorithmen zu entwickeln und den Ansatz auf nicht-lineare Beziehungen sowie aktive Lernstrategien (Active Learning) zur Generierung idealer Umgebungen zu erweitern.

Zusammenfassend bietet BHIP eine principled, probabilistische Alternative zu frequentistischen Invarianztests, die Skalierbarkeit, Power und Unsicherheitsquantifizierung in einem einzigen Framework vereint.