Instrumental and Proximal Causal Inference with Gaussian Processes

Diese Arbeit stellt ein Deconditional-Gaussian-Process-Verfahren vor, das Instrumental-Variable- und Proxy-basierte kausale Inferenz mit zuverlässiger epistemischer Unsicherheitsquantifizierung und systematischer Modellauswahl vereint, um das Problem unbeobachteter Konfundierung zu lösen.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Arzt, der herausfinden möchte, ob ein neues Medikament (die Behandlung) wirklich die Heilung (das Ergebnis) bewirkt. Das Problem ist: Sie können nicht einfach eine kontrollierte Studie durchführen, bei der Sie Patienten zufällig das Medikament geben oder nicht. Stattdessen müssen Sie auf alte Patientendaten zurückgreifen.

Aber hier liegt der Haken: Die Daten sind „verunreinigt". Vielleicht sind die Patienten, die das Medikament nahmen, einfach gesünder oder reicher als die anderen. Diese versteckten Faktoren (die „unbeobachteten Störfaktoren") verzerren das Bild. Es sieht so aus, als würde das Medikament helfen, aber eigentlich waren es nur die besseren Lebensumstände.

In der Statistik nennt man das Instrumentalvariablen (IV) oder proximale kausale Lernverfahren (Proxy). Das sind wie Detektive, die versuchen, die wahre Wirkung des Medikaments trotz dieser versteckten Störfaktoren zu enthüllen.

Das Problem mit den bisherigen Methoden:
Bisherige mathematische Werkzeuge waren wie sehr präzise Schusswaffen, die aber keine Zielscheibe hatten. Sie konnten eine sehr gute Schätzung abgeben („Das Medikament hilft um 20 %"), aber sie sagten Ihnen nicht, wie sicher sie sich waren. War es 20 % plus oder minus 1 %? Oder plus oder minus 50 %? Ohne diese Unsicherheitsangabe ist es riskant, auf Basis dieser Zahlen Entscheidungen zu treffen.

Die Lösung dieses Papiers: Der „Gaußsche Prozess" als weiser Ratgeber
Die Autoren (Yuqi Zhang und Kollegen) haben eine neue Methode entwickelt, die auf Gaußschen Prozessen (GPs) basiert. Man kann sich das wie einen extrem erfahrenen, vorsichtigen Ratgeber vorstellen, der nicht nur eine Antwort gibt, sondern auch sagt: „Ich bin mir zu 90 % sicher, dass es hilft, aber hier ist ein Bereich, wo ich unsicher bin."

Hier ist die Idee in einfachen Bildern:

1. Der Detektiv mit dem Unsicherheits-Regenschirm:
   Die neue Methode (genannt GPIV und GPProxy) ist wie ein Detektiv, der nicht nur den Täter identifiziert, sondern auch einen Regenschirm mitbringt, der die Unsicherheit abdeckt. Sie berechnen nicht nur den „besten Schätzwert" (den Durchschnitt), sondern auch, wie breit der Bereich möglicher Werte ist (die Varianz).

   • Analogie: Wenn ein Wetterbericht sagt „Es wird regnen", ist das eine Vorhersage. Wenn er sagt „Es wird mit 95 % Wahrscheinlichkeit regnen, aber es könnte auch nur nieseln", ist das eine Vorhersage mit Unsicherheitsquantifizierung. Das ist genau das, was diese Methode liefert.

2. Die Magie der „De-Conditionierung":
   Das mathematische Herzstück nennt sich „De-Conditioning". Stellen Sie sich vor, Sie versuchen, ein verschwommenes Foto (die verzerrten Daten) klarzustellen.

   • Herkömmliche Methoden versuchen, das Foto einfach nur zu schärfen.
   • Diese neue Methode nutzt eine spezielle Technik, die wie ein „Rückwärts-Rechner" funktioniert. Sie nimmt die verzerrten Informationen und rechnet sie so um, als ob die Störfaktoren gar nicht existiert hätten. Das Besondere: Sie tun dies so, dass sie am Ende nicht nur das klare Bild, sondern auch eine Qualitätsangabe für jedes Pixel des Bildes liefern.

3. Warum ist das wichtig? (Der „Vertrauens-Test"):
   Die Autoren zeigen, dass ihre Methode zwei Dinge gleichzeitig tut:

   • Präzision: Sie ist genauso gut oder besser als die besten bisherigen Methoden, wenn es darum geht, den richtigen Wert zu finden.
   • Vertrauen: Sie weiß genau, wann sie sich nicht sicher ist.
   • Ein praktisches Beispiel: Stellen Sie sich vor, ein KI-System soll entscheiden, ob ein Patient eine teure Operation bekommt. Wenn das System unsicher ist (der „Regenschirm" ist groß), kann es sagen: „Ich bin mir hier nicht sicher, wir sollten einen menschlichen Experten hinzuziehen." Das verhindert gefährliche Fehler.

4. Der „Selbstoptimierende" Vorteil:
   Frühere Methoden mussten oft manuell eingestellt werden (wie ein Radio, bei dem man den Knopf für den Bass drehen muss, bis es gut klingt). Die neue Methode nutzt einen cleveren Trick (die „marginal likelihood"), um sich selbst perfekt einzustellen. Sie sucht automatisch die besten Einstellungen, ohne dass man sie mit Daten „füttern" muss, die man für den Test aufsparen müsste. Das ist wie ein Auto, das sich selbst kalibriert, während es fährt, anstatt an einer Tankstelle anzuhalten.

Zusammenfassung für den Alltag:
Dieses Papier stellt eine neue Art von „intelligentem Kausalitäts-Rechner" vor. Er ist nicht nur klug genug, um die wahren Ursachen hinter komplexen Daten zu finden (trotz versteckter Störfaktoren), sondern er ist auch ehrlich genug, um zuzugeben, wenn er unsicher ist.

Das ist ein riesiger Schritt für die Sicherheit von KI-Entscheidungen in Bereichen wie Medizin, Wirtschaft oder Politik. Statt blind auf eine Zahl zu vertrauen, erhalten Entscheidungsträger eine Zahl plus ein Maß an Zuverlässigkeit. Das ist wie der Unterschied zwischen einem Wetterbericht, der nur „Regen" sagt, und einem, der sagt: „Regen, aber ich bin mir zu 95 % sicher."

Technische Zusammenfassung

1. Problemstellung

Die Schätzung kausaler Effekte aus Beobachtungsdaten ist eine zentrale Aufgabe in vielen Disziplinen. Ein Hauptproblem dabei ist das Vorhandensein nicht beobachteter Confounder (Störfaktoren), die zu verzerrten Schätzungen führen und die Validität kausaler Schlussfolgerungen gefährden.

Zwei etablierte Rahmenwerke zur Bewältigung dieses Problems sind:

• Instrumental Variables (IV): Nutzung einer externen Variable (Instrument), die den Treatment beeinflusst, aber nicht direkt mit dem Outcome korreliert ist.
• Proximal Causal Learning (Proxy): Nutzung von „Proxy-Variablen" (z. B. Behandlungs- und Outcome-Proxy), die Informationen über den nicht beobachteten Confounder enthalten.

Das bestehende Defizit:
Obwohl es erhebliche methodische Fortschritte bei nicht-parametrischen Schätzern (insbesondere kernel-basierte Methoden wie Kernel IV oder Kernel Negative Control) gegeben hat, fehlt es diesen Ansätzen meist an einer zuverlässigen Quantifizierung der epistemischen Unsicherheit (Epistemic Uncertainty, EU).

• Bestehende Methoden liefern oft nur Punktschätzungen.
• Unsicherheitsquantifizierung erfolgt häufig durch Bootstrap-Verfahren, die heuristisch sind und keine kohärente probabilistische Interpretation bieten.
• Bayessche Ansätze existieren, sind aber oft rechenintensiv, basieren auf starken parametrischen Annahmen oder nutzen künstliche Datengenerierungsmechanismen.

2. Methodik: Deconditional Gaussian Process (DGP)

Die Autoren schlagen einen einheitlichen Gaussian Process (GP)-Rahmen vor, der sowohl für IV- als auch für Proxy-Szenarien anwendbar ist. Der Kern der Methode basiert auf der Theorie der deconditional kernel embeddings (Hsu & Ramos, 2019a).

Grundlegende Idee:
Das Lernen der strukturellen Funktion $f$ (die den kausalen Effekt darstellt) in beiden Settings lässt sich auf das Lösen einer Fredholm-Integralgleichung erster Art zurückführen.

• Im IV-Setting: $E[Y|Z] = E[f(X)|Z]$.
• Im Proxy-Setting: Zuerst wird eine „Bridge Function" $h$ gelöst, um dann über $W$ zu marginalisieren.

Der GP-Ansatz:

1. Prior: Es wird ein GP-Prior $GP(0, k)$ auf die strukturelle Funktion $f$ (bzw. die Bridge-Funktion $h$ im Proxy-Setting) gelegt.
2. Likelihood: Ein additives Rauschmodell wird angenommen, wobei die Beobachtungen $Y$ als bedingte Erwartungswerte der GP-Funktion unter dem Instrument/Proxy betrachtet werden.
3. Posterior: Durch die Linearität der bedingten Erwartungswerte und die Eigenschaften von GPs bleibt der Posterior ebenfalls ein GP.
   • Der Posterior-Mittelwert liefert die Punktschätzung.
   • Die Posterior-Varianz liefert eine prinzipielle und gut kalibrierte Unsicherheitsquantifizierung.

Spezifische Modelle:

• GPIV (Instrumental Variable): Nutzt den deconditional Operator als Pseudoinverse des bedingten Erwartungsoperators, um $f$ aus $E[Y|Z]$ zu rekonstruieren.
• GPProxy (Proximal Causal Learning): Erstellt einen GP für die Bridge-Funktion $h(x, w)$ und marginalisiert über den Outcome-Proxy $W$, um den Average Treatment Effect (ATE) zu erhalten.

Hyperparameter-Optimierung:
Im Gegensatz zu frequentistischen Methoden, die oft Daten-Splitting und Kreuzvalidierung benötigen, optimiert der GP-Rahmen die Hyperparameter (Längenskalen, Regularisierung, Rauschvarianz) durch Maximierung der marginalen Log-Likelihood. Dies ermöglicht eine effiziente Nutzung aller Daten und eine principled Modellauswahl.

3. Wichtige Beiträge

1. Einheitlicher Bayesscher Rahmen: Einführung von GPIV und GPProxy als einheitliche, nicht-parametrische Bayessche Frameworks für kausale Inferenz unter nicht beobachteter Confounding.
2. Wiederherstellung bekannter Schätzer: Es wird gezeigt, dass die Posterior-Mittelwerte von GPIV und GPProxy exakt den frequentistischen Kernel-Schätzern (KIV und KNC) entsprechen. Damit erben sie die starken asymptotischen Garantien und die Modellgüte dieser etablierten Methoden.
3. Prinzipielle Unsicherheitsquantifizierung: Der Rahmen liefert eine natürliche, gut kalibrierte Unsicherheit (Posterior-Varianz), die nicht auf heuristischen Bootstrap-Verfahren basiert.
4. Effiziente Modellauswahl: Durch die Optimierung der marginalen Likelihood entfällt die Notwendigkeit von aufwendiger Kreuzvalidierung oder willkürlicher Daten-Splitting, was besonders bei kleinen Datensätzen vorteilhaft ist.
5. Erweiterte Evaluierung: Die Autoren bewerten die Unsicherheit nicht nur über Abdeckungsraten (Coverage), sondern auch über Accuracy-Rejection Curves (ARC), um die Nützlichkeit der Unsicherheit für selektive Entscheidungen (z. B. wann man eine Vorhersage verweigern sollte) zu testen.

4. Ergebnisse

Die Autoren evaluieren ihre Methoden an synthetischen Daten und realistischen Szenarien (z. B. Flugticket-Nachfrage).

• Vorhersagegenauigkeit (MSE):
  • GPIV und GPProxy erreichen konsistent die niedrigste oder zweitniedrigste Mean Squared Error (MSE) im Vergleich zu State-of-the-Art-Baselines (KIV, MMRIV, QBIV, KNC, etc.).
  • Ein Hauptgrund für die Überlegenheit ist die Vermeidung von Daten-Splitting, was die effektive Stichprobengröße erhöht.
• Unsicherheitsquantifizierung:
  • Abdeckung (Coverage): Die 95%-Konfidenzintervalle von GPIV/GPProxy liegen deutlich näher am nominalen Wert (0.95) als bei Bootstrap-basierten Methoden oder QBIV, die oft zu enge Intervalle (unter-optimistische Unsicherheit) liefern.
  • Selektive Inferenz (ARC): Die Accuracy-Rejection Curves zeigen, dass die Unsicherheitsschätzungen informativ sind. Wenn das Modell unsichere Vorhersagen verwirft, steigt die Genauigkeit auf den verbleibenden Daten stark an. Dies ist bei Bootstrap-Methoden weniger ausgeprägt.
• Aktives Lernen: In einem zusätzlichen Experiment zeigt sich, dass die Posterior-Varianz effektiv genutzt werden kann, um informative Datenpunkte für aktives Lernen auszuwählen, was schneller zu einer hohen Genauigkeit führt als zufällige Stichproben.

5. Bedeutung und Fazit

Dieses Paper schließt eine kritische Lücke in der kausalen Inferenz, indem es eine vertrauenswürdige Unsicherheitsquantifizierung in Settings mit nicht beobachteter Confounding bereitstellt.

• Praktische Relevanz: Die Fähigkeit, Unsicherheit zu quantifizieren, ist entscheidend für den Einsatz in sicherheitskritischen Bereichen (z. B. Medizin, Politik), wo Entscheidungen auf kausalen Effekten basieren. Sie ermöglicht risikobewusste Entscheidungen (z. B. Verzicht auf Interventionen bei hoher Unsicherheit).
• Methodischer Fortschritt: Die Arbeit verbindet die Stärken kernel-basierter Methoden (hohe Flexibilität, gute asymptotische Eigenschaften) mit den Vorteilen Bayesscher Modelle (natürliche Unsicherheitsquantifizierung, principled Hyperparameter-Tuning).
• Zukunftsausblick: Die Autoren weisen darauf hin, dass die Propagierung der Unsicherheit aus der ersten Stufe (Schätzung des bedingten Erwartungsoperators) in den endgültigen Posterior noch eine offene Herausforderung ist, die zukünftige Forschung erfordert, um die Closed-Form-Lösung zu erhalten.

Zusammenfassend bieten GPIV und GPProxy eine unifizierte, praktische und zuverlässige Lösung für kausale Inferenz unter nicht beobachteter Confounding, die sowohl präzise Schätzungen als auch aussagekräftige Unsicherheitsmaße liefert.