Deconfounding Scores and Representation Learning for Causal Effect Estimation with Weak Overlap

1. Problemstellung

In der kausalen Inferenz aus Beobachtungsdaten ist die Ignorabilitätsannahme (alle Störfaktoren sind beobachtet) und die Überlappungsannahme (Positivität) entscheidend für die Identifizierung von Behandlungseffekten.

• Das Problem: In hochdimensionalen Settings (viele Kovariaten) wird die Überlappung oft verletzt oder ist sehr schwach („Weak Overlap"). Das bedeutet, dass sich die Verteilungen der Merkmale (Features) zwischen der Behandlungs- und der Kontrollgruppe stark unterscheiden.
• Folgen: Herkömmliche Schätzer (wie Inverse Propensity Weighting oder Doubly Robust Estimator) leiden unter hoher Varianz und werden instabil („brittle"), da die Gewichtungsfaktoren (Dichte-Verhältnisse) extrem groß werden.
• Herausforderung: Es gibt einen Zielkonflikt: Man benötigt Merkmale, die sowohl die Behandlungszuweisung (Propensity) als auch das Ergebnis (Outcome) vorhersagen, um Verzerrungen zu vermeiden, aber Merkmale, die nur die Behandlung vorhersagen, verschlechtern die Überlappung und erhöhen die Varianz.

2. Methodik: Deconfounding Scores

Die Autoren führen eine neue Klasse von Feature-Repräsentationen ein, die Deconfounding Scores (Entstörungsscores).

• Definition: Ein Deconfounding Score $\phi(X)$ ist eine Abbildung der ursprünglichen Kovariaten $X$, die die Identifizierbarkeit des kausalen Effekts (hier ATT – Average Treatment Effect on the Treated) erhält. Formal muss gelten: $\tau = \tau_{\phi(X)}$.

• Charakterisierung: Ein Score ist ein Deconfounding Score, wenn die bedingte Kovarianz zwischen dem potenziellen Outcome-Modell $m_0(X)$ und dem Dichte-Verhältnis (oder Propensity Score) gegeben $\phi(X)$ null ist.

  • Dies umfasst bekannte Spezialfälle:
    • Balancing Scores (z. B. Propensity Score): Erfassen alle Informationen über die Behandlungszuweisung.
    • Prognostic Scores: Erfassen alle Informationen über das Outcome unter Kontrolle.
  • Der neue Ansatz definiert ein Kontinuum zwischen diesen beiden Extremen.

• Overlap Divergence (Überlappungs-Divergenz):
  Um das Problem der schwachen Überlappung zu quantifizieren, führen die Autoren eine Metrik namens Overlap Divergence $O(Z)$ ein. Diese ist definiert als der Erwartungswert des quadrierten Dichte-Verhältnisses (bezogen auf die $\chi^2$-Divergenz):
  $$O(Z) = \mathbb{E}_{P^0} \left[ \left( \frac{dP^1_Z}{dP^0_Z}(Z) \right)^2 \right]$$
  Theoretischer Kern: Die Autoren beweisen, dass diese Divergenz direkt die semiparametrische Effizienzgrenze (Asymptotische Varianz) des Schätzers kontrolliert. Eine Minimierung von $O(\phi(X))$ führt also zu einer Minimierung der Varianz des kausalen Effektschätzers.

3. Theoretische Ergebnisse und Optimale Repräsentationen

Unter spezifischen Annahmen (Gaußsche Kovariaten, Generalized Linear Models für Outcome und Treatment) leiten die Autoren geschlossene Formeln für die Familie der Deconfounding Scores ab.

• Hyperbolische Struktur: Die Menge der zulässigen Deconfounding Scores (dargestellt durch den Koeffizientenvektor $\gamma$) liegt auf einem Segment einer Hyperbel im Raum, der von den Vektoren des Prognostic-Scores ($\alpha$) und des Balancing-Scores ($\beta$) aufgespannt wird.
• Optimalität des Prognostic Scores:
  • Die Analyse zeigt, dass die Overlap Divergence monoton mit der Stärke der Assoziation zwischen dem Score und der Behandlungszuweisung ($|\beta'\gamma|$) zunimmt.
  • Ergebnis: Der Prognostic Score (der nur auf das Outcome abzielt und keine explizite Abhängigkeit vom Propensity Score hat) minimiert die Overlap Divergence innerhalb dieser Familie.
  • Der Balancing Score maximiert die Divergenz (schlechteste Überlappung).
  • Dies bestätigt die Intuition, dass Variablen, die nur die Behandlung, aber nicht das Ergebnis vorhersagen, für die Varianzreduktion entfernt werden sollten, ohne die Unverzerrtheit zu gefährden.

4. Experimentelle Ergebnisse

Die Autoren testen ihre Theorie auf simulierten und semi-synthetischen Datensätzen (IHDP, ACIC 2016, HC-MNIST).

• Simulierte Daten:

  • Wenn das Outcome-Modell korrekt spezifiziert ist, übertreffen Schätzer basierend auf dem Prognostic Score alle anderen Methoden (inkl. Rohdaten und Balancing Scores) deutlich, insbesondere bei schwacher Überlappung.
  • Wenn das Propensity-Modell korrekt, aber das Outcome-Modell falsch ist, dominieren Balancing Scores.
  • Ein äquiangulärer Score (eine Mischung aus beiden) stellt oft einen robusten Kompromiss dar, wenn beide Modelle unsicher sind.
  • In allen Szenarien gibt es mindestens einen Deconfounding Score, der besser ist als die Verwendung der Roh-Kovariaten.

• Semi-synthetische Daten:

  • Auch hier verbessern Deconfounding Scores die Leistung gegenüber Rohdaten. Der Prognostic Score führt in den meisten Fällen zu den größten Verbesserungen, was die theoretischen Ergebnisse untermauert.

5. Bedeutung und Beiträge

• Neue Klasse von Scores: Die Einführung der Deconfounding Scores als vollständige Klasse von Repräsentationen, die die Identifizierbarkeit erhalten, erweitert das theoretische Fundament der kausalen Inferenz über Propensity- und Prognostic-Scores hinaus.
• Verbindung von Überlappung und Varianz: Die Arbeit liefert einen mathematischen Beweis dafür, dass die Minimierung der Overlap Divergence (eine Maßzahl für schlechte Überlappung) direkt mit der Minimierung der asymptotischen Varianz des Schätzers verknüpft ist.
• Praktische Relevanz: Die Ergebnisse zeigen, dass das Lernen von Repräsentationen, die den Propensity-Score ignorieren (sofern das Outcome-Modell gut ist), eine effektive Strategie ist, um das „Curse of Dimensionality" und schwache Überlappung in hochdimensionalen Daten zu bekämpfen.
• Kompatibilität: Deconfounding Scores können als „Drop-in"-Ersatz für Kovariaten in beliebigen modernen Schätzmethoden (AIPW, TMLE, Double Machine Learning) verwendet werden.

Zusammenfassend bietet das Paper eine theoretisch fundierte und empirisch validierte Methode, um durch gezieltes Representation Learning die Varianz von kausalen Effektschätzern in Szenarien mit schwacher Überlappung zu reduzieren, indem es zeigt, dass Prognostic Scores in vielen Fällen die optimalen Deconfounding Scores sind.