Non-parametric Causal Inference in Dynamic Thresholding Designs

Technische Zusammenfassung: Nichtparametrische kausale Inferenz in dynamischen Schwellenwert-Designs

Problemstellung
Regression-Discontinuity-(RD-)Designs sind ein Standardwerkzeug für die nichtparametrische kausale Inferenz in statischen Umgebungen, in denen eine Behandlung basierend darauf zugewiesen wird, ob eine Laufvariable einen festen Schwellenwert überschreitet. Viele folgenschwere Entscheidungen im Gesundheitswesen, im Bildungsbereich und in der öffentlichen Politik finden jedoch in dynamischen Umgebungen statt, in denen sich die Laufvariable über die Zeit entwickelt und von vergangenen Behandlungen beeinflusst wird. Beispielsweise hängt der Blutzuckerspiegel eines Patienten (die Laufvariable) in einem nachfolgenden Jahr davon ab, ob er im vorherigen Jahr Lebensstilinterventionen (Behandlung) erhalten hat.

Die bestehende RD-Literatur konzentriert sich auf Querschnittsumgebungen, in denen Einheiten nur einmal eine Behandlung erhalten. Die direkte Anwendung herkömmlicher RD-Methoden auf dynamische Umgebungen scheitert, weil:

1. Vergangene Behandlungen die Verteilung zukünftiger Laufvariablen verändern und komplexe Rückkopplungsschleifen erzeugen.
2. Die Definition kausaler Schätzer für jede mögliche Behandlungsgeschichte zu einem „Fluch der Dimensionalität" führt, sobald der Zeithorizont wächst.
3. Reduced-Form-Ansätze (z. B. die Regression zukünftiger Ergebnisse auf die initiale Laufvariable) die gesamten dynamischen Behandlungseffekte nicht erfassen und nicht direkt als politikrelevante Parameter interpretierbar sind.

Methodik
Die Autoren schlagen einen Rahmen für die nichtparametrische kausale Inferenz in dynamischen Schwellenwert-Designs vor, der Behandlungsdynamiken berücksichtigt, ohne restriktive parametrische Annahmen aufzuerlegen.

• Ziel-Schätzer (Marginale Politikwirkung): Das Papier interpretiert den klassischen RD-Schätzer nicht lediglich als lokalen durchschnittlichen Behandlungseffekt (LATE) am Schwellenwert neu, sondern als marginale Politikwirkung. Spezifisch wird er definiert als das Verhältnis der Ableitung des erwarteten diskontierten Wohlergehens (Wertfunktion) bezüglich des Schwellenwerts $c$ zur Ableitung der erwarteten diskontierten Behandlungshäufigkeit bezüglich $c$:
  $$\tau^{RD} := \frac{\partial V^Y(\pi_c)}{\partial c} \Big/ \frac{\partial V^A(\pi_c)}{\partial c}$$
  wobei $V^Y$ und $V^A$ die Netto-Präsenz-Erwartungswerte der Ergebnisse bzw. der Behandlungszahlen unter der Politik $\pi_c$ darstellen. Dieses Verhältnis charakterisiert den Kosten-Nutzen-Trade-off einer marginalen Senkung des Schwellenwerts.

• Identifikation via Q-Funktionen: Basierend auf Reinforcement Learning (RL) und Markov-Entscheidungsprozessen (MDPs) nutzen die Autoren die Q-Funktion (Aktion-Wert-Funktion), um die Politikgradienten zu identifizieren. Sie zeigen, dass unter der g-Formel (die gilt, wenn das System einer Markov-Struktur folgt, selbst bei nicht beobachteten Zuständen) die Politikgradienten als diskontierte Summe von Q-Funktionsdifferenzen am Schwellenwert ausgedrückt werden können, gewichtet mit der bedingten Dichte der Laufvariable.
  $$-\frac{\partial V^Y(\pi_c)}{\partial c} = \sum_{t=0}^T \gamma^t E\left[ (Q^Y_{c,t}(S_t, c, 1) - Q^Y_{c,t}(S_t, c, 0)) f_t(c | S_t) \right]$$
  Diese Charakterisierung ermöglicht es, den dynamischen marginalen Politikeffekt unter Verwendung von Daten zu identifizieren, die an einem einzigen Status-quo-Schwellenwert gesammelt wurden.

• Schätzung (Zweimal diskontierte lokale lineare Regression): Um $\tau^{RD}$ zu schätzen, schlagen die Autoren einen maßgeschneiderten lokalen linearen Regressions-(LLR-)Schätzer vor. Im Gegensatz zur Standard-RD im statischen Fall:

  1. Verwendet dieser Schätzer diskontierte Summen zukünftiger Ergebnisse ($\Gamma^Y_{i,t}$) und Behandlungen ($\Gamma^A_{i,t}$) als abhängige Variablen, anstatt unmittelbarer Ergebnisse. Dies approximiert die Q-Funktionen und integriert langfristige nachgelagerte Effekte.
  2. Wendet zeitliche Diskontierungsgewichte ($\gamma^t$) auf die Beobachtungen an und spiegelt dabei die Struktur des Politikgradienten-Theorems wider.
  3. Beinhaltet Zeit-Fixeffekte, um zeit-spezifische Verschiebungen, die über alle Einheiten hinweg gemeinsam auftreten, zu absorbieren und die asymptotische Varianz zu reduzieren.
  4. Nimmt eine Ratenform ($\hat{\tau}^Y / \hat{\tau}^A$) an, analog zu Fuzzy-RD-Schätzern, um die Unsicherheit zu berücksichtigen, wie sich eine Änderung des Schwellenwerts auf die zukünftige Behandlungshäufigkeit auswirkt.

Hauptergebnisse

• Konsistenz: Unter Standard-Regularitätsbedingungen (Stetigkeit der bedingten Antwortfunktionen und Dichten am Schwellenwert, Glattheit der Q-Funktionen) ist der vorgeschlagene Schätzer konsistent für den dynamischen marginalen Politikeffekt $\tau^{RD}$.
• Asymptotische Verteilung: Der Schätzer erreicht die Standard-Konvergenzrate der nichtparametrischen Schätzung von $n^{-2/5}$ (mit Bandbreite $h_n \sim n^{-1/5}$). Die asymptotische Varianz aggregiert die Unsicherheit über alle Zeitperioden hinweg, gewichtet mit $\gamma^{2t}$.
• Varianzschätzung: Die Autoren schlagen einen einheitlich-geclusterten Sandwich-Varianzschätzer vor, der die asymptotische Varianz konsistent schätzt und dabei beliebige Abhängigkeiten über die Zeit innerhalb einer Trajektorie berücksichtigt.
• Bandbreitenwahl: Eine datengesteuerte Regel zur Bandbreitenwahl wird hergeleitet, die die Methode von Imbens-Kalyanaraman (2012) auf das dynamische Setting erweitert, indem residualisierte Ergebnisse und einheitlich-geclusterte Varianzschätzungen verwendet werden.

Empirische Validierung
Die Autoren validieren ihren Ansatz durch zwei numerische Experimente:

1. Autoregressiver Simulator: Ein stilisierter Daten-generierender Prozess, bei dem sich der Zustand auf Basis vergangener Behandlungen entwickelt. Die vorgeschlagene Methode stellt den dynamischen marginalen Politikeffekt korrekt wieder her, wohingegen Standard-LLR (mit Fokus auf partielle Gleichgewichtseffekte) und naive langfristige LLR (die zukünftige Schwellenwertüberschreitungen ignorieren) keine gültige Inferenz liefern oder signifikante Verzerrungen aufweisen.
2. UVa/Padova Typ-1-Diabetes-Simulator: Unter Verwendung eines von der FDA zugelassenen Simulators für kontinuierliches Glukosemonitoring emulieren die Autoren eine dynamische Schwellenwertregel für die Insulinverabreichung. Die vorgeschlagene Methode behält die nominale Abdeckung für Konfidenzintervalle über verschiedene Diskontfaktoren hinweg bei, während konkurrierende Methoden entweder stark unterdecken (Standard-LLR) oder uninformative, extrem breite Intervalle produzieren (naive langfristige LLR).

Bedeutung und Behauptungen
Das Papier behauptet, die ersten nichtparametrischen Ergebnisse zur kausalen Inferenz für dynamische Schwellenwert-Designs zu liefern, die in ihrer Allgemeinheit mit Standard-Ergebnissen für Querschnitts-RD vergleichbar sind.

• Politische Relevanz: Durch die Formulierung des Schätzers als marginale Politikwirkung ermöglicht der Ansatz direkt eine Kosten-Nutzen-Analyse für die Ressourcenallokation (z. B. die Entscheidung, ob ein Schwellenwert für Gesundheitsuntersuchungen gesenkt werden soll).
• Robustheit: Die Methode vermeidet die restriktiven parametrischen Annahmen, die von früheren dynamischen RD-Ansätzen gefordert wurden (z. B. Cellini et al., 2010), sowie die starken bedingten Unabhängigkeitsannahmen, die von anderen gefordert werden (z. B. Hsu und Shen, 2024).
• Theoretische Brücke: Die Arbeit verbindet die Literatur zu Regression-Discontinuity-Designs mit Reinforcement Learning und Politikgradienten-Theoremen und zeigt, dass Konzepte der Politikgradienten für die beobachtende kausale Inferenz in Umgebungen mit zeitlicher Interferenz angepasst werden können.

Die Autoren stellen fest, dass, obwohl ihr spezifischer lokaler linearer Regressions-Schätzer konsistent ist, Fragen bezüglich der Effizienz anderer Algorithmen und der Anpassung von verzerrungsbewussten Inferenzverfahren (wie Calonico et al., 2014) an das dynamische Setting offen bleiben.