Propensity score adjustment when errors in achievement measures inform treatment assignment

Technisches Resümee: Anpassung des Propensity Scores bei Fehlern in Leistungsmaßen, die die Zuweisung zur Behandlung beeinflussen

Problemstellung
Die Arbeit befasst sich mit einer spezifischen Herausforderung bei der Evaluierung von schulischen Interventionen auf Schulebene, wie etwa der Initiative „Texas Additional Days School Year“ (ADSY), bei der die Zuweisung zur Behandlung durch Leistungsunterschiede in demografischen Untergruppen gesteuert wird. In vielen Schulen sind diese Untergruppen (z. B. bestimmte ethnische Gruppen) klein, was zu End-of-Year-Testergebnissen führt, die verrauschte Messungen der „wahren“ Durchschnittswerte der Schüler darstellen.

Nach der klassischen Testtheorie ist ein beobachteter Wert ($W$) die Summe aus einem wahren Wert ($X$) und einem Zufallsfehler ($\epsilon$). Während der Mechanismus der Interventionszuweisung ($T$) durch die beobachteten Werte ($W$) bestimmt wird, argumentieren die Autoren, dass für eine valide kausale Inferenz der Propensity Score (PS) idealerweise die unbeobachteten wahren Werte ($X$) ausgleichen sollte. Die Standard-Schätzung des Propensity Scores unter Verwendung der verrauschten beobachteten Werte ($W$) scheitert daran, die wahren Werte ($X$) auszugleichen, wenn der Messfehler „differenziell“ ist – das heißt, wenn $W$ und $T$ unter der Bedingung von $X$ nicht unabhängig sind. Dies geschieht, weil der Zuweisungsmechanismus explizit auf das verrauschte $W$ reagiert und nicht nur auf das zugrunde liegende $X$. Darüber hinaus führen öffentliche Meldeschwellen dazu, dass Durchschnittswerte für sehr kleine Gruppen zurückgehalten werden, was zu Problemen mit fehlenden Daten führt, die eine Standard-PS-Schätzung für diese Schulen verhindern.

Methodik
Die Autoren schlagen zwei Methoden vor, um Propensity Scores zu schätzen, die auf den wahren Durchschnittswerten der Untergruppen ($X$) statt auf den beobachteten Werten ($W$) basieren, unter Verwendung externer Schätzungen der Varianz des Messfehlers (Conditional Standard Errors of Measurement, oder CSEMs), die von staatlichen Bildungsbehörden bereitgestellt werden.

1. Regression Calibration (RC) Propensity Score:

   • Dieser Ansatz ersetzt die fehleranfälligen beobachteten Werte ($W$) im PS-Modell durch empirische Bayes-Vorhersagen (EB-Vorhersagen) der wahren Werte ($\hat{X}$).
   • Die EB-Vorhersagen werden aus einem zweistufigen hierarchischen linearen Modell (HLM) abgeleitet, das die Variabilität zwischen Schulen und zwischen Untergruppen innerhalb von Schulen berücksichtigt.
   • Die externe Schätzung der Messfehler-Varianz ($\Sigma_i$), die aus den CSEMs abgeleitet wird, ist entscheidend für die Identifizierung der Random Effects im HLM.
   • Das PS-Modell ist dann eine logistische Regression der Behandlungszuweisung auf die vorhergesagten wahren Werte ($\hat{X}$) und andere fehlerfreie Kovariaten ($Z$).

2. Maximum Likelihood (ML) Propensity Score:

   • Dieser Ansatz modelliert die Behandlungszuweisung ($T$) und die beobachteten Werte ($W$) gemeinsam, bedingt auf die wahren Werte ($X$) und fehlerfreie Kovariaten ($Z$).
   • Er setzt voraus, dass $W$ die vollen Effekte von $X$ auf $T$ erfasst (d. h. $T \perp W | X, Z$), wobei $W$ als „schwacher Surrogatwert“ fungiert.
   • Der Ziel-Propensity-Score, $e(X, Z)$, wird durch Integration von $W$ aus der gemeinsamen Verteilung von $T$ und $W$ erhalten.
   • Da das resultierende Integral (ein logistisch-normales Integral) analytisch nicht handhabbar ist, verwenden die Autoren eine schnelle Approximation basierend auf Monahan und Stefanski (1992), die das Integral als Location-Scale-Mischung der Normalverteilungsfunktionen darstellt.
   • Diese Methode liefert PS-Schätzungen, die nur auf $X$ und $Z$ konditionieren und dadurch das Rauschen marginalisieren.

Wichtigste Ergebnisse
Die Autoren evaluierten diese Methoden durch Simulationsstudien und eine Anwendung auf die Texas ADSY-Initiative.

• Simulationsstudie:

  • Überlappung und Matching: Die ML- und RC-Methoden verbesserten die Überlappung zwischen Interventions- und Kontrollgruppen im Vergleich zu einem „naiven“ Ansatz (Standard-logistische Regression auf $W$) signifikant. In Szenarien mit kleinen Untergruppen, die anfällig für hohe Messfehler sind, schloss der naive Ansatz bis zu 21 % der Interventionsschulen aufgrund von Positivitätsverletzungen (Mangel an Übereinstimmungen) aus der Analyse aus, während der ML-Ansatz nur 2 % ausschloss.
  • Balance: Das Matching auf ML- und RC-Schätzungen führte zu einer besseren Balance der wahren Untergruppen-Scores ($X$) als das Matching auf naiven Schätzungen.
  • Schätzfehler: Die resultierenden Effektschätzungen (Average Treatment Effect on the Treated) wiesen einen geringeren Root Mean Squared Error (RMSE) auf, wenn ML- oder RC-PS-Schätzungen verwendet wurden. Insbesondere der ML-Schätzer zeigte einen günstigen Kompromiss: Während er in spezifischen heterogenen Fehlerszenarien eine etwas höhere Verzerrung (Bias) aufwies, demonstrierte er eine wesentlich geringere Varianz, was zu einem überlegenen Gesamt-RMSE führte.

• Anwendung auf Texas ADSY:

  • Die Methoden wurden auf Daten öffentlicher Schulen angewendet, bei denen die Durchschnittswerte für kleine Gruppen zurückgehalten wurden.
  • Im Gegensatz zum naiven Ansatz, der eine Imputation fehlender Daten erfordert, um zu funktionieren, können die RC- und ML-Methoden PS-Schätzungen für Schulen mit zurückgehaltenen Daten generieren, indem sie lediglich die EB-Vorhersagen und die Fehlervarianzschätzungen nutzen.
  • Das Matching auf ML-PS-Schätzungen erreichte die beste Balance der vorhergesagten wahren Werte unter den drei Methoden, mit den niedrigsten durchschnittlichen standardisierten Differenzen.
  • Ein Placebo-Test auf die 2019er-Werte für Untergruppen, die nicht im PS-Modell verwendet wurden (asiatische und weiße Schüler), zeigte signifikante Ungleichgewichte für asiatische Schüler über alle Methoden hinweg, was auf extrem kleine Untergruppengrößen zurückzuführen ist (Median von 0 Schülern in einigen Fällen); dies verdeutlicht die Grenzen des Ausgleichs bei spärlicher Datenlage.

Bedeutung und Ansprüche
Das Paper behauptt, dass seine vorgeschlagenen Methoden eine praktische Lösung für die Evaluierung von Interventionen bieten, bei denen die Zuweisung zur Behandlung durch verrauschte, kleinstichprobenbasierte Leistungsmaße gesteuert wird. Die primären Beiträge sind:

1. Adressierung differenzieller Messfehler: Die Methoden berücksichtigen explizit, dass der Messfehler die Behandlungszuweisung beeinflusst, und gehen damit über die Annahme eines nicht-differenziellen Fehlers hinaus, die für Standard-Regressionskalibrierungen oft erforderlich ist.
2. Umgang mit fehlenden Daten: Die Ansätze ermöglichen die PS-Schätzung in Schulen, in denen Untergruppen-Durchschnittswerte nicht öffentlich zugänglich sind, ohne dass Zugriff auf eingeschränkte Schüler-Ebene-Daten zur Imputation erforderlich ist.
3. Verbesserte Positivität: Durch die Reduzierung der Variabilität der PS-Schätzungen verbessern die Methoden die Überlappung zwischen Interventions- und Kontrollgruppen, was den Ausschluss von Interventionsschulen aus der Analyse reduziert und somit Stichprobengröße und Präzision bewahrt.
4. Bias-Varianz-Trade-off: Der ML-Schätzer bietet eine überzeugende Lösung für den Trade-off zwischen Confounder-Bias und Bias durch Positivitätsverletzungen und liefert präzisere Effektschätzungen in Gegenwart signifikanter Messfehler.

Die Autoren merken an, dass ihre Methoden zwar die Ignorierung von Messfehlern verbessern, sie jedoch auf der Verfügbarkeit externer Schätzungen des Messfehlers (CSEMs) beruhen und eine Gaußsche Fehlerverteilung (für die ML-Methode) voraussetzen. Sie räumen ein, dass weitere Arbeiten notwendig sind, um das Verhalten des ML-Schätzers zu verstehen, wenn verschiedene Untergruppen unterschiedliche Messfehlerverteilungen aufweisen.