Propensity score adjustment when errors in achievement measures inform treatment assignment

Technische Samenvatting: Aanpassing van de Propensity Score wanneer fouten in prestatiecijfers de toewijzing aan behandeling beïnvloeden

Probleemstelling
Het artikel behandelt een specifieke uitdaging bij het evalueren van interventies op schoolniveau, zoals het Texas Additional Days School Year (ADSY)-initiatief, waarbij de toewijzing aan een behandeling wordt gedreven door prestatiekloven in demografische subgroepen. In veel scholen zijn deze subgroepen (bijv. specifieke raciale/etnische groepen) klein, wat leidt tot eindscores van toetsen die ruisgevoelige metingen zijn van de "werkelijke" gemiddelde scores van de leerlingen.

Onder de klassieke testtheorie is een verkregen score ($W$) de som van een werkelijke score ($X$) en een willekeurige fout ($\epsilon$). Hoewel het mechanisme voor de toewijzing van de interventie ($T$) wordt bepaald door de verkregen scores ($W$), betogen de auteurs dat voor geldige causale inferentie de propensity score (PS) idealiter de scholen moet balanceren op de niet-geobserveerde werkelijke scores ($X$). De standaard PS-schatting met behulp van de ruisgevoelige verkregen scores ($W$) slaagt er niet in om de werkelijke scores ($X$) te balanceren wanneer de meetfout "differentieel" is — dat wil zeggen, wanneer $W$ en $T$ niet onafhankelijk zijn van elkaar gegeven $X$. Dit komt doordat het toewijzingsmechanisme expliciet reageert op de ruisgevoelige $W$, en niet alleen op de onderliggende $X$. Bov�elijk creëren publieke rapportagegrenzen, waarbij gemiddelden van subgroepen voor zeer kleine groepen worden achtergehouden, problemen met ontbrekende gegevens die standaard PS-schatting voor die scholen verhinderen.

Methodologie
De auteurs stellen twee methoden voor om propensity scores te schatten die balanceren op de werkelijke gemiddelde scores van subgroepen ($X$) in plaats van op de verkregen scores ($W$), gebruikmakend van externe schattingen van de variantie van de meetfout (Conditional Standard Errors of Measurement, of CSEMs) die door overheidsinstanties voor onderwijs worden verstrekt.

1. Regressiecalibratie (RC) Propensity Score:

   • Deze benadering vervangt de foutgevoelige verkregen scores ($W$) in het PS-model door Empirical Bayes (EB) voorspellingen van de werkelijke scores ($\hat{X}$).
   • De EB-voorspellingen worden afgeleid van een twee-niveau Hiërarchisch Lineair Model (HLM) dat rekening houdt met de variabiliteit tussen scholen en tussen subgroepen binnen scholen.
   • De externe schatting van de variantie van de meetfout ($\Sigma_i$), afgeleid van CSEMs, is cruciaal voor het identificeren van de random effects in het HLM.
   • Het PS-model is vervolgens een logistische regressie van de toewijzing aan de behandeling op de voorspelde werkelijke scores ($\hat{X}$) en andere foutvrije covariaten ($Z$).

2. Maximum Likelihood (ML) Propensity Score:

   • Deze benadering modelleert gezamenlijk de toewijzing aan de behandeling ($T$) en de verkregen scores ($W$) conditioneel op de werkelijke scores ($X$) en foutvrije covariaten ($Z$).
   • Het gaat ervan uit dat $W$ de volledige effecten van $X$ op $T$ vangt (d.w.z. $T \perp W | X, Z$), waarbij erkend wordt dat $W$ fungeert als een "zwakke surrogaat".
   • De doel-propensity score, $e(X, Z)$, wordt verkregen door $W$ uit de gezamenlijke verdeling van $T$ en $W$ te integreren.
   • Omdat het resulterende integraal (een logistiek-normaal integraal) analytisch onhandelbaar is, gebruiken de auteurs een snelle benadering gebaseerd op Monahan en Stefanski (1992), waarbij het integraal wordt weergegeven als een locatie-schaalmengeling van normale distributiefuncties.
   • Deze methode levert PS-schattingen op die alleen conditioneren op $X$ en $Z$, waardoor de ruis effectief wordt gemarginaliseerd.

Belangrijkste Resultaten
De auteurs evalueerden deze methoden via simulatiestudies en een toepassing op het Texas ADSY-initiatief.

• Simulatiestudie:

  • Overlap en Matching: De ML- en RC-methoden verbeterden de overlap tussen interventie- en controlegroepen aanzienlijk vergeleken met een "naïeve" benadering (standaard logistische regressie op $W$). In scenario's met kleine subgroepen die gevoelig zijn voor hoge meetfouten, sloot de naïeve benadering tot 21% van de interventiescholen uit van de analyse vanwege een gebrek aan matches (positiviteitsschendingen), terwijl de ML-benadering slechts 2% uitsloot.
  • Balans: Matchen op ML- en RC-schattingen resulteerde in een betere balans op de werkelijke subgroepscores ($X$) dan matchen op naïeve schattingen.
  • Schattingfout: De resulterende effectschattingen (Average Treatment Effect on the Treated) hadden een lagere Root Mean Squared Error (RMSE) wanneer ML- of RC-PS-schattingen werden gebruikt. De ML-schatter vertoonde in het bijzonder een gunstige afruil: hoewel deze een iets hogere bias vertoonde in specifieke heterogene foutscenario's, demonstreerde deze een substantieel lagere variantie, wat leidde tot superieure algehele RMSE.

• Toepassing op Texas ADSY:

  • De methoden werden toegepast op publieke schoolgegevens waarbij gemiddelden van subgroepen voor kleine groepen werden achtergehouden.
  • In tegen tegenstelling tot de naïeve benadering, die imputatie van ontbrekende gegevens vereist om te kunnen functioneren, kunnen de RC- en ML-methoden PS-schattingen genereren voor scholen met achtergehouden gegevens met behulp van enkel de EB-voorspellingen en foutvariantieschattingen.
  • Matchen op ML-PS-schattingen bereikte de beste balans op de voorspelde werkelijke scores onder de drie methoden, met de laagste gemiddelde gestandaardiseerde verschillen.
  • Een placebo-test op 2019-scores voor subgroepen die niet in het PS-model werden gebruikt (Aziatische en Witte studenten) onthulde significante onbalansen voor Aziatische studenten over alle methoden heen, toegeschreven aan extreem kleine subgroepgroottes (een mediaan van 0 studenten in sommige gevallen), wat de grenzen van het balanceren wanneer data schaars is, benadrukt.

Betekenis en Claims
Het artikel beweert dat de voorgestelde methoden een praktische oplossing bieden voor het evalueren van interventies waarbij de toewijzing aan een behandeling wordt gedreven door ruisgevoelige, kleine steekproefgemiddelden. De primaire bijdragen zijn:

1. Adresseren van Differentieel Meetfout: De methoden houden expliciet rekening met het feit dat de meetfout de toewijzing aan de behandeling beïnvloedt, waarmee zij verder gaan dan de aanname van niet-differentieel fouten die vaak vereist is voor standaard regressiecalibratie.
2. Omgaan met Ontbrekende Gegevens: De benaderingen maken PS-schatting mogelijk voor scholen waar subgroepgemiddelden niet openbaar worden gemaakt, een veelvoorkomend probleem in onderwijsonderzoek, zonder dat toegang tot beperkte gegevens op studentniveau nodig is voor imputatie.
3. Verbeterde Positiviteit: Door de variabiliteit van de PS-schattingen te verminderen, verbeteren de methoden de overlap tussen interventie- en controlegroepen, waardoor de noodzaak om interventiescholen uit de analyse te sluiten wordt verminderd en daarmee de steekproefomvang en precisie behouden blijft.
4. Bias-Variantie Afruil: De ML-schatter biedt een overtuigende oplossing voor de afruil tussen confounder-bias en bias door positiviteitschendingen, wat preciezere effectschattingen oplevert in de aanwezigheid van significante meetfouten.

De auteurs merken op dat hoewel hun methoden verbetering bieden ten opzichte van het negeren van de meetfout, ze vertrouwen op de beschikbaarheid van externe schattingen van de meetfout (CSEMs) en aannemen dat de foutverdeling Gaussisch is (voor de ML-methode). Zij erkennen dat toekomstig werk nodig is om het gedrag van de ML-schatter te begrijpen wanneer verschillende subgroepen verschillende meetfoutverdelingen hebben.