Propensity score adjustment when errors in achievement measures inform treatment assignment

Sintesi Tecnica: Regolazione del Propensity Score quando gli errori nelle misure di rendimento informano l'assegnazione del trattamento

Problematica
Il documento affronta una sfida specifica nella valutazione di interventi a livello scolastico, come l'iniziativa Texas Additional Days School Year (ADSY), in cui l'assegnazione del trattamento è guidata dai gap di rendimento nei sottogruppi demografici. In molte scuole, questi sottogruppi (ad esempio, specifici gruppi razziali/etnici) sono piccoli, portando a punteggi di test di fine anno che sono misurazioni rumorose dei "veri" punteggi medi degli studenti.

Secondo la teoria classica dei test, un punteggio ottenuto ($W$) è la somma di un punteggio vero ($X$) e di un errore casuale ($\epsilon$). Sebbene il meccanismo di assegnazione dell'intervento ($T$) sia determinato dai punteggi ottenuti ($W$), gli autori sostengono che, per una valida inferenza causale, il propensity score (PS) dovrebbe idealmente bilanciare le scuole sui veri punteggi non osservati ($X$). La stima standard del propensity score utilizzando i punteggi ottenuti rumorosi ($W$) fallisce nel bilanciare i veri punteggi ($X$) quando l'errore di misura è "differenziale" — ovvero, quando $W$ e $T$ non sono condizionalmente indipendenti dato $X$. Ciò accade perché il meccanismo di assegnazione risponde esplicitamente al $W$ rumoroso, non solo all' sottostante $X$. Inoltre, le soglie di rendicontazione pubblica limitano la pubblicazione delle medie dei sottogruppi per gruppi molto piccoli, creando problemi di dati mancanti che impediscono la stima standard del PS per quelle scuole.

Metodologia
Gli autori propongono due metodi per stimare i propensity score che bilancino sui veri punteggi medi dei sottogruppi ($X$) piuttosto che sui punteggi ottenuti ($W$), utilizzando stime esterne della varianza dell'errore di misura (Errori Standard di Misura Condizionali, o CSEM) forniti dalle agenzie per l'istruzione statali.

1. Propensity Score per Calibrazione di Regressione (RC):

   • Questo approccio sostituisce i punteggi ottenuti soggetti a errori ($W$) nel modello PS con le predizioni di Bayes Empirico (EB) dei veri punteggi ($\hat{X}$).
   • Le predizioni EB sono derivate da un Modello Lineare Gerarchico (HLM) a due livelli che tiene conto della variabilità tra le scuole e tra i sottogruppi all'interno delle scuole.
   • La stima esterna della varianza dell'errore di misura ($\Sigma_i$), derivata dai CSEM, è cruciale per identificare gli effetti casuali nell'HLM.
   • Il modello PS è quindi una regressione logistica dell'assegnazione del trattamento sui punteggi veri predetti ($\hat{X}$) e su altre covariate prive di errore ($Z$).

2. Propensity Score per Massima Verosimiglianza (ML):

   • Questo approccio modella congiuntamente l'assegnazione del trattamento ($T$) e i punteggi ottenuti ($W$) condizionatamente ai veri punteggi ($X$) e alle covariate prive di errore ($Z$).
   • Assume che $W$ catturi tutti gli effetti di $X$ su $T$ (ovvero, $T \perp W | X, Z$), riconoscendo che $W$ agisce come un "debole surrogato".
   • Il target del propensity score, $e(X, Z)$, si ottiene integrando $W$ nella distribuzione congiunta di $T$ e $W$.
   • Poiché l'integrale risultante (un integrale logit-normale) è analiticamente intrattabile, gli autori impiegano un'approssimazione rapida basata su Monahan e Stefanski (1992), rappresentando l'integrale come una miscela di posizione-scala di funzioni di distribuzione normale.
   • Questo metodo fornisce stime del PS che condizionano solo su $X$ e $Z$, marginalizzando efficacemente il rumore.

Risultati Chiave
Gli autori hanno valutato questi metodi attraverso studi di simulazione e un'applicazione all'iniziativa Texas ADSY.

• Studio di Simulazione:

  • Overlap e Matching: I metodi ML e RC hanno migliorato significativamente la sovrapposenza (overlap) tra i gruppi di intervento e di controllo rispetto a un approccio "naïve" (regressione logistica standard su $W$). In scenari con piccoli sottogruppi soggetti a elevato errore di misura, l'approccio naïve ha escluso fino al 21% delle scuole di intervento dall'analisi a causa di violazioni di positività (mancanza di match), mentre l'approccio ML ne ha esclusi solo il 2%.
  • Bilanciamento: Il matching sulle stime ML e RC ha prodotto un migliore bilanciamento sui veri punteggi dei sottogruppi ($X$) rispetto al matching sulle stime naïve.
  • Errore di Stima: Le stime dell'effetto risultanti (Average Treatment Effect on the Treated) hanno presentato un Root Mean Squared Error (RMSE) inferiore quando sono stati utilizzati i PS stimati tramite ML o RC. L'estimatore ML, in particolare, ha mostrato un favorevole compromesso: sebbene abbia esibito un bias leggermente superiore in specifici scenari di eterogeneità dell'errore, ha dimostrato una varianza sostanzialmente inferiore, portando a un RMSE complessivo superiore.

• Applicazione al Texas ADSY:

  • I metodi sono stati applicati a dati scolastici pubblici in cui le medie dei sottogruppi per i gruppi piccoli sono state trattenute.
  • A differenza dell'approccio naïve, che richiede l'imputazione dei dati mancanti per funzionare, i metodi RC e ML possono generare stime del PS per le scuole con dati trattenuti utilizzando solo le predizioni EB e le stime della varianza dell'errore.
  • Il matching sulle stime PS di ML ha ottenuto il miglior bilanciamento sui punteggi veri predetti tra i tre metodi, con le più basse differenze standardizzate medie.
  • Un test placebo sui punteggi del 2019 per i sottogruppi non utilizzati nel modello PS (studenti asiatici e bianchi) ha rivelato squilibri significativi per gli studenti asiatici in tutti i metodi, attribuiti a dimensioni dei sottogruppi estremamente piccole (mediana di 0 studenti in alcuni casi), evidenziando i limiti del bilanciamento quando i dati sono scarsi.

Significatività e Rivendicazioni
L'articolo sostiene che i metodi proposti offrono una soluzione pratica per valutare interventi in cui l'assegnazione del trattamento è guidata da misure di rendimento rumorose e con campioni piccoli. I principali contributi sono:

1. Affrontare l'Errore di Misura Differenziale: I metodi tengono esplicitamente conto del fatto che l'errore di misura influenza l'assegnazione del trattamento, andando oltre l'assunzione di errore non differenziale spesso richiesta dalla calibrazione di regressione standard.
2. Gestire i Dati Mancanti: Gli approcci consentono la stima del PS in scuole in cui le medie dei sottogruppi sono trattenute dai dati pubblici, un problema comune nella ricerca educativa, senza richiedere l'accesso a dati a livello di singolo studente per l'imputazione.
3. Miglioramento della Positività: Riducendo la variabilità delle stime del PS, i metodi migliorano la sovrapposenza tra i gruppi di trattamento e di controllo, riducendo la necessità di escludere le scuole di intervento dall'analisi e preservando così la dimensione del campione e la precisione.
4. Compromesso Bias-Varianza: L'estimatore ML offre una soluzione convincente al compromesso tra il bias del confonditore e il bias derivante dalle violazioni di positività, fornendo stime dell'effetto più precise in presenza di significativo errore di misura.

Gli autori osservano che, sebbene i loro metodi migliorino rispetto all'ignorare l'errore di misura, essi dipendono dalla disponibilità di stime esterne dell'errore di misura (CSEM) e assumono che la distribuzione dell'errore sia Gaussiana (per il metodo ML). Riconoscono che sono necessari ulteriori lavori per comprendere il comportamento dell'estimatore ML quando diversi sottogruppi presentano distribuzioni di errore di misura differenti.