Balancing Covariates in Survey Experiments

Riepilogo Tecnico: Bilanciamento delle Covariate negli Esperimenti da Sondaggio

Enunciazione del Problema
Gli esperimenti da sondaggio sono ampiamente considerati lo standard aureo per la stima degli effetti del trattamento nelle popolazioni target, combinando il campionamento casuale con l'assegnazione casuale del trattamento. Sebbene il campionamento casuale semplice e la randomizzazione completa bilancino le covariate in media, i campioni finiti spesso presentano uno squilibrio delle covariate. Questo squilibrio si verifica sia tra le unità campionate e la popolazione target (fase di campionamento) sia tra i gruppi di trattamento e di controllo (fase di assegnazione). Tali squilibri possono portare a un bias condizionale e a una maggiore variabilità nelle stime degli effetti del trattamento. Sebbene la stratificazione sia una tecnica standard per migliorare la rappresentatività e l'efficienza, e il campionamento rigettivo o la riassegnazione casuale siano utilizzati per bilanciare le covariate, la letteratura esistente non ha esplorato appieno la teoria asintotica basata sul disegno per la combinazione di questi metodi in un contesto generale di esperimento da sondaggio, in particolare quando si ammette un numero divergente di strati e frazioni di campionamento tendenti a zero.

Metodologia
Gli autori propongono un disegno sperimentale di Campionamento Rigettivo Stratificato e Riassegnazione Casuale Stratificata (SRSRR). Questo approccio a due stadi integra tre meccanismi distinti:

1. Stratificazione: La popolazione è suddivisa in strati in base a covariate predittive.
2. Campionamento Rigettivo Stratificato: Nella fase di campionamento, le unità sono estratte mediante campionamento casuale stratificato. Tuttavia, i campioni vengono rigettati se la distanza di Mahalanobis tra la media ponderata del campione delle covariate pre-campionamento ($W$) e la media della popolazione supera una soglia predefinita ($a_S$). Ciò garantisce che il campione sia rappresentativo della popolazione riguardo a $W$.
3. Riassegnazione Casuale Stratificata: Nella fase di assegnazione del trattamento, le unità campionate vengono assegnate al trattamento o al controllo mediante randomizzazione stratificata. Le assegnazioni vengono rigettate se la distanza di Mahalanobis tra le medie dei gruppi di trattamento e di controllo delle covariate della fase di assegnazione ($X$) supera una soglia ($a_T$).

Il documento sviluppa una teoria asintotica basata sul disegno per lo stimatore della differenza di medie stratificata ($\hat{\tau}$) sotto questo disegno. Il quadro teorico consente un regime asintotico generale in cui il numero di strati ($K_N$) e le dimensioni degli strati ($N_{[k]}$) possono divergere, e la frazione di campionamento ($f = n/N$) può tendere a zero. Gli autori impiegano una tecnica di accoppiamento di Hájek per ridurre lo stimatore a una somma di variabili casuali indipendenti, gestendo la casualità congiunta del campionamento e dell'assegnazione del trattamento.

Inoltre, gli autori propongono un metodo di aggiustamento delle covariate nella fase di analisi. Questo stimatore linearmente aggiustato ($\hat{\tau}_{adj}$) utilizza covariate aggiuntive raccolte nella fase di analisi ($E$ per la popolazione e $C$ per il campione) per ridurre ulteriormente lo squilibrio residuo.

Contributi Chiave

1. Teoria Asintotica Basata sul Disegno per la Randomizzazione Stratificata: Il documento stabilisce che, sotto campionamento casuale stratificato e assegnazione, lo stimatore della differenza di medie stratificata è consistente e asintoticamente normale. Ne deriva la varianza asintotica e fornisce le condizioni per proporzioni ottimali di campionamento e trattamento specifiche per strato al fine di minimizzare tale varianza.
2. Teoria Asintotica per SRSRR: Gli autori derivano la distribuzione limite di $\hat{\tau}$ sotto il disegno SRSRR. A differenza dei disegni standard, questa distribuzione limite non è normale; è dimostrata essere una convoluzione di una distribuzione normale e di due distribuzioni normali troncate. Questa distribuzione è più concentrata attorno al vero effetto medio del trattamento rispetto a quella dei disegni stratificati standard.
3. Parametri di Disegno Ottimali: Il documento fornisce risultati teorici per determinare le proporzioni di campionamento specifiche per strato ($f_{[k]}$) e le proporzioni di trattamento ($e_{[k]1}$) ottimali per minimizzare la varianza asintotica, sia con che senza aggiustamento delle covariate.
4. Aggiustamento delle Covariate: Lo studio dimostra che uno stimatore linearmente aggiustato che utilizza covariate della fase di analisi è asintoticamente più efficiente dello stimatore non aggiustato sotto entrambi i disegni stratificati standard e SRSRR. Fornisce stimatori di varianza conservativi e intervalli di confidenza validi per questi stimatori aggiustati.

Risultati

• Risultati Teorici:
  • La varianza asintotica dello stimatore SRSRR è strettamente inferiore a quella dell'esperimento da sondaggio randomizzato stratificato (SRSE), con la riduzione che dipende dalle correlazioni multiple al quadrato tra lo stimatore dell'effetto del trattamento e gli squilibri delle covariate ($R^2_W$ e $R^2_X$).
  • La distribuzione limite di $\sqrt{n}(\hat{\tau} - \tau)$ sotto SRSRR è una convoluzione di una variabile normale e di due variabili normali troncate, che sono più concentrate a zero rispetto alle corrispondenti variabili normali.
  • Lo stimatore aggiustato per le covariate proposto ($\hat{\tau}_{adj}$) raggiunge la varianza asintotica più piccola tra la classe degli stimatori linearmente aggiustati.
• Studi Numerici:
  • Simulazioni in vari scenari (strati piccoli, strati grandi e misti) confermano che SRSRR riduce significativamente la deviazione standard e l'errore quadratico medio (RMSE) rispetto ai disegni completamente randomizzati e stratificati standard.
  • Negli esperimenti con dati sintetici, la combinazione di stratificazione, campionamento rigettivo e riassegnazione casuale ha ridotto la deviazione standard di circa il 30,6% rispetto a una baseline completamente randomizzata.
  • L'aggiustamento tramite regressione ha fornito ulteriori guadagni di efficienza, riducendo le deviazioni standard dal 21% al 49% rispetto agli stimatori non aggiustati.
  • L'analisi su dati reali utilizzando il Cooperative Congressional Election Study (CCES) ha corroborato questi risultati, mostrando che SRSRR e l'aggiustamento delle covariate portano a intervalli di confidenza più brevi e a un'efficienza migliorata rispetto agli approcci non stratificati o non aggiustati.

Significato
Il documento afferma che il disegno SRSRR proposto e i relativi metodi di analisi offrono un quadro robusto per migliorare la precisione delle stime degli effetti del trattamento negli esperimenti da sondaggio. Affrontando esplicitamente lo squilibrio delle covariate sia nella fase di campionamento che in quella di assegnazione, il metodo migliora la rappresentatività del campione e l'equilibrio tra i gruppi di trattamento. Lo sviluppo di una teoria asintotica basata sul disegno che accomoda strati divergenti e frazioni di campionamento tendenti a zero estende l'applicabilità di questi metodi a un'ampia gamma di contesti pratici di sondaggi. Gli autori sottolineano che il loro approccio è puramente basato sul disegno, il che significa che la validità delle stime e delle procedure di inferenza non dipende dalla corretta specificazione di un modello sottostante dei risultati. Il flusso di lavoro proposto a stadi – stratificazione, seguita da campionamento rigettivo e riassegnazione casuale, e infine aggiustamento tramite regressione – è presentato come una strategia pratica per massimizzare l'efficienza di stima.