Balancing Covariates in Survey Experiments

Resumen Técnico: Equilibrio de Covariables en Experimentos de Encuesta

Planteamiento del Problema
Los experimentos de encuesta son ampliamente considerados el estándar de oro para estimar los efectos del tratamiento en poblaciones objetivo, combinando el muestreo aleatorio con la asignación aleatoria del tratamiento. Aunque el muestreo aleatorio simple y la aleatorización completa equilibran las covariables en promedio, las muestras finitas a menudo exhiben desequilibrio de covariables. Este desequilibrio ocurre tanto entre las unidades muestreadas y la población objetivo (etapa de muestreo) como entre los grupos de tratamiento y control (etapa de asignación). Tales desequilibrios pueden conducir a un sesgo condicional y a una mayor variabilidad en las estimaciones del efecto del tratamiento. Si bien la estratificación es una técnica estándar para mejorar la representatividad y la eficiencia, y el muestreo de rechazo o la reasignación aleatoria se utilizan para equilibrar las covariables, la literatura existente no ha explorado completamente la teoría asintótica basada en el diseño para combinar estos métodos en un contexto general de experimento de encuesta, particularmente al permitir un número divergente de estratos y fracciones de muestreo que tienden a cero.

Metodología
Los autores proponen un diseño experimental de Muestreo de Rechazo Estratificado y Reasignación Aleatoria (SRSRR). Este enfoque de dos etapas integra tres mecanismos distintos:

1. Estratificación: La población se divide en estratos basados en covariables predictivas.
2. Muestreo de Rechazo Estratificado: En la etapa de muestreo, las unidades se extraen mediante muestreo aleatorio estratificado. Sin embargo, las muestras se rechazan si la distancia de Mahalanobis entre la media ponderada de la muestra de las covariables previas al muestreo ($W$) y la media poblacional supera un umbral preespecificado ($a_S$). Esto asegura que la muestra sea representativa de la población con respecto a $W$.
3. Reasignación Aleatoria Estratificada: En la etapa de asignación del tratamiento, las unidades muestreadas se asignan al tratamiento o al control mediante aleatorización estratificada. Las asignaciones se rechazan si la distancia de Mahalanobis entre las medias de los grupos de tratamiento y control de las covariables de la etapa de asignación ($X$) supera un umbral ($a_T$).

El artículo desarrolla una teoría asintótica basada en el diseño para el estimador de diferencia de medias estratificado ($\hat{\tau}$) bajo este diseño. El marco permite un régimen asintótico general donde el número de estratos ($K_N$) y los tamaños de los estratos ($N_{[k]}$) pueden divergir, y la fracción de muestreo ($f = n/N$) puede tender a cero. Los autores emplean una técnica de acoplamiento de Hájek para reducir el estimador a una suma de variables aleatorias independientes, manejando la aleatoriedad conjunta del muestreo y la asignación del tratamiento.

Además, los autores proponen un método de ajuste de covariables en la etapa de análisis. Este estimador ajustado linealmente ($\hat{\tau}_{adj}$) utiliza covariables adicionales recopiladas en la etapa de análisis ($E$ para la población y $C$ para la muestra) para reducir aún más el desequilibrio residual.

Contribuciones Clave

1. Teoría Asintótica Basada en el Diseño para la Aleatorización Estratificada: El artículo establece que, bajo muestreo aleatorio estratificado y asignación, el estimador de diferencia de medias estratificado es consistente y asintóticamente normal. Deriva la varianza asintótica y proporciona condiciones para las proporciones óptimas de muestreo y tratamiento específicas de cada estrato para minimizar esta varianza.
2. Teoría Asintótica para SRSRR: Los autores derivan la distribución límite de $\hat{\tau}$ bajo el diseño SRSRR. A diferencia de los diseños estándar, esta distribución límite no es normal; se demuestra que es una convolución de una distribución normal y dos distribuciones normales truncadas. Esta distribución está más concentrada alrededor del verdadero efecto promedio del tratamiento que la de los diseños estratificados estándar.
3. Parámetros de Diseño Óptimos: El artículo proporciona resultados teóricos para determinar las proporciones óptimas de muestreo específicas de cada estrato ($f_{[k]}$) y las proporciones de tratamiento ($e_{[k]1}$) para minimizar la varianza asintótica, tanto con como sin ajuste de covariables.
4. Ajuste de Covariables: El estudio demuestra que un estimador ajustado linealmente utilizando covariables de la etapa de análisis es asintóticamente más eficiente que el estimador no ajustado bajo diseños estratificados estándar y SRSRR. Proporciona estimadores de varianza conservadores e intervalos de confianza válidos para estos estimadores ajustados.

Resultados

• Hallazgos Teóricos:
  • La varianza asintótica del estimador SRSRR es estrictamente menor que la del experimento de encuesta aleatorizado estratificado (SRSE), siendo la reducción dependiente de las correlaciones múltiples al cuadrado entre el estimador del efecto del tratamiento y los desequilibrios de covariables ($R^2_W$ y $R^2_X$).
  • La distribución límite de $\sqrt{n}(\hat{\tau} - \tau)$ bajo SRSRR es una convolución de una variable normal y dos variables normales truncadas, las cuales están más concentradas en cero que las variables normales correspondientes.
  • El estimador ajustado por covariables propuesto ($\hat{\tau}_{adj}$) alcanza la menor varianza asintótica dentro de la clase de estimadores ajustados linealmente.
• Estudios Numéricos:
  • Las simulaciones en diversos escenarios (estratos pequeños, estratos grandes y mixtos) confirman que SRSRR reduce significativamente la desviación estándar y el error cuadrático medio (RMSE) en comparación con diseños completamente aleatorizados y estratificados estándar.
  • En experimentos con datos sintéticos, la combinación de estratificación, muestreo de rechazo y reasignación aleatoria redujo la desviación estándar en aproximadamente un 30,6% en relación con una línea base completamente aleatorizada.
  • El ajuste de regresión proporcionó ganancias adicionales de eficiencia, reduciendo las desviaciones estándar entre un 21% y un 49% en relación con los estimadores no ajustados.
  • El análisis con datos reales utilizando el Estudio Electoral Cooperativo del Congreso (CCES) corroboró estos hallazgos, mostrando que SRSRR y el ajuste de covariables conducen a intervalos de confianza más cortos y a una eficiencia mejorada en comparación con enfoques no estratificados o no ajustados.

Significado
El artículo afirma que el diseño SRSRR propuesto y los métodos de análisis asociados ofrecen un marco robusto para mejorar la precisión de las estimaciones del efecto del tratamiento en experimentos de encuesta. Al abordar explícitamente el desequilibrio de covariables en las etapas de muestreo y asignación, el método mejora la representatividad de la muestra y el equilibrio entre los grupos de tratamiento. El desarrollo de una teoría asintótica basada en el diseño que acomoda estratos divergentes y fracciones de muestreo que tienden a cero extiende la aplicabilidad de estos métodos a una amplia gama de contextos prácticos de encuestas. Los autores enfatizan que su enfoque es puramente basado en el diseño, lo que significa que la validez de las estimaciones y los procedimientos de inferencia no depende de la especificación correcta de un modelo subyacente de resultados. El flujo de trabajo por etapas propuesto —estratificación, seguido de muestreo de rechazo y reasignación aleatoria, y finalmente ajuste de regresión— se presenta como una estrategia práctica para maximizar la eficiencia de la estimación.