Propensity score adjustment when errors in achievement measures inform treatment assignment

Resumen Técnico: Ajuste por Puntaje de Propensión cuando los Errores en las Medidas de Logro Informan la Asignación del Tratamiento

Planteamiento del Problema
El artículo aborda un desafío específico en la evaluación de intervenciones a nivel escolar, como la iniciativa de Años Escolares de Días Adicionales (ADSY, por sus siglas en inglés) de Texas, donde la asignación del tratamiento es impulsada por brechas de logro en subgrupos demográficos. En muchas escuelas, estos subgrupos (por ejemplo, grupos raciales/étnicos específicos) son pequeños, lo que genera puntuaciones de exámenes de fin de año que son mediciones ruidosas de los promedios "reales" de los estudiantes.

Bajo la teoría clásica de los tests, una puntuación obtenida ($W$) es la suma de una puntuación verdadera ($X$) y un error aleatorio ($\epsilon$). Aunque el mecanismo de asignación de la intervención ($T$) está determinado por las puntuaciones obtenidas ($W$), los autores argumentan que, para una inferencia causal válida, el puntaje de propensión (PS) debería idealmente equilibrar a las escuelas en las puntuaciones verdaderas no observadas ($X$). La estimación estándar del puntaje de propensión utilizando las puntuaciones ruidosas obtenidas ($W$) falla al equilibrar las puntuaciones verdaderas ($X$) cuando el error de medición es "diferencial"; es decir, cuando $W$ y $T$ no son condicionalmente independientes dado $X$. Esto ocurre porque el mecanismo de asignación responde explícitamente a la $W$ ruidosa, no solo a la $X$ subyacente. Además, los umbrales de reporte público retienen los promedios de subgrupos para grupos muy pequeños, lo que crea problemas de datos faltantes que impiden la estimación estándar del PS para esas escuelas.

Metodología
Los autores proponen dos métodos para estimar puntajes de propensión que equilibren las puntuaciones verdaderas promedio de los subgrupos ($X$) en lugar de las puntuaciones obtenidas ($W$), utilizando estimaciones externas de la varianza del error de medición (Errores Estándar de Medición Condicionales, o CSEMs) proporcionadas por las agencias de educación estatales.

1. Propensity Score por Calibración de Regresión (RC):

   • Este enfoque reemplaza las puntuaciones obtenidas con error ($W$) en el modelo de PS con predicciones de Bayes Empírico (EB) de las puntucciones verdaderas ($\hat{X}$).
   • Las predicciones EB se derivan de un Modelo Lineal Jerárquico (HLM) de dos niveles que contabiliza la variabilidad entre escuelas y entre subgrupos dentro de las escuelas.
   • La estimación externa de la varianza del error de medición ($\Sigma_i$), derivada de los CSEMs, es crucial para identificar los efectos aleatorios en el HLM.
   • El modelo de PS es entonces una regresión logística de la asignación del tratamiento sobre las puntuaciones verdaderas predichas ($\hat{X}$) y otras covariables libres de error ($Z$).

2. Propensity Score por Máxima Verosimilitud (ML):

   • Este enfoque modela conjuntamente la asignación del tratamiento ($T$) y las puntuaciones obtenidas ($W$) condicionales a las puntuaciones verdaderas ($X$) y las covariables libres de error ($Z$).
   • Asume que $W$ captura todos los efectos de $X$ sobre $T$ (es decir, $T \perp W | X, Z$), reconociendo que $W$ actúa como un "sustituto débil".
   • El puntaje de propensión objetivo, $e(X, Z)$, se obtiene integrando $W$ fuera de la distribución conjunta de $T$ y $W$.
   • Dado que la integral resultante (una integral logístico-normal) es analíticamente intratable, los autores emplean una aproximación rápida basada en Monahan y Stefanski (1992), representando la integral como una mezcla de localización y escala de funciones de distribución normal.
   • Este método genera estimaciones de PS que condicionan solo en $X$ y $Z$, efectivamente marginalizando el ruido.

Resultados Clave
Los autores evaluaron estos métodos a través de estudios de simulación y una aplicación a la iniciativa ADSY de Texas.

• Estudio de Simulación:

  • Solapamiento y Emparejamiento: Los métodos ML y RC mejoraron significativamente el solapamiento entre los grupos de intervención y control en comparación con un enfoque "naíf" (regresión logística estándar sobre $W$). En escenarios con subgrupos pequeños propensos a un alto error de medición, el enfoque naíf excluyó hasta el 21% de las escuelas de intervención debido a la falta de emparejamientos (violaciones de positividad), mientras que el enfoque ML excluyó solo el 2%.
  • Balance: El emparejamiento con estimaciones de ML y RC resultó en un mejor balance en las puntuaciones verdaderas de los subgrupos ($X$) que el emparejamiento con estimaciones naíf.
  • Error de Estimación: Los estimadores de efecto resultantes (Efecto del Tratamiento Promedio sobre los Tratados) tuvieron un Error Cuadrático Medio (RMSE) más bajo cuando se utilizaron estimaciones de PS de ML o RC. El estimador de ML, en particular, mostró un intercambio favorable: aunque exhibió un sesgo ligeramente mayor en escenarios específicos de error heterogéneo, demostró una varianza sustancialmente menor, lo que condujo a un RMSE superior en general.

• Aplicación a ADSY de Texas:

  • Los métodos se aplicaron a datos de escuelas públicas donde los promedios de subgrupos para grupos pequeños fueron retenidos.
  • A diferencia del enfoque naíf, que requiere la imputación de datos faltantes para funcionar, los métodos RC y ML pueden generar estimaciones de PS para escuelas con datos retenidos utilizando solo las predicciones EB y las estimaciones de la varianza del error.
  • El emparejamiento con estimaciones de PS de ML logró el mejor balance en las puntuaciones verdaderas predichas entre los tres métodos, con las diferencias estandarizadas promedio más bajas.
  • Una prueba de placebo en las puntuaciones de 2019 para subgrupos no utilizados en el modelo de PS (estudiantes asiáticos y blancos) reveló desequilibrios significativos para los estudiantes asiáticos en todos los métodos, atribuidos a tamaños de subgrupo extremadamente pequeños (mediana de 0 estudiantes en algunos casos), lo que resalta los límites del balance cuando los datos son escasos.

Significancia y Reivindicaciones
El artículo afirma que sus métodos propuestos ofrecen una solución práctica para evaluar intervenciones donde la asignación del tratamiento es impulsada por medidas de logro ruidosas y de muestra pequeña. Las contribuciones primarias son:

1. Abordar el Error de Medición Diferencial: Los métodos contabilizan explícamente el hecho de que el error de medición influye en la asignación del tratamiento, yendo más allá de la suposición de error no diferencial que a menudo se requiere para la calibración de regresión estándar.
2. Manejo de Datos Faltantes: Los enfoques permiten la estimación del PS en escuelas donde los promedios de subgrupos son retenidos de los datos públicos, un problema común en la investigación educativa, sin requerir el acceso a datos restringidos a nivel de estudiante para la imputación.
3. Mejora de la Positividad: Al reducir la variabilidad de las estimaciones de PS, los métodos mejoran el solapamiento entre los grupos de tratamiento y control, reduciendo la necesidad de excluir escuelas de intervención para el análisis y preservando así el tamaño de la muestra y la precisión.
4. Intercambio Sesgo-Varianza: El estimador de ML ofrece una solución convincente al intercambio entre el sesgo de los confundidores y el sesgo de las violaciones de positividad, proporcionando estimaciones de efecto más precisas en presencia de un error de medición significativo.

Los autores señalan que, si bien sus métodos mejoran respecto a ignorar el error de medición, dependen de la disponibilidad de estimaciones externas de error de medición (CSEMs) y asumen que la distribución del error es gaussiana (para el método ML). Reconocen que se necesita trabajo futuro para comprender el comportamiento del estimador de ML cuando diferentes subgrupos tienen distribuciones de error de medición distintas.