Multilevel Regression Discontinuity Models with Latent Variables

1. Planteamiento del Problema

La investigación aborda las limitaciones de dos enfoques estadísticos comunes en la investigación educativa:

• Diseño de Discontinuidad Regresiva (RD): Aunque permite inferencias causales sin aleatorización, el RD tradicional asume que la variable de asignación (RV) se mide sin error. En la práctica educativa, las RV suelen ser puntuaciones de pruebas observadas que actúan como proxies ruidosos de constructos latentes subyacentes (ej. logro académico real).
• Estructura Jerárquica de los Datos: Los datos educativos suelen tener una estructura multinivel (estudiantes anidados en aulas, aulas en escuelas). Los modelos RD estándar ignoran esta dependencia, violando supuestos de independencia y generando estimaciones sesgadas.
• Limitación del Marco Existente: Un marco previo (Morell et al., 2025) integró variables latentes (LV) en el RD, permitiendo extrapolar efectos más allá del punto de corte y medir efectos heterogéneos. Sin embargo, este marco era de nivel único y no podía manejar la anidación de datos.

Objetivo: Extender el marco de RD con variables latentes a contextos multinivel para abordar simultáneamente el error de medición en la variable de asignación y la estructura jerárquica de los datos.

2. Metodología

Los autores proponen dos modelos específicos de Discontinuidad Regresiva Multinivel con Variables Latentes (MLRD), integrando un modelo de medición (psicométrico) con un modelo estructural (de regresión):

A. Modelo de Medición

• Se asume que la variable de asignación observada ($X$) es un indicador ruidoso de una Variable de Asignación Latente (LRV, $\theta$).
• Se utiliza un modelo de 2 Parámetros Logístico (2PL) de la Teoría de Respuesta al Ítem (IRT) para modelar la relación entre los ítems observados y la LRV.
• La LRV se descompone en dos niveles:
  • Nivel 2 (Grupo/Cluster): $\theta_j$ (distribución normal).
  • Nivel 1 (Individuo): $\delta_{ij}$ (desviación individual alrededor del promedio del grupo).

B. Diseños Estructurales Propuestos

El paper distingue dos escenarios de asignación de tratamiento:

1. Diseño de RD Jerárquico (HRD):

   • Asignación: A nivel de grupo (ej. toda la escuela recibe el tratamiento si su promedio de puntaje está por debajo del corte).
   • Especificación: Tratamiento $T_j$ es constante para todos los individuos $i$ dentro del grupo $j$.
   • Modelo: Intercepto aleatorio. El efecto del tratamiento y la interacción con la LRV se modelan a nivel de grupo.

2. Diseño de RD Multisitio (MRD):

   • Asignación: A nivel individual dentro de grupos (ej. estudiantes seleccionados por su puntuación individual, pero anidados en escuelas).
   • Especificación: Tratamiento $T_{ij}$ varía dentro del grupo.
   • Modelo: Intercepto aleatorio y pendiente aleatoria para el efecto del tratamiento, permitiendo que el impacto del tratamiento varíe entre grupos.

C. Algoritmo de Estimación

• Se emplea el algoritmo MH-RM (Metropolis-Hastings Robbins-Monro).
• Ventaja: Es un método de aproximación estocástica que evita la integración numérica de alta dimensión, haciéndolo computacionalmente eficiente para modelos con múltiples variables latentes y efectos aleatorios.
• Proceso: Implica imputación estocástica de los datos faltantes (las variables latentes y efectos aleatorios), aproximación estocástica del gradiente y actualización de parámetros.

3. Contribuciones Clave

1. Extrapolación del Efecto Promedio del Tratamiento (ATE):

   • En el RD tradicional, el efecto causal solo se identifica en el punto de corte.
   • Gracias al modelo de medición, el MLRD permite estimar el ATE condicional a la LRV en cualquier valor de la variable observada, no solo en el corte. Esto se justifica porque, debido al error de medición, existe una probabilidad positiva de que un individuo con una LRV dada haya sido asignado a tratamiento o control.

2. Cuantificación de la Heterogeneidad del Tratamiento:

   • El modelo permite calcular la varianza y cuantiles del ATE para individuos con la misma puntuación observada.
   • Esto revela la variabilidad del efecto del tratamiento dentro de grupos con puntuaciones similares, algo imposible de detectar en modelos RD estándar que asumen un efecto homogéneo local.

3. Unificación de Marcos:

   • Integra formalmente la teoría de la respuesta al ítem (medición) con modelos multinivel de regresión discontinua, ofreciendo un marco unificado para datos educativos complejos.

4. Resultados del Estudio de Simulación

Se realizó un estudio de simulación de Monte Carlo variando el tamaño de la muestra a nivel de grupo ($J = 100, 300, 500$) y el tamaño del efecto.

• Recuperación de Parámetros:
  • La recuperación de los parámetros estructurales y de medición fue precisa, mejorando a medida que aumentaba el número de grupos ($J$).
  • El modelo MRD mostró una recuperación ligeramente mejor que el HRD, probablemente debido a que la asignación individual aporta más información para ciertos parámetros.
• Estimación del ATE:
  • Sesgo: El sesgo en la estimación del ATE fue mínimo en todas las condiciones.
  • Error Cuadrático Medio (RMSE): El RMSE aumentó a medida que la puntuación observada se alejaba del punto de corte, lo cual es esperado debido a la menor densidad de datos en esas regiones, pero permaneció dentro de rangos aceptables.
  • Cobertura: Las tasas de cobertura de los intervalos de confianza del 95% fueron adecuadas (cercanas al nivel nominal) cuando el número de grupos era suficiente (especialmente con $J=500$).
• Conclusión de la Simulación: El modelo recupera correctamente los efectos del tratamiento, incluso en puntos alejados del corte, siempre que se disponga de un tamaño de muestra a nivel de grupo adecuado.

5. Significado e Implicaciones

• Para la Investigación Educativa: Proporciona una herramienta robusta para evaluar intervenciones donde la elegibilidad se basa en pruebas estandarizadas (que son medidas imperfectas) y los datos tienen estructura jerárquica.
• Toma de Decisiones: Permite a los responsables políticos y educadores evaluar la eficacia de un programa no solo en el umbral de elegibilidad, sino en un rango más amplio de puntuaciones, facilitando decisiones sobre ajustes en los criterios de corte.
• Rigor Estadístico: Corrige el sesgo que surgiría al ignorar el error de medición en la variable de asignación y la correlación intraclase, ofreciendo inferencias causales más válidas.
• Futuras Direcciones: Los autores sugieren que el modelo puede extenderse para incluir covariables latentes, estructuras multidimensionales y criterios de asignación múltiples, aunque esto requiere investigación adicional.

En resumen, este trabajo representa un avance metodológico significativo al resolver la tensión entre la necesidad de modelos complejos para datos educativos reales y la precisión requerida para inferencias causales válidas en diseños de discontinuidad.