Transporting Predictions via Double Machine Learning: Predicting Partially Unobserved Students' Outcomes

Título: Transporte de Predicciones mediante Aprendizaje Automático Doble: Predicción de Resultados de Estudiantes Parcialmente No Observados

1. Planteamiento del Problema

Los responsables políticos en educación a menudo carecen de datos sobre los resultados de los estudiantes (como puntuaciones en pruebas estandarizadas) en poblaciones objetivo donde dichas pruebas no se administraron. Una solución común es utilizar datos de una población fuente (donde los datos existen) para entrenar modelos de aprendizaje automático y predecir resultados en la población objetivo.

Sin embargo, este enfoque enfrenta un desafío crítico: el desplazamiento de covariables (covariate shift). Esto ocurre cuando las distribuciones de las variables predictoras (covariables) difieren entre la población fuente y la objetivo, aunque la distribución condicional del resultado dado las covariables sea intercambiable. Si no se corrige, esta diferencia puede reducir la precisión predictiva e introducir sesgos, ya que el modelo podría depender de extrapolaciones en regiones del espacio de predictores donde no hay superposición (overlap) entre las poblaciones.

2. Metodología: Aprendizaje Automático Doble (Double Machine Learning - DML)

Los autores proponen un marco basado en Aprendizaje Automático Doble para transportar predicciones, combinando la estimación de puntuaciones de superposición con modelos de predicción ponderados. El proceso se divide en dos etapas:

• Etapa 1: Estimación de Puntuaciones de Superposición (Overlap Scores).
  Se estima la probabilidad de que una observación pertenezca a la población fuente ($S=1$) dado un conjunto de covariables $X$, denotado como $P(S=1|X)$. Esto se realiza utilizando modelos de clasificación flexibles (como regresión logística o árboles de clasificación).
• Etapa 2: Ponderación y Predicción.
  Se calculan pesos de equilibrio (balancing weights) como la razón de densidades inversa:
  $$\omega_i = \frac{P(S=0|X_i)}{P(S=1|X_i)}$$
  Estos pesos se utilizan para reponderar las observaciones de la población fuente en la función de pérdida del modelo predictivo. Las observaciones de la fuente que son similares a la población objetivo reciben mayor peso, mientras que aquellas con poca superposición se penalizan.

Implementación con BART:
El estudio implementa este marco utilizando Árboles de Regresión Aditivos Bayesianos (BART).

• Ventajas de BART: Permite una cuantificación de la incertidumbre rigurosa a través de distribuciones predictivas posteriores y facilita la detección de valores atípicos.
• Mecanismo de Ponderación: En el contexto bayesiano con una verosimilitud gaussiana, ponderar una observación $i$ con $\omega_i$ es equivalente a escalar su varianza: $\sigma^2_i = \sigma^2 / \omega_i$.

Detección de Valores Atípicos:
El método permite identificar estudiantes con puntuaciones predichas extremas (fuera de los intervalos de credibilidad del 95%) para focalizar intervenciones en grupos vulnerables.

3. Contribuciones Clave

1. Marco Metodológico Nuevo: Introduce una aplicación de DML para el transporte de predicciones en ciencias sociales, específicamente adaptando el enfoque de Steingrimsson et al. (2023) para modelos bayesianos.
2. Primera Aplicación en Alfabetización Financiera: Es el primer estudio que utiliza aprendizaje automático supervisado para predecir puntuaciones de alfabetización financiera (FLS) en estudiantes.
3. Análisis de Robustez: Evalúa empíricamente cuándo la corrección por desplazamiento de covariables es beneficiosa y cuándo puede ser contraproducente, aportando evidencia sobre la compensación entre sesgo y varianza.
4. Identificación de Subpoblaciones: Proporciona un método para detectar perfiles de estudiantes en riesgo de bajo rendimiento en regiones sin datos observados, utilizando árboles de inferencia condicional para interpretar los drivers de la heterogeneidad.

4. Resultados

A. Simulaciones (Estudio de Monte Carlo):

• Se probaron tres escenarios con diferentes grados de superposición entre poblaciones.
• Hallazgo: Cuando el desplazamiento de covariables es pronunciado (baja superposición), el modelo ponderado supera al modelo no ponderado. Sin embargo, cuando el desplazamiento es mínimo o moderado, la introducción de ruido por la ponderación degrada el rendimiento, haciendo que el modelo no ponderado sea superior.

B. Aplicación Empírica (Datos PISA 2015 - Bélgica):

• Contexto: Predicción de puntuaciones de alfabetización financiera en la región de Valonia (objetivo, datos faltantes) utilizando datos de Flandes (fuente, datos observados).
• Rendimiento Predictivo: El modelo BART estándar alcanzó un $R^2$ ajustado de aproximadamente 0.73.
• Efecto de la Ponderación: Contrario a la intuición teórica, la ponderación no mejoró la precisión predictiva en este caso específico. Los errores (RMSE y MAE) fueron ligeramente menores en el modelo no ponderado.
  • Explicación: La superposición entre las regiones de Flandes y Valonia es razonablemente alta. La ponderación introdujo varianza innecesaria sin reducir significativamente el sesgo, confirmando que el modelo BART estándar es lo suficientemente robusto para transportar predicciones en este contexto.
• Predicciones: Se estimó que los estudiantes de Flandes tienen, en promedio, una puntuación de alfabetización financiera superior a la de Valonia (diferencia de ~25 puntos, equivalente a medio año escolar).

C. Análisis de Estudiantes Vulnerables:

• Se identificaron los predictores clave de bajo rendimiento en alfabetización financiera:
  • Habilidades Académicas: Puntuaciones bajas en matemáticas y lectura son los predictores más fuertes.
  • Antecedentes Familiares: Estudiantes que no hablan el idioma escolar en casa y padres con bajo nivel educativo tienen mayor probabilidad de bajo FLS.
  • Inmigración: En Flandes, ser inmigrante de primera generación aumenta significativamente la probabilidad de bajo FLS.

5. Significado e Implicaciones

• Para la Política Pública: El estudio demuestra que, aunque existen diferencias demográficas entre regiones, es posible realizar predicciones fiables de resultados educativos no observados utilizando datos de regiones vecinas, siempre que se verifique la superposición de covariables.
• Lección Metodológica: El artículo ofrece una advertencia crucial: la corrección por desplazamiento de covariables no es una "bala de plata". En escenarios con buena superposición, los modelos simples y no ponderados pueden ser más eficientes. La complejidad del ajuste debe justificarse por la magnitud del desplazamiento.
• Aplicabilidad General: El marco propuesto es transferible a otras ciencias sociales y de la salud donde los datos faltantes son comunes y las poblaciones fuente y objetivo difieren en sus características base.

En resumen, el artículo valida la utilidad de los métodos bayesianos (BART) para la predicción educativa y proporciona un marco riguroso, pero pragmático, para decidir cuándo y cómo ajustar los modelos ante diferencias poblacionales.