Boosting prediction with data missing not at random

A continuación presento un resumen técnico detallado del artículo "Boosting Prediction with Data Missing Not at Random" (Mejora de la Predicción con Datos que Faltan No Aleatoriamente), escrito por Yuan Bian, Grace Y. Yi y Wenqing He.

1. Planteamiento del Problema

El boosting es una técnica de aprendizaje automático robusta que transforma aprendices débiles en fuertes mediante procesos iterativos. Sin embargo, la mayoría de los algoritmos de boosting existentes asumen que los datos están completos. En la práctica, los datos faltantes son comunes y, cuando el mecanismo de falta no es aleatorio (MNAR - Missing Not At Random), la aplicación directa de métodos estándar produce resultados sesgados.

El desafío principal abordado en este trabajo es:

• La no identificabilidad inherente a los datos MNAR, donde la probabilidad de que falte un dato depende del valor no observado de la propia variable respuesta.
• La necesidad de desarrollar métodos de predicción que sean teóricamente sólidos y que puedan manejar esta falta de información sin requerir suposiciones paramétricas excesivas que podrían llevar a errores de especificación del modelo.

2. Metodología Propuesta

Los autores proponen un marco semiparamétrico que integra dos estrategias clave para ajustar las funciones de pérdida (loss functions) dentro del algoritmo de boosting, permitiendo su aplicación a datos MNAR mediante un algoritmo de descenso de gradiente funcional.

A. Ajuste de la Función de Pérdida

Para recuperar la esperanza de la función de pérdida original (como si los datos estuvieran completos), se proponen dos enfoques:

1. Ajuste por Inverso de la Propensión (IPW - Inverse Propensity Weighting):

   • Se pondera la pérdida observada por el inverso de la probabilidad de observación ($\pi(y, x)$).
   • Fórmula: $L_{IPW} = \frac{r_i L(y_i, f(x_i))}{\pi(y_i, x_i)}$.
   • Requiere modelar paramétricamente $\pi(y, x)$.

2. Ajuste de Tipo Buckley-James (BJ):

   • Utiliza información de los sujetos con datos faltantes imputando la pérdida esperada condicionalmente.
   • Fórmula: $L_{BJ} = r_i L(y_i, f(x_i)) + (1-r_i)\Psi_0(x_i)$, donde $\Psi_0(x)$ es la esperanza de la pérdida dado que la respuesta falta.
   • Requiere estimar la densidad condicional $f(y|X=x, R=0)$, lo cual se logra utilizando la regla de Bayes y la densidad de los observados $f(y|X=x, R=1)$ junto con la propensión $\pi(y, x)$.

B. Estimación Semiparamétrica y Algoritmo

Dado que las funciones $\pi(y, x)$ y $f(y|X=x, R=1)$ son desconocidas, el método emplea estimadores consistentes:

• Modelado de $\pi(y, x)$: Se asume una forma paramétrica (ej. logística) y se estima mediante un método de ecuaciones de estimación corregido para datos faltantes (basado en Morikawa y Kim, 2021), que evita la necesidad de instrumentales externos.
• Modelado de $f(y|X=x, R=1)$: Se ofrece flexibilidad mediante:
  • Enfoque Paramétrico: Máxima verosimilitud condicional.
  • Enfoque No Paramétrico: Estimación por núcleos (kernel density estimation) para evitar errores de especificación del modelo.
• Algoritmo de Boosting (Algoritmo 1): Se implementa un descenso de gradiente funcional iterativo. En cada iteración $m$, se actualiza la función $f^{(m)}$ sumando un término incremental basado en el gradiente de la función de pérdida ajustada ($L^*$).

C. Condiciones de Identificabilidad

Para abordar la no identificabilidad de los datos MNAR, el método adopta las condiciones de identificación de Morikawa y Kim (2021), que son verificables con los datos observados, en lugar de depender de variables instrumentales difíciles de encontrar.

3. Contribuciones Clave

1. Extensión Teórica del Boosting: Se generaliza el marco de boosting para manejar datos MNAR, un escenario donde los métodos estándar fallan debido al sesgo.
2. Garantías Teóricas Rigurosas:
   • Se demuestra la convergencia del algoritmo iterativo hacia el riesgo óptimo.
   • Se establece la consistencia del estimador final ($\hat{f}_{AL}$) bajo condiciones de regularidad, asegurando que el error converge en probabilidad a cero a medida que aumenta el tamaño de la muestra.
3. Flexibilidad Semiparamétrica: El método no requiere especificar completamente la distribución de la respuesta ni la propensión, permitiendo combinar modelos paramétricos y no paramétricos para mayor robustez.
4. Validación Empírica: Se demuestra la superioridad de los métodos propuestos sobre enfoques ingenuos (que ignoran la falta de datos) y se valida su rendimiento en escenarios de alta dimensionalidad y diferentes mecanismos de falta.

4. Resultados de los Estudios

Los autores realizaron estudios de simulación (500 repeticiones, $n=1000$) y un análisis de datos reales (KLIPS - Encuesta Coreana de Trabajo e Ingresos).

• Escenarios de Simulación (MAR vs. MNAR):
  • En escenarios MAR (Missing At Random), todos los métodos (incluyendo el boosting estándar) funcionaron bien.
  • En escenarios MNAR, el método ingenuo (N) mostró un sesgo significativo y un alto error cuadrático medio (S-RMSE) y error absoluto máximo (S-MAE).
  • Los métodos propuestos (IPW, IPWN - no paramétrico, y BJ) lograron un rendimiento comparable al método de referencia con datos completos (R), eliminando efectivamente el sesgo.
  • Se observó que la estimación no paramétrica (IPWN) puede tener dificultades en dimensiones muy altas o con covariables altamente correlacionadas, mientras que el enfoque paramétrico (IPW) es más robusto en esos casos si el modelo es correcto.
• Robustez ante Especificación Incorrecta:
  • Si el modelo de propensión $\pi(y, x)$ está mal especificado, el rendimiento decae drásticamente (similar al método ingenuo).
  • Si solo la densidad de la respuesta $f(y|X, R=1)$ está mal especificada, el método IPW sigue siendo consistente (gracias a la propiedad de doble robustez implícita en la estructura de estimación), aunque con menor eficiencia.
• Análisis de Datos Reales (KLIPS):
  • Al aplicar el método a datos de ingresos con ~30% de valores faltantes, las predicciones de los métodos propuestos (IPW, IPWN, BJ) mostraron patrones coherentes y se desviaron significativamente de las predicciones sesgadas del método ingenuo, especialmente en los extremos de la distribución de ingresos.

5. Significado e Impacto

Este trabajo es significativo porque cierra una brecha importante en la literatura de aprendizaje automático y estadística:

• Aplicabilidad Práctica: Proporciona una herramienta viable para problemas del mundo real donde los datos faltantes no son aleatorios (ej. encuestas de ingresos donde los ricos o los pobres pueden negarse a reportar sus salarios).
• Fundamento Teórico: Ofrece las primeras garantías teóricas rigurosas (convergencia y consistencia) para algoritmos de boosting bajo mecanismos MNAR, algo que antes carecía de justificación formal.
• Versatilidad: El marco de ajuste de funciones de pérdida puede extenderse a otras técnicas de aprendizaje automático (SVM, redes neuronales, árboles), no limitándose solo al boosting.

En conclusión, los autores demuestran que, mediante ajustes semiparamétricos en la función de pérdida y una estimación cuidadosa de los mecanismos de falta, es posible recuperar la capacidad predictiva óptima incluso cuando los datos sufren de falta no aleatoria, superando las limitaciones de los métodos tradicionales.