Deep learning with missing data

Resumen Técnico: Redes Neuronales con Patrones Embebidos para la Regresión No Paramétrica con Covariables Faltantes

Configuración del Problema
El artículo aborda el desafío del aprendizaje profundo supervisado en la regresión no paramétrica multivariante cuando las covariables contienen valores faltantes. A diferencia de trabajos previos que a menudo asumen la ausencia completa de datos al azar (MCAR) o dependen de modelos de falta de datos paramétricos específicos, este estudio considera un escenario general donde el mecanismo de falta de datos es arbitrario y potencialmente dependiente de las covariables (falta de datos no aleatoria o MNAR). El objetivo es la predicción: estimar la función de regresión de Bayes $f^\star(z, \omega) = \mathbb{E}(Y | Z=z, \Omega=\omega)$, donde $Z$ representa las covariables imputadas y $\Omega$ representa el vector de revelación (indicadores de observación) que denota qué entradas fueron observadas.

Una dificultad central identificada es que, si bien los vectores de revelación contienen información predictiva crítica respecto a la estructura de la falta de datos, la concatenación ingenua de estos con las covariables imputadas como entrada a una red neuronal suele conducir a un rendimiento deficiente. Esto se debe a que el crecimiento exponencial de los posibles patrones de observación ($2^d$) con la dimensión $d$ provoca sobreajuste, y al desalineamiento entre la geometría euclidiana del hipercubo $\{0,1\}^d$ y la estructura predictiva real del problema.

Metodología: Redes Neuronales con Patrones Embebidos (PENN)
Los autores proponen las Redes Neuronales con Patrones Embebidos (PENN, por sus siglas en inglés), una arquitectura novedosa diseñada para integrar los patrones de observación en marcos de aprendizaje profundo sin depender de técnicas de imputación específicas. El estimador PENN tiene la forma:
$$\hat{f}(z, \omega) = f_3(f_1(z), f_2(\omega))$$
donde:

1. $f_1$: Una red neuronal que actúa como un mapa de características para las covariables imputadas $z$.
2. $f_2$: Una red neuronal que actúa como una función de embebido para los vectores de revelación $\omega$. Esta mapea los patrones de observación discretos y de alta dimensión en un espacio continuo de menor dimensión donde la proximidad geométrica refleja la similitud en el comportamiento predictivo.
3. $f_3$: Una red neuronal final que combina las características de las covariables aprendidas y los embebidos de los patrones para producir la predicción.

Este enfoque permite que el modelo "preste fuerza" a través de patrones de observación similares, comprimiendo eficazmente la información en los vectores de revelación. El método es compatible con cualquier técnica de imputación existente (por ejemplo, imputación de la media, MissForest, MICE) aplicada antes del entrenamiento.

Contribuciones Teóricas
El artículo proporciona un análisis teórico riguroso del estimador PENN, estableciendo límites de exceso de riesgo en muestras finitas sin asumir independencia entre los mecanismos de generación de datos y de falta de datos.

• Desigualdad de Oráculo: Se deriva una desigualdad de oráculo general, que descompone el exceso de riesgo en términos de optimización, aproximación y estimación. Esto se sostiene para redes neuronales arbitrarias y respuestas subgaussianas.
• Optimalidad Minimax: Bajo un supuesto de "suavidad por partes" (Supuesto 1), la función de regresión de Bayes se particiona en celdas donde la función se comporta de manera similar. Dentro de cada celda, la función pertenece a una clase de Hölder composicional.
  • El Teorema 2 establece un límite superior en el exceso de riesgo. El límite es un promedio ponderado de las tasas minimax para cada celda de la partición, escalado por el tamaño de muestra efectivo de dicha celalla. Crucialmente, la tasa se logra como si la partición fuera conocida de antemano, salvo por un factor polilogarítmico en el tamaño de la muestra.
  • El Teorema 3 proporciona un límite inferior minimax correspondiente, confirmando que el estimador PENN alcanza la tasa de convergencia óptima para este escenario de problema.
• Novedad: La teoría introduce el concepto de F-separabilidad para particiones de patrones de observación, lo que permite a la red neuronal aprender la agrupación de patrones que comparten funciones de regresión similares. Esto aborda la "maldición de la dimensionalidad" asociada con los $2^d$ posibles patrones de falta de datos.

Resultados Empíricos
Se realizaron extensos experimentos numéricos en datos simulados, semi-sintéticos y de datos reales:

• Datos Simulados: A través de cuatro modelos que cubren escenarios MCAR y MNAR con diversas correlaciones, los PENN superaron consistentemente a las redes neuronales estándar (entrenadas con datos imputados sin embebido de patrones), XGBoost y Random Forests. La mejora fue particularmente dramática en los escenarios MNAR donde los métodos estándar tuvieron dificultades.
• Datos Semi-Sintéticos: Los experimentos en el conjunto de datos de ubicación relativa de CT (regresión) y MNIST (clasificación) demostraron que los PENN redujeron significativamente el error de predicción (medido por la Proporción de Varianza no Explicada y el Error de Clasificación Incorrecta) en comparación con las líneas base, especialmente bajo mecanismos MNAR.
• Datos Reales: En un conjunto de datos de predicción de puntaje crediticio con falta de datos inherente, los PENN mostraron nuevamente mejoras consistentes y notables respecto a las redes neuronales estándar y los métodos basados en árboles.
• Visualización: Los embebidos aprendidos de los patrones de observación revelaron que la red agrupó con éxito los patrones con comportos predictivos similares, validando la premisa teórica de que el embebido captura información estructural relevante.

Significado y Reivindicaciones
Los autores afirman que este trabajo es el primero en proporcionar garantías de optimalidad minimax para la regresión no paramétrica multivariante con datos faltantes bajo mecanismos generales de falta de datos. La importancia de este trabajo radica en:

1. Innovación Metodológica: Introducir el embebido de patrones como un mecanismo para manejar la falta de datos en el aprendizaje profundo, cerrando la brecha entre los enfoques basados en la imputación y el modelado directo de los indicadores de falta de datos.
2. Rigor Teórico: Demostrar que los PENN pueden alcanzar la tasa óptima de convergencia incluso cuando el mecanismo de falta de datos es complejo y dependiente, siempre que la función de regresión exhiba una suavidad composicional por partes.
3. Utilidad Práctica: Demostrar que el método es robusto, funciona con herramientas de imputación estándar y ofrece ganancias empíricas sustanciales sobre los métodos de vanguardia existentes tanto en escenarios sintéticos como en el mundo real.

El artículo concluye que los PENN ofrecen una solución fundamentada y efectiva para el aprendizaje profundo con covariables faltantes, superando las limitaciones de tratar simplemente los indicadores de falta de datos como características adicionales de datos brutos.