Resumen Técnico: Desplazamiento de Distribución en la Imputación de Datos Faltantes

Formulación del Problema

El artículo aborda el desafío fundamental de la imputación de datos faltantes, centrándose específicamente en la discrepancia entre la distribución de los datos observados utilizada para el entrenamiento y la distribución de datos completos requerida para la evaluación. Si bien muchos métodos de imputación de vanguardia (por ejemplo, GAIN, MIWAE, MICE, MissForest) operan bajo un marco de minimización de riesgo, generalmente entrenan sobre entradas observadas sin corregir explícitamente el desplazamiento de distribución inducido por el mecanismo de falta de datos.

Los autores formalizan el problema como la minimización del riesgo del Error Cuadrático Medio (MSE) sobre la distribución de datos completos. Demuestran que cuando la probabilidad de falta de datos depende de los datos (específicamente bajo el supuesto de Datos Faltantes Aleatoriamente (MAR)), la distribución de entrenamiento (datos observados) y la distribución objetivo (datos completos) difieren. Esto crea un problema de desplazamiento de covariables donde la minimización empírica estándar del riesgo sobre datos observados produce estimadores sesgados para el riesgo de datos completos.

Metodología

Fundamento Teórico

La contribución teórica central es la derivación del riesgo de imputación como una esperanza ponderada por importancia sobre los datos observados.

• Descomposición del Riesgo: El riesgo global de MSE se descompone en una suma de riesgos coordenada a coordenada. Para una coordenada específica $i$ con falta de datos, el riesgo $J_i(g_i)$ se define sobre la subpoblación no observada ($R_i=0$).
• Conexión con el Desplazamiento de Covariables: Bajo el supuesto MAR ($p(r|x) = p(r|x_{obs})$) y una condición de superposición, los autores muestran que el riesgo sobre la subpoblación no observada puede reescribirse como una esperanza sobre la subpoblación observada ($R_i=1$) ponderada por un factor de importancia:
  $$w_i(x_{obs}, r_{\neg i}) = \frac{p(x_{obs}, r_{\neg i} | R_i = 0)}{p(x_{obs}, r_{\neg i} | R_i = 1)}$$
  Este peso corrige el desplazamiento en la distribución marginal de las covariables entre los grupos observados y no observados. Se demuestra que los métodos existentes omiten implícitamente este término de ponderación, optimizando efectivamente para la distribución incorrecta.

Algoritmo Propuesto: Imputación Iterativa Ponderada

Para operacionalizar esta teoría, los autores proponen un algoritmo de Imputación Iterativa Ponderada (Algoritmo 1), que extiende el enfoque iterativo estándar de ronda rotatoria (por ejemplo, MICE, HyperImpute).

1. Marco Iterativo: El algoritmo recorre las variables parcialmente observadas. En cada paso, se ajusta un modelo de imputación condicional $g_i$ para la variable objetivo utilizando los valores actuales de todas las demás variables como predictores.
2. Riesgo Sustituto: En lugar de minimizar la pérdida de reconstrucción estándar, el algoritmo minimiza un riesgo sustituto que incorpora pesos de importancia estimados:
   $$J_i^{(t)}(g_i) = \mathbb{E}\left[ w_i(\hat{X}_{\neg i}^{(t)}) (g_i(\hat{X}_{\neg i}^{(t)}) - X_i)^2 \mid R_i = 1 \right]$$
3. Estimación de Pesos: Dado que los pesos verdaderos dependen de distribuciones desconocidas, se estiman en cada iteración (Algoritmo 2) utilizando un modelo de clasificación binaria (regresión logística) para estimar la probabilidad de falta de datos $p(R_i=1 | \hat{X}_{\neg i})$. Los pesos se calculan luego como la razón de probabilidad inversa.
4. Estabilización Práctica: Para gestionar la alta varianza a menudo asociada con la ponderación por importancia, los autores emplean varias técnicas de estabilización:
   • Recorte de pesos en los percentiles 5 y 95.
   • Eliminación de características con varianza cercana a cero.
   • Introducción de un parámetro de temperado $\gamma$ (donde los pesos se convierten en $w_i^\gamma$) para controlar la influencia de los pesos, ajustado mediante validación cruzada.
   • Una estrategia de "arranque en caliente" para ajustar $\gamma$ y reducir la sobrecarga computacional.

Contribuciones Clave

1. Formulación Teórica: El artículo establece rigurosamente que la imputación bajo MAR es equivalente a una colección de problemas de desplazamiento de covariables, derivando los pesos de importancia específicos necesarios para alinear la distribución de datos observados con la distribución de datos completos.
2. Algoritmo Novel: Introduce un algoritmo iterativo práctico de ronda rotatoria que integra estos pesos de importancia en el objetivo de entrenamiento, corrigiendo explícitamente el desplazamiento de distribución.
3. Validación Empírica: El método se compara con líneas base sin ponderar (utilizando clases de modelos condicionales idénticas) y métodos de vanguardia en diversos conjuntos de datos (tabulares, series temporales e imágenes) y clases de modelos (Lineal, Bosque Aleatorio, MLP).

Resultados Experimentales

Los autores evaluaron su método en ocho conjuntos de datos, simulando condiciones MAR con diferentes intensidades de dependencia entre la falta de datos y las covariables observadas.

• Mejoras de Rendimiento: El enfoque ponderado redujo consistentemente el Error Cuadrático Medio Raíz (RMSE) y la distancia de Wasserstein (WD) en comparación con las líneas base sin ponderar.
  • Reducción promedio del 3% en RMSE y del 7% en distancia de Wasserstein.
  • Las mejoras fueron más pronunciadas para modelos más simples (Lineales) y en configuraciones con fuerte desplazamiento de covariables (alta dependencia MAR).
• Expresividad del Modelo: El análisis teórico y los resultados empíricos indican que el beneficio de la ponderación disminuye a medida que aumenta la expresividad del modelo condicional (por ejemplo, Bosques Aleatorios y MLP). Esto se atribuye a la compensación sesgo-varianza; los modelos altamente expresivos pueden aproximar bien la función objetivo incluso sin ponderación explícita, mientras que los modelos más simples dependen más de la corrección.
• Tareas de Descenso: En tareas de regresión y clasificación de descenso, la imputación ponderada generalmente condujo a mejoras estadísticamente significativas en el rendimiento predictivo, particularmente para modelos lineales y en comparación con líneas base sin imputar.
• Robustez: El método mostró una degradación gradual del rendimiento bajo violaciones del supuesto MAR (MNAR) o mala especificación del modelo de pesos, en lugar de un fallo abrupto, siempre que los impulsores principales de la falta de datos estuvieran capturados en los datos observados.
• Eficiencia: El costo computacional fue manejable, con tiempos de ejecución que aumentaron solo ~10% para modelos complejos (RF/MLP) y mostrando aceleraciones significativas para modelos lineales debido a los detalles específicos de la implementación.

Significado y Afirmaciones

El artículo afirma que el desplazamiento de distribución es un problema inherente y a menudo pasado por alto en la imputación basada en riesgo. Al enmarcar la imputación como un problema de desplazamiento de covariables, los autores proporcionan una justificación principista para el uso de ponderación por importancia.

• El significado radica en demostrar que contar explícitamente con el desplazamiento entre las distribuciones de datos observados y completos conduce a una imputación más precisa y a una mejor preservación de la distribución subyacente de los datos (fidelidad).
• Los autores posicionan su trabajo como un refinamiento necesario de los marcos existentes de minimización de riesgo, argumentando que sin esta corrección, los modelos de imputación se optimizan para la distribución de datos observados en lugar de la verdadera distribución de datos requerida para una inferencia válida.
• El artículo se mantiene modesto respecto a las limitaciones, reconociendo que el método puede ofrecer ganancias limitadas en regímenes de MAR débil o con modelos altamente expresivos donde el error de aproximación ya es bajo, y que el rendimiento depende de la calidad de la estimación de los pesos.