📊 statistics

Missing Data Imputation under Manifold Hypothesis

Este artículo propone un método de imputación de datos faltantes basado en modelos que aprovecha autoencoders variacionales de mezcla y difusión en el espacio latente para muestrear de la distribución condicional de los valores faltantes, respetando así la geometría de la variedad de los datos subyacentes al tiempo que proporciona cuantificación de la incertidumbre e imputación eficiente sobre la marcha.

Autores originales: Zelong Bi, Amuchechukwu Ibenegbu

Publicado 2026-07-20

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zelong Bi, Amuchechukwu Ibenegbu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando terminar un mosaico gigante e intrincado, pero alguien ha recortado cientos de diminutas teselas. Puedes ver las piezas circundantes y sabes que la imagen debería ser un paisaje suave y fluido, no un desastre irregular de colores aleatorios. Este es el lucha diaria de los científicos de datos que lidian con los "datos faltantes". En el mundo real, los sensores se rompen, las encuestas se omiten y los registros se pierden, dejando agujeros en nuestros mapas digitales. Durante décadas, la forma estándar de llenar estos huecos era adivinar basándose en lo que había cerca, como un vecino rellenando una pared vacía con los ladrillos que quedaron en la entrada. Pero, ¿qué pasa si la pared no es plana? ¿Qué pasa si la imagen es en realidad una escultura curva y retorcida, como la pista de una montaña rusa o una cinta torcida? Si intentas rellenar los huecos en una pista curva utilizando suposiciones de líneas rectas y planas, terminarás con una pieza que parece estar bien de cerca, pero que se cae de la pista cuando te alejas.

Este artículo profundiza en un rincón específico de las matemáticas llamado la "hipótesis del manifold" (o hipótesis de la variedad). Piensa en esto como la idea de que, aunque nuestros datos puedan parecer una nube caótica de puntos en una enorme habitación de alta dimensión (imagina una habitación con cientos de direcciones en las que puedes moverte), los puntos en realidad viven en una superficie mucho más pequeña y suave oculta dentro de esa habitación. Es como darse cuenta de que todas las hormigas en una pila caótica están en realidad marchando en una sola línea sinuosa sobre un trozo de papel. El artículo también utiliza "Autoencoders Variacionales" (VAEs), que son como cámaras inteligentes y flexibles que pueden aprender a tomar un objeto 3D complejo y aplanarlo en un dibujo 2D simple, y luego reconstruir el objeto 3D perfectamente a partir de ese dibujo. La gran pregunta es: si perdemos algunas partes de un objeto 3D, ¿podemos usar ese dibujo 2D para averiguar exactamente cómo deberían verse las piezas faltantes, respetando la curva de la pista en lugar de simplemente adivinar?

Los autores, Zelong Bi y Amuchechukwu Ibenegbu, proponen una nueva forma de arreglar estos mosaicos rotos tratando los datos como una superficie curva en lugar de una hoja plana. Argumentan que los métodos más populares que se utilizan actualmente, como una herramienta llamada MissForest, son excelentes para encontrar patrones, pero a menudo fallan al no respetar la "geometría" de los datos. Para visualizar esto, imagina que MissForest intenta rellenar un espacio faltante en un círculo dibujando una línea recta a través del hueco; el resultado podría estar matemáticamente cerca de los vecinos, pero rompe el círculo. El método de los autores, sin embargo, entiende que los datos viven en una curva, por lo que llena el hueco siguiendo el arco, manteniendo la forma intacta.

Para hacer esto, utilizan un truco de magia de dos pasos. Primero, utilizan una "Mezcla de VAEs" para aprender la forma de la superficie oculta. Imagina esto como tener un equipo de artistas, cada uno responsable de una sección diferente de la curva (como un artista para la cima de la colina, otro para la base). Mapean los datos desordenados de alta dimensión hacia un "espacio latente" simple y de baja dimensión donde las curvas son fáciles de ver. Luego, cuando falta una pieza, no solo adivinan; utilizan un procedimiento estadístico llamado "Muestreo por Importancia-Remuestreo" (SIR). Piensa en el SIR como un juego de "la papa caliente" donde generan miles de posibles suposiciones para la pieza faltante, pero solo conservan las que encajan perfectamente con las partes conocidas de la curva, descartando las que se ven extrañas o fuera de lugar. Esto les permite no solo dar una respuesta, sino mostrar un rango de posibles respuestas, cuantificando efectivamente qué tan inciertos son sobre el relleno.

Pero no se detuvieron ahí. Se dieron cuenta de que, a veces, los artistas (los VAEs) no tienen suficientes ejemplos para aprender cada giro y vuelta de la curva perfectamente. Así que añadieron un "proceso de difusión conjunta". Imagina esto como una niebla mágica que se disipa lentamente. Comienzas con una suposición completamente borrosa y ruidosa de la pieza faltante y de la forma de la curva, y el modelo "elimina el ruido" paso a paso, refinando la suposición hasta que se convierte en un ajuste nítido y perfecto que respeta tanto los detalles locales como la forma global. Esto sucede en el espacio de baja dimensión, lo que lo hace mucho más rápido y eficiente que intentar limpiar el ruido en la enorme habitación de alta dimensión.

Los resultados de sus experimentos son bastante convincentes. Cuando probaron su método en datos sintéticos con forma de círculos, esferas y donuts (toros), su enfoque produjo imputaciones que eran mucho mejores para preservar la forma real de los datos que los métodos líderes. Aunque el método estándar (MissForest) a veces obtenía una "puntuación de error" (RMSE) más baja al simplemente adivinar números que estaban cerca de los vecinos, a menudo rompía la forma geométrica. El método de los autores, sin embargo, logró la "distancia de Wasserstein" más baja, una forma elegante de decir que la forma general y la distribución de sus datos rellenados se parecían mucho más a la imagen original e ininterrumpida.

En conjuntos de datos del mundo real, como registros de superconductores (materiales que conducen electricidad con resistencia cero) y consumo de energía, los autores encontraron que su método es un fuerte competidor. Funcionó casi tan bien como MissForest cuando los datos faltaban de forma aleatoria, pero brilló cuando los datos faltantes eran complicados o cuando una gran cantidad de ellos habían desaparecido. En estos escenarios difíciles, su método se mantuvo robusto, mientras que otros empezaron a desmoronarse. Por ejemplo, en el conjunto de datos de superconductividad, su método mantuvo las tasas de error más bajas incluso cuando la ausencia de datos no era aleatoria, lo que sugiere que comprender la geometría subyacente ayuda al modelo a adivinar correctamente incluso cuando los datos se están "escondiendo" de una manera no aleatoria.

Sin embargo, el artículo tiene cuidado en señalar que esto no es una varita mágica para todos los problemas. El método depende en gran medida del supuesto de que los datos realmente siguen una curva suave y de baja dimensión (la hipótesis del manifold). Si los datos son simplemente ruido aleatorio o no tienen una forma clara, el método podría tener dificultades. También descubrieron que en un conjunto de datos pequeño como los datos de calidad del vino, el método no funcionó tan bien, probablemente porque no había suficientes datos para enseñar a los artistas cómo dibujar la curva en primer lugar. En esos casos, los métodos más simples que solo miran a los vecinos más cercanos funcionaron mejor.

En última instancia, este artículo sugiere que al combinar la comprensión geométrica del aprendizaje de variedades (manifold learning) con el poder generativo de los modelos de difusión, podemos rellenar los datos faltantes de una manera que se siente "correcta" para la forma del universo del que provienen los datos. Es un cambio de simplemente tapar los agujeros con el ladrillo más cercano a esculpir la pieza faltante para que encaje perfectamente en la curva de la pared. Aunque requiere más potencia de cálculo y un tipo específico de estructura de datos para funcionar, ofrece un camino prometedor hacia una recuperación de datos más precisa y confiable, especialmente en campos donde la forma de los datos importa tanto como los números mismos.

Resumen Técnico: Imputación de Datos Faltantes bajo la Hipótesis del Manifold

Declaración del Problema

La imputación de datos faltantes busca estimar y reemplazar sistemáticamente los valores ausentes en un conjunto de datos. Mientras que la hipótesis del manifold postula que los datos de alta dimensión se concentran cerca de un manifold embebido de baja dimensión, los métodos de imputación convencionales han fallado ampliamente en aprovechar esta estructura geométrica. Los métodos actuales de vanguardia, como MissForest, a menudo no logran respetar la geometría subyacente cuando esta existe, lo que conduce a imputaciones que pueden ser precisas punto a punto (bajo RMSE) pero geométricamente inconsistentes con la distribución de los datos. Además, muchos enfoques actuales son transductivos, lo que significa que optimizan las imputaciones para un conjunto de datos específico sin aprender un modelo reutilizable, lo que los hace ineficientes para manejar nuevos datos o la imputación en línea.

Metodología

El marco propuesto aborda estas limitaciones combinando el aprendizaje de manifolds con el muestreo probabilístico y los modelos de difusión. La metodología procede en tres etapas principales:

1. Aprendizaje de Manifolds mediante VAEs de Mezcla

El enfoque asume que los datos yacen en un manifold de baja dimensión de dimensión intrínseca $d \ll p$ . Para capturar esta estructura, los autores utilizan una mezcla de Autoencoders Variacionales (VAEs). En esta formulación:

El manifold es cubierto por múltiples "cartas" (charts) superpuestas.
Cada carta $c \in \{1, \dots, C\}$ está asociada con un sistema de coordenadas locales $z \in \mathbb{R}^d$ .
El modelo aprende un codificador $E_c$ y un decodificador $D_c$ para cada carta, aproximando las distribuciones condicionales $p(z|x, c)$ y $p(x|z, c)$ como Gaussianas.
Esta formulación de múltiples cartas permite al modelo recuperar fielmente la geometría subyacente, algo que los VAEs de una sola carta a menudo no logran hacer.

2. Imputación mediante Muestreo-Importación-Resampling (SIR)

La tarea central de imputación es muestrear de la distribución condicional $p(x_{mis} | x_{obs})$ . Dado que la posterior conjunta $p(z, c | x_{obs})$ es intratable, los autores emplean un procedimiento de Muestreo-Importación-Resampling (SIR):

Muestreo: Se extraen muestras latentes conjuntas $(z_k, c_k)$ de los datos de entrenamiento utilizando el modelo de manifold aprendido.
Ponderación: Para un vector observado específico $x_{obs}$ , los pesos se calculan como $w_k = p(x_{obs} | z_k, c_k)$ .
Resampling: Se muestrea un nuevo par latente $(z^*, c^*)$ del conjunto de pares de entrenamiento de acuerdo con los pesos normalizados.
Generación: Los valores faltantes se generan muestreando de $p(x_{mis} | z^*, c^*)$ , la cual es Gaussiana debido a la estructura del modelo.
Este proceso produce una imputación inductiva basada en modelos que respeta tanto las restricciones geométricas como las distribucionales y permite la cuantificación de la incertidumbre.

3. Proceso de Difusión Latente Conjunta

Para superar la limitación de estar restringido por el soporte de las muestras observadas de entrenamiento, los autores introducen un proceso de difusión conjunta en el espacio latente $(z, c)$ .

Proceso hacia adelante (Forward Process): Se añade ruido de forma independiente a las coordenadas latentes continuas $z_t$ y a las etiquetas de carta discretas $c_t$ .
Proceso inverso (Reverse Process): Una red neuronal es entrenada para predecir las variables latentes limpias $(z_0, c_0)$ a partir del estado ruidoso $(z_t, c_t)$ y el paso de tiempo $t$ .
Muestreo: El proceso inverso permite la generación de muestras latentes de alta calidad a una escala arbitraria, que luego se decodifican para producir las imputaciones. Esto mejora la calidad de la imputación, particularmente en regiones del espacio de datos no cubiertas densamente por el conjunto de entrenamiento original.

Contribuciones Clave

Imputación Basada en Modelos vía SIR: Los autores proponen un procedimiento que muestrea directamente de $p(x_{mis} | x_{obs})$ usando SIR, aprovechando las estructuras de manifold aprendidas. Este enfoque es inductivo, soporta la imputación sobre la marcha sin reentrenamiento y proporciona cuantificación de la incertidumbre.
Difusión Latente Conjunta: Se desarrolla un novedoso proceso de difusión conjunta para el espacio latente que actualiza simultáneamente las coordenadas continuas y las etiquetas de membresía de la carta discreta. Esto mejora la generación de muestras de alta calidad que preservan la geometría y la distribución subyacentes.
Desempeño Consciente de la Geometría: El método está diseñado para respetar la geometría intrínseca de los datos, abordando el fallo de los métodos tradicionales para mantener la consistencia estructural.

Resultados Experimentales

El método propuesto fue evaluado en conjuntos de datos sintéticos (círculos, esferas, toros) y seis conjuntos de datos del mundo real (superconductividad, energía, finanzas, planta de energía, vino, expresión facial) bajo mecanismos de Datos Faltantes Completamente al Azar (MCAR), Datos Faltantes al Azar (MAR) y Datos No Faltantes al Azar (MNAR).

Métricas: La evaluación utilizó el Error Cuadrático Medio (RMSE) y la distancia de Wasserstein. Los autores señalan que mientras el RMSE mide la precisión punto a punto, la distancia de Wasserstein captura mejor la alineación con la geometría y la distribución subyacentes.
Datos Sintéticos: El método propuesto logró la menor distancia de Wasserstein en todos los conjuntos de datos sintéticos, indicando una preservación superior de la estructura geométrica en comparación con los modelos de referencia como MissForest, MICE y GAIN.
Datos del Mundo Real:
- El método logró un desempeño competitivo con MissForest, superándolo a menudo a medida que aumentaban las tasas de ausencia o bajo mecanismos de ausencia complejos (MAR/MNAR).
- En el conjunto de datos de superconductividad, el método demostró robustez, manteniendo el RMSE promedio y la distancia de Wasserstein más bajos en todos los mecanismos de ausencia.
- En tareas de predicción descendente (regresión lineal en datos de superconductividad), el método propuesto logró el mejor desempeño predictivo bajo configuraciones MNAR y el segundo mejor bajo MCAR/MAR.
- El método mostró limitaciones en el conjunto de datos de vino (tamaño de muestra pequeño), donde KNN funcionó mejor, lo que sugiere que un aprendizaje de manifold confiable requiere casos completamente observados suficientes.

Significancia y Reivindicaciones

El artículo afirma que su principal significancia radica en cerrar la brecha entre el aprendizaje de manifolds y la imputación de datos faltantes. Al tratar la imputación como un problema de muestreo de una estructura geométrica aprendida, el método proporciona una forma sistemática de llenar los valores faltantes que son consistentes con el manifold intrínseco de los datos.

Los autores enfatizan que su enfoque es inductivo, permitiendo la imputación de nuevos puntos de datos sin reoptimizar todo el procedimiento, una ventaja distintiva sobre los métodos transductivos. Además, la naturaleza probabilística del muestreo permite la cuantificación de la incertidumbre de las imputaciones, una característica a menudo ausente en los métodos deterministas.

El documento reconoce modestamente sus limitaciones: el método depende del supuesto de que los datos satisfacen la hipótesis del manifold, lo cual puede ser difícil de verificar en la práctica. Además, debido a su dependencia de estructuras suaves, el método es principalmente adecuado para variables continuas y puede no ser directamente aplicable a datos discretos sin modificaciones. Finalmente, los autores señalan que el desarrollo de métricas que capturen simultáneamente la fidelidad geométrica y la consistencia de la distribución sigue siendo una dirección abierta para trabajos futuros.