Resumen Técnico: Más allá de la precisión: Un estudio empírico de la estimación de la incertidumbre en la imputación

1. Planteamiento del problema

El manejo de datos faltantes es un paso fundamental en los procesos de análisis estadístico y en los flujos de trabajo de aprendizaje automático. Si bien los métodos modernos de imputación han avanzado significamente en la reconstrucción de valores faltantes con alta precisión puntual (por ejemplo, minimizando el MAE o el MSE), existe una brecha crítica en la comprensión de la fiabilidad y la calibración de las estimaciones de incertidumbre que producen estos métodos.

En aplicaciones prácticas como la salud, las finanzas y las ciencias sociales, saber qué tan seguro está un modelo de un valor imputado es tan crucial como el valor mismo. La incertidumbre fiable permite:

• Imputación Activa: Priorizar entradas de alta incertidumbre para la revisión de expertos o la nueva recolección de datos.
• Imputación Selectiva: Señalar estimaciones que no deberían impulsar decisiones sensibles (por ejemplo, aprobaciones de préstamos).
• Robustez: Detectar cuándo un modelo opera fuera de su distribución de entrenamiento (desplazamiento de conjunto de datos).

A pesar de la disponibilidad de métodos que generan incertidumbre (por ejemplo, imputación múltiple, enfoques bayesianos, modelos generativos profundos), sigue sin estar claro si estas estimaciones de incertidumbre están calibradas, es decir, si las probabilidades nominales (por ejemplo, un intervalo de predicción del 90%) coinciden con las frecuencias empíricas de contener el valor real. Además, los compromisos entre la precisión puntual, la calidad de la calibración y el tiempo de ejecución computacional a través de diferentes mecanismos de ausencia (MCAR, MAR, MNAR) se comprenden poco.

2. Metodología

2.1 Diseño experimental

Los autores llevaron a cabo un estudio empírico sistemático comparando métodos de imputación representativos a través de tres grandes familias:

1. Estadísticos/Basados en modelos: MICE (Imputación múltiple por ecuaciones encadenadas).
2. Basados en matrices/optimización: SoftImpute (recuperación de bajo rango) y OT-Impute (alineación de distribuciones mediante transporte óptimo).
3. Generativos profundos: GAIN (adversario), MIWAE (inferencia variacional) y TabCSDI (basado en difusión).

Conjuntos de datos y mecanismos de ausencia:
El estudio utilizó cinco conjuntos de datos tabulares numéricos (vivienda, biodegradación, cáncer, energía, vino). Los valores faltantes se inyectaron sintéticamente a tasas controladas (10–30%) bajo tres mecanismos:

• MCAR (Faltante completamente al azar): Enmascaramiento aleatorio uniforme.
• MAR (Faltante al azar): Enmascaramiento dependiente de las características observadas.
• MNAR (Faltante no al azar): Enmascaramiento dependiente del propio valor faltante.

2.2 Estrategias de extracción de incertidumbre

Para asegurar una comparación justa, el estudio estandarizó la extracción de la incertidumbre en tres rutas complementarias:

1. Ejecuciones repetidas del modelo: Ejecutar el imputador múltiples veces con diferentes semillas o datos de bootstrap (por ejemplo, MICE, GAIN de múltiples ejecuciones). Esto captura la variabilidad de la formación/inicialización.
2. Muestreo condicional: Extraer múltiples muestras de la distribución condicional de un modelo entrenado y fijo (por ejemplo, GAIN-S, MIWAE-S, TabCSDI-S). Esto sondea la incertidumbre aleatoria.
3. Modelado de la distribución predictiva: Utilizar modelos entrenados explícitamente para producir parámetros de distribución (media y varianza) para cada celda (por ejemplo, GAIN-U, MIWAE-U).

2.3 Métricas de evaluación

El estudio evaluó los métodos en dos ejes:

• Precisión: Medida mediante el Error Absoluto Medio (MAE) en las celdas enmascaradas.
• Calibración: Medida mediante Curvas de Calibración (graficando la cobertura empírica frente a la confianza nominal) y el Error de Calibración Esperado (ECE). Un ECE más bajo indica que la confianza declarada por el modelo se alinea con su precisión real.

3. Contribuciones clave

1. Marco unificado centrado en la incertidumbre: El artículo establece un protocolo estandarizado para extraer y evaluar la incertididad a través de diversos paradigmas de imputación (estadísticos, de optimización y de aprendizaje profundo), yendo más allá del único enfoque en la precisión puntual.
2. Evidencia empírica de desalineación: El estudio proporciona evidencia sólida de que una alta precisión de reconstrucción no garantiza una estimación de la incertidumbre fiable. Los métodos que sobresalen en la predicción puntual a menudo fallan en proporcionar intervalos de confianza bien calibrados.
3. Análisis integral de compromisos: Los autores mapean los compromisos entre precisión, calibración y tiempo de ejecución a través de diferentes mecanismos de ausencia (MCAR, MAR, MNAR) y características de los conjuntos de datos.
4. Perspectivas específicas de los métodos:
   • MICE: Demuestra la calibración más estable y fiable a través de los conjuntos de datos, a pesar de tener a veces una menor precisión puntual.
   • SoftImpute: Logra una precisión competitiva pero exhibe una mala calibración debido a su naturaleza determinista y la falta de un modelado de incertidumbre inherente.
   • Modelos generativos profundos (MIWAE, TabCSDI): Muestran potencial para equilibrar la precisión y la calibración, pero incurren en costos computacionales significativamente mayores.
   • GAIN: Aunque es preciso, el GAIN estándar produce una incertidumbre sobredispersa (subconfianza); las variantes heterocedásticas (GAIN-U) mejoran la calibración pero introducen inestabilidad en el entrenamiento.

4. Resultados clave

• Precisión vs. Calibración: Se observó una desalineación constante. Por ejemplo, SoftImpute a menudo clasifica alto en MAE pero tiene un ECE alto (mala calibración). Por el contrario, MICE mantiene un ECE bajo (buena calibración) incluso cuando su MAE no es el más bajo.
• Impacto de los mecanismos de ausencia: Tanto la precisión como la calibración generalmente se degradan de MCAR a MAR y de MAR a MNAR. Sin embargo, conjuntos de datos específicos (por ejemplo, vivienda) mostraron excepciones donde la colinealidad de las características permitió que las imputaciones MAR/MNAR superaran a las MCAR.
• Desempeño del Aprendizaje Profundo:
  • MIWAE logra un equilibrio favorable entre precisión y calibración, aprovechando el muestreo ponderado por importancia para aproximar la verdadera distribución de los datos.
  • TabCSDI (basado en difusión) mostró un ECE bajo en conjuntos de datos con fuertes correlaciones (vino), pero exhibió una confianza mixta (sobre/subconfianza) en otros (energía).
  • Muestreo vs. Cabezales de Varianza: Para GAIN y MIWAE, las variantes que modelan explícitamente la varianza (variantes-U) o utilizan el muestreo condicional (variantes-S) generalmente mejoraron la calibración sobre el enfoque de múltiples ejecuciones estándar, aunque a costa de mayor complejidad o tiempo de ejecución.
• Tiempo de ejecución: Los métodos clásicos (MICE, SoftImpute) son generalmente más rápidos. Los modelos generativos profundos, particularmente los modelos de difusión como TabCSDI, son computacionalmente costosos debido al entrenamiento y los pasos de eliminación de ruido secuenciales.

5. Significado y afirmaciones

El artículo afirma que la elección de la estrategia de imputación debe ser impulsada por los requisitos de la tarea posterior en lugar de la precisión por sí sola.

• Para la toma de decisiones confiable: En escenarios que requieren supervisión humana, gestión de riesgos o automatización selectiva (por ejemplo, triaje médico), los métodos que producen una incertidumbre bien calibrada (como MICE o MIWAE) son preferibles, incluso si sacrifican algo de precisión puntual.
• Para Eficiencia y Velocidad: Cuando la velocidad y la alta precisión puntual son las principales restricciones, los métodos eficientes pueden ser adecuados, siempre que sus estimaciones de incertidumbre se calibren post-hoc o la tarea no dependa de los intervalos de confianza.

Los autores concluyen que los métodos de imputación deben juzgarse no solo por "qué tan cerca llegan en promedio", sino por "si su confianza declarada coincide con las frecuencias observadas". Este trabajo sirve como una guía para que los profesionales seleccionen imputadores conscientes de la incertidumbre que se alineen con las necesidades de fiabilidad de los procesos de limpieza de datos y los flujos de trabajo de aprendizaje automático posteriores.

Limitaciones y direcciones futuras:
El estudio se limita a conjuntos de datos tabulares numéricos. Los autores señalan que extender este marco a datos categóricos y de tipo mixto es un siguiente paso necesario. Además, mientras que el estudio evalúa la calibración general, no separa explícitamente la incertidumbre aleatoria de la epistémica, lo cual sigue siendo un área abierta para futura investigación. Finalmente, el costo computacional de los modelos de difusión limitó su evaluación en todos los conjuntos de datos.