Resumen Técnico: ImputeViz

Planteamiento del Problema

Los datos faltantes siguen siendo una barrera crítica en la investigación científica, de ciencias sociales y de salud pública, lo que a menudo introduce sesgos y obliga a los analistas a depender de pasos de preprocesamiento de "caja negra". Los flujos de trabajo actuales carecen frecuentemente de soporte para la comparación visual entre métodos o para la inspección de la procedencia de los valores imputados. Los analistas se ven obligados a menudo a ejecutar modelos de forma secuencial, reconciliando mentalmente cambios de escala y parámetros, lo que dificulta el diagnóstico de los mecanismos de falta de datos (MCAR, MAR, MNA) y la selección de la estrategia de imputación más apropiada basada en evidencia en lugar de la familiaridad.

Metodología y Diseño del Sistema

ImputeViz es un panel de análisis visual integrado diseñado para soportar el flujo de trabajo completo de imputación: diagnóstico de la falta de datos, configuración de modelos, comparación de resultados e inspección de la procedencia. El sistema está construido sobre un backend de Python/FastAPI y un frontend de React/TypeScript/D3.js.

Componentos Principales

1. Modelos de Imputación: El sistema integra algoritmos ampliamente utilizados, incluyendo MICE (IterativeImputer con cadenas de ridge), Random Forest, XGBoost y kNN no espacial.
2. gKNN (kNN geográficamente informado): Una contribución novedosa del sistema, el gKNN extiende el kNN estándar mezclando distancias socioeconómicas y espaciales. Calcula una matriz de distancia $D_{blend} = \alpha D_{socio} + (1-\alpha) D_{geo}$, donde el peso de mezcla $\alpha$ y el tamaño de la vecindad $k$ se optimizan mediante optimización bayesiana utilizando los datos de entrenamiento.
3. Marco de Evaluación: Para garantizar una comparación justa, el sistema aplica una máscara de retención aleatoria consistente del 20% (y una máscara estructurada para escenarios tipo supresión) en todos los algoritmos. Reporta el Error Absoluto Medio (MAE), el Error Cuadrático Medio (RMSE), el $\Delta$RMSE y el tiempo de ejecución.
4. Interfaz de Análisis Visual: El panel cuenta con siete paneles coordinados (Figura 2) que facilitan un flujo de trabajo iterativo:
   • Diagnóstico: Mapas de calor y resúmenes de co-ausencia de datos revelan las estructuras de falta de datos y sus correlaciones con las covariables.
   • Comparación: Una tabla de "Resumen de Comparación de Métodos" clasifica los algoritmos según las métricas de rendimiento.
   • Validación: Gráficos de dispersión y de histogramas vinculados con escalas de ejes bloqueadas permiten a los analistas inspeccionar visualmente los desplazamientos de distribución y la preservación de relaciones al cambiar de método.
   • Procedencia: Para datos geoespaciales, una vista de mapa geométrico expone los condados donantes y sus contribuciones, permitiendo a los analistas verificar si los valores imputados dependen de vecinos geográfica y socioeconómicamente plausibles.

Objetivos de Diseño

El sistema se guía por cuatro objetivos principales:

• DG1: Hacer que la falta de datos sea legible mediante resúmenes inmediatos y vistas de relación previas a la imputación.
• DG2: Permitir una comparación justa entre métodos mediante el uso de máscaras consistentes, manejo de características y visualizaciones de escala estable.
• DG3: Soportar comprobaciones de plausibilidad visual para detectar artefactos locales, distorsiones en las colas o grupos implausibles que las métricas de error agregadas podrían ocultar.
• DG4: Preservar la procedencia y la interpretabilidad espacial, permitiendo a los usuarios interrogar el "quién" y el "por qué" detrás de valores imputados específicos.

Contribuciones Clave

El artículo describe tres contribuciones primarias:

1. Un Flujo de Trabajo de Análisis Visual: Un entorno agnóstico al método para el diagnóstico de la falta de datos y la comparación entre métodos bajo vistas vinculadas de escala estable, reduciendo la carga cognitiva durante el cambio de modelo.
2. Backend de Benchmarking: Un sistema que almacena en caché las ejecuciones por método y garantiza una evaluación consistente basada en la retención, asegurando que las comparaciones sean impulsadas por la evidencia en lugar de una reconciliación mental secuencial.
3. Algoritmo gKNN: Una variante de kNN geográficamente informada con procedencia de donantes que puede ser interrogada directamente en la interfaz, mezclando distancias socioeconómicas y espaciales para mejorar la robustez en datos con autocorrelación espacial.

Resultados

El sistema fue evaluado en dos conjuntos de datos:

1. Mortalidad por Prescripción de Opioides en EE. UU. (2000–2022): Un conjunto de datos geoespacial con falta de datos estructurada (supresión en condados con conteos bajos).
2. Conjunto de Datos de Abandono de Telecomunicaciones (Telecom Churn): Un conjunto de datos no geográfico utilizado para probar la imputación no espacial.

Hallazgos de Rendimiento:

• Contexto Espacial: En el conjunto de datos de mortalidad por opioides, gKNN logró el MAE promedio más bajo en todas las configuraciones de máscara (Supresión, Intermedia y Aleatoria), con las ganancias más significativas en configuraciones tipo supresión donde el contexto geográfico es crítico. Las pruebas de Wilcoxon pareadas confirmaron la superioridad de gKNN sobre el kNN estándar ($p \approx 0.0396$).
• Contexto No Espacial: En el conjunto de datos de telecomunicaciones, Random Forest superó a MICE y a gKNN, demostrando que ningún imputador es universalmente superior y que los modelos no lineales flexibles pueden dominar en entornos puramente tabulares.
• Utilidad de la Procedencia: Los estudios de caso revelaron que, si bien el kNN estándar podía lograr puntuaciones de error competitivas, a veces dependía de donantes de larga distancia que eran socioeconómicamente similares pero geográficamente distantes. La vista de procedencia de gKNN permitió a los analistas identificar estos desajustes y preferir las estimaciones de gKNN, que son más localizadas y contextualmente apropiadas.

Usabilidad:
En un estudio formativo con 7 participantes, el sistema recibió una puntuación media de la Escala de Usabilidad del Sistema (SUS) de 75.4. Los participantes valoraron específicamente la capacidad de cambiar de método con actualizaciones visuales inmediatas y las escalas de ejes estables que facilitan la comparación directa.

Significancia y Reivindicaciones

El artículo sostiene que ImputeViz cambia el paradigma del manejo de datos faltantes de una tarea predictiva a un problema de razonamiento analítico. Al integrar la ejecución, el benchmarking cuantitativo y visuales conscientes de la procedencia, el sistema:

• Democratiza la Selección de Métodos: Evita el "bloqueo de algoritmo" al permitir que los analistas seleccionen estrategias basadas en la evidencia específica de la estructura de falta de datos de sus datos (ej. espacial vs. tabular).
• Mejora la Confianza: A través de la procedencia a nivel de donante y escalas visuales estables, hace que el proceso de imputación sea auditable, permitiendo a los analistas verificar que los valores tomados prestados son plausibles dentro de su contexto de dominio específico.
• Soporta la Robustez: Destaca que la imputación informada espacialmente mejora la precisión cuando la falta de datos está estructuralmente ligada al lugar, al tiempo que reconoce que los modelos no espaciales siguen siendo superiores en contextos puramente tabulares.

Los autores concluyen que el sistema mejora la transparencia y apoya la elección de modelos basada en evidencia, aunque señalan limitaciones respecto a los costos computacionales para análisis de incertidumbre más ricos y la escalabilidad a resoluciones geográficas más finas.