Resumen Técnico: dashi – Una biblioteca de Python para la caracterización del desplazamiento de datos (Dataset Shift)

Planteamiento del Problema

El despliegue de la Inteligencia Artificial (IA) en el sector salud enfrenta un desafío crítico: la suposición de que las distribuciones de datos son estáticas entre el desarrollo del modelo y su operación en el mundo real es frecuentemente inválida. En entornos clínicos dinámicos, los desplazamientos de datos (dataset shifts)—cambios en la distribución de probabilidad conjunta $P(X, Y)$ entre el entrenamiento y el despliegue—ocurren debido a la evolución temporal (p. ej., cambios en las guías clínicas, cambios epidemiológicos) o a la heterogeneidad multifuente (p. ej., diferencias entre hospitales).

Estos desplazamientos se manifiestan como:

• Desplazamiento de covariables (Covariate Shift): Cambios en la distribución de las características de entrada $P(X)$.
• Desplazamiento de prioridad o de etiqueta (Prior/Label Shift): Cambios en la prevalencia de los resultados $P(Y)$.
• Desplazamiento de concepto (Concept Shift): Cambios en la relación condicional $P(Y|X)$.

Los enfoques actuales para la calidad de los datos suelen depender de verificaciones estáticas y univariantes (completitud, conformidad) o métricas de rendimiento retrospectivas. Estos métodos no logran detectar "desconocidos desconocidos" multivariantes complejos y fallos silenciosos donde los modelos se degradan sin activar alertas estándar. Además, aunque existen fundamentos teóricos para la detección de desplazamientos, existe una falta de herramientas de software accesibles y agnósticas al modelo para operacionalizar estos conceptos en el MLOps diario de la IA en salud.

Metodología

El artículo presenta dashi, una biblioteca de Python de código abierto diseñada para cerrar la brecha entre la detección teórica de deriva (drift) y el monitoreo práctico de la IA en salud. Emplea una arquitectura de doble enfoque:

1. Módulo No Supervisado (Centrado en los Datos)

Este módulo es agnóstico al modelo, analizando las propiedades de información de los lotes de datos sin depender de algoritmos predictivos.

• Estimación de Distribución: Construye mapas temporales de datos (evolución en el tiempo) y mapas de fuentes de datos (heterogeneidad entre sitios) mediante la estimación de distribuciones de probabilidad empíricas.
• Reducción de Dimensionalidad: Para manejar datos clínicos de alta dimensión, integra técnicas como PCA, SVD, MCA y FAMD para proyectar los datos en subespacios de menor dimensión.
• Proyección de Densidad: Utiliza la Estimación de Densidad de Núcleo (KDE) para generar funciones de densidad de probabilidad conjunta continuas, visualizadas como variedades (manifolds) de 2D/3D.
• Métricas de Distancia: Cuantifica la divergencia entre lotes utilizando la distancia de Jensen-Shannon (JS), una métrica simétrica acotada entre 0 (idéntico) y 1 (disjunto).
• Analítica Visual:
  • Gráficos de Geometría Informaciónal Temporal (IGT): Proyecta las disimilitudes de los lotes temporales sobre una variedad estadística no paramétrica para visualizar trayectorias, estacionalidad y cambios abruptos.
  • Gráficos de Variabilidad Multifuente (MSV): Visualiza la heterogeneidad espacial utilizando dos métricas novedosas:
    • Desviación Probabilística Global (GPD): Un escalar que mide la dispersión total a través de todas las fuentes.
    • Extravagancia Probabilística de la Fuente (SPO): Identifica fuentes específicas que se desvían significativamente de la tendencia central.
• Análisis Condicional: Permite el aislamiento de $P(X|Y)$ para detectar específicamente desplazamientos de concepto.

2. Módulo Supervisado (Centrado en el Modelo)

Este módulo mide directamente el impacto de los desplazamientos de distribución en el rendimiento predictivo.

• Pipeline Automatizado: Automatiza el entrenamiento y la evaluación cruzada de lotes de modelos predictivos base (por defecto, Random Forests e Histogram Gradient Boosting).
• Estrategias de Entrenamiento: Soporta estrategias acumulativas (entrenamiento sobre datos históricos acumulados) y desde cero (entrenamiento sobre lotes únicos).
• Evaluación Cruzada de Lotes: Los modelos entrenados en lotes temporales o de origen específicos se evalúan contra todos los demás lotes para generar matrices de rendimiento.
• Métricas: Rastrea métricas estándar de clasificación (AUC, F1, Precisión/Recall) y regresión (MAE, RMSE, $R^2$) para cuantificar la degradación del rendimiento.

Contribuciones Clave

1. Marco de Doble Enfoque: dashi combina de forma única el análisis de distribución no supervisado con el seguimiento del rendimiento supervisado, permitiendo a los usuarios correlacionar los desplazamientos de datos directamente con la degradación del modelo.
2. Métricas y Visualizaciones Novedosas: Introduce los gráficos IGT para el seguimiento temporal y las métricas MSV (GPD/SPO) para la caracterización multifuente, yendo más allá de la simple detección de deriva por pares hacia un análisis topológico global.
3. Operacionalización de la Teoría: La biblioteca traduce conceptos estadísticos complejos (variedades estadísticas, divergencia JS) en un pipeline programático accesible compatible con formatos estándar de EHR (pandas DataFrames) y datos multimodales (vía embeddings para texto/imágenes).
4. Taxonomía Exhaustiva: Los autores proporcionan una tabla estructurada que vincula tipos de desplazamiento específicos (abrupto, gradual, estacional, de subgrupo) con los métodos de detección dentro de dashi, sus efectos en la IA y las estrategias de mitigación recomendadas.

Resultados

La utilidad de dashi fue validada a través de tres casos de estudio de IA en salud:

• Cohorte Simulada de Diabetes Gestacional (GDM) (Desplazamiento de Concepto Temporal):

  • dashi detectó con éxito un periodo simulado de codificación inconsistente (2021–2022) donde la distribución condicional $P(X|Y)$ estaba entrelazada.
  • Los gráficos IGT delinearon claramente dos subgrupos temporales distintos separados por un cambio topológico.
  • El análisis supervisado confirmó que los modelos entrenados en los lotes tempranos "ruidosos" sufrieron fallos graves de generalización en los datos posteriores corregidos, validando la capacidad de la biblioteca para predecir fallos silenciosos.

• Cohorte de COVID-19 en México (Adaptación de Dominio Multifuente):

  • La biblioteca identificó severas heterogeneidades estructurales entre las instituciones del Sistema Nacional de Salud (NHS).
  • Los gráficos MSV destacaron instituciones específicas (p. ej., tipos de NHS 1 y 15) como valores atípicos con altos valores de SPO y desequilibrios de clase distintos.
  • Las matrices de rendimiento interinstitucionales revelaron que los modelos entrenados en ciertos dominios fallaban al transferirse a otros, mientras que el biclúster identificó grupos de hospitales con distribuciones de datos compatibles.

• Despacho de Emergencias 112 de la Comunidad Valenciana (Desplazamiento Temporal Multimodal):

  • Aplicado a 2.5 millones de registros de llamadas de emergencia de texto libre, disha utilizó embeddings contextuales (BioLord-2023) para rastrear la dinámica de datos no estructurados.
  • Los gráficos IGT identificaron un cambio abrupto a finales de 2014 (debido a una migración de sistema) y un segundo cambio en marzo de 2020 (vinculado a los confinamientos de la pandemia).
  • La biblioteca capturó una fuerte estacionalidad en los patrones de llamadas y demostró cómo el entrenamiento con el lote previo a 2014 resultó en las puntuaciones de generalización más bajas a lo largo de la línea de tiempo.

Significado y Reivindicaciones

El artículo posiciona a dashi no solo como una herramienta analítica, sino como un mecanismo fundamental para la auditoría algorítmica continua esencial para una IA Confiable.

• De Reactivo a Proactivo: Los autores argumentan que dashi permite un cambio de paradigma de un análisis reactivo de "fallos silenciosos" a una gobernanza de datos proactiva y en tiempo real. Al detectar inestabilidades de datos subyacentes antes de que se manifiesten como errores clínicos, las instituciones pueden activar la recalibración o restringir el despliegue.
• Cerrando la Brecha: La biblioteca aborda el cuello de botella entre la detección teórica de deriva y el MLOps práctico, proporcionando un kit de herramientas de extremo a extremo que traduce la compleja teoría matemática en información accionable.
• Cumplimiento Regulatorio: Los autores afirman que dashi proporciona la infraestructura necesaria para cumplir con los estándares emergentes de la IA Confiable, asegurando que las suposiciones estadísticas de un modelo permanezcan alineadas con las realidades clínicas en evolución.
• Costo-Efectividad: Al utilizar modelos eficientes basados en árboles y centrarse en la interpretabilidad sobre la maximización absoluta de la predicción, la biblioteca ofrece una solución costo-efectiva para la robustez y la seguridad en entornos de salud dinámicos.

El artículo concluye que la gestión del desplazamiento de datos no es una tarea aislada de post-despliegue, sino un requisito continuo a lo largo de todo el ciclo de vida de la IA, y dashi facilita esta auditoría rigurosa en cada etapa.