Resumen Técnico: Más allá de la precisión en el diagnóstico de la malaria

Planteamiento del problema

La malaria sigue siendo una de las principales causas de mortalidad en el África subsahariana, donde la infraestructura de diagnóstico suele ser escasa. Si bien el aprendizaje profundo (DL) ofrece un camino hacia el cribado automatizado, su adopción clínica se ve obstaculizada por dos factores primarios: el alto coste computacional de los modelos complejos y la "opacidad" de sus procesos de toma de decisiones. En entornos médicos de alto riesgo, los clínicos requieren no solo predicciones precisas, sino también justificaciones mecanísticas para dichas predicciones. Además, las evaluaciones existentes suelen centrarse únicamente en la precisión predictiva, descuidando dimensiones críticas como la eficiencia del modelo, la robustez ante la corrupción de imágenes (común en la microscopía de bajos recursos) y la fiabilidad de las explicaciones post-hoc.

Metodología

Este estudio compara cuatro arquitecturas distintas de aprendizaje profundo sobre el conjunto de datos NLM-Malaria, evaluándolas a través de tres dimensiones: rendimiento predictivo, eficiencia computacional y explicabilidad.

1. Arquitecturas de modelos:
El estudio compara modelos con diversas filosofías de diseño y capacidades:

• ResNet-18: Una CNN estándar que utiliza conexiones de salto (skip connections).
• EfficientNet-B0: Una CNN que enfatiza la eficiencia mediante el escalado compuesto de profundidad, anchura y resolución.
• MobileNet-v3-Large: Una CNN ligera que utiliza convoluciones separables en profundidad (depthwise separable convolutions).
• Vision Transformer (ViT-B/16): Una arquitectura basada en transformadores que reemplaza las convoluciones por autoatención basada en parches (patch-based self-attention).
  Todos los modelos fueron preentrenados en ImageNet y ajustados (fine-tuned) para clasificación binaria (sano vs. infectado) utilizando validación cruzada estratificada de 5 pliegues (5-fold stratified cross-validation).

2. Marco de IA Explicable (XAI):
Se emplearon cuatro métodos de atribución post-hoc para generar mapas de saliencia:

• Basados en gradientes: Grad-CAM e Integrated Gradients (Itgd-Grad).
• Libres de gradiente/Basados en puntuación: Score-CAM.
• Teoría de juegos: SHMA (variante basada en gradientes).
  Estos métodos se utilizaron para visualizar qué regiones de la imagen influyeron en la decisión del modelo.

3. Métricas de evaluación:

• Rendimiento predictivo: Precisión (accuracy), puntuación F1, AUC, sensibilidad, especificidad, VPP (valor predictivo positivo) y VPN (valor predictivo negativo).
• Eficiencia: Recuento de parámetros, FLOPs, latencia de inferencia y uso de memoria pico (medido en CPU).
• Robustez: Rendimiento bajo tres tipos de corrupción de imagen (ruido Gaussiano, ruido Salt-and-Pepper y desenfoque Gaussiano) en diversos niveles de severidad. Las métricas incluyeron la precisión media y la confianza predicha media.
• Calidad de la explicación:
  • Cualitativa: Inspección visual de los mapas de saliencia y análisis de consistencia (mapas de acuerdo/desacuerdo) entre los diferentes métodos de XAI.
  • Cuantitativa: Puntuaciones de inserción y eliminación (Insertion and Deletion scores), que miden qué tan rápido cambia la confianza del modelo a medida que se revelan u ocultan parches de imagen importantes (o no importantes).
• Análisis estadístico: Se utilizaron la prueba de Friedman seguida de pruebas de rango firmado de Wilcoxon con corrección de Bonferroni para determinar la significación estadística entre los modelos.

Resultados clave

1. Rendimiento predictivo y eficiencia:

• Las cuatro arquitecturas lograron un rendimiento diagnóstico comparable. La prueba de Friedman arrojó un p-valor de 0.4717, lo que indica que no existen diferencias estadísticamente significativas en la precisión, la puntuación F1 o el AUC entre los modelos.
• Los modelos ligeros (MobileNet-v3 y EfficientNet-B0) igualaron el rendimiento de sus contrapartes más pesadas (ResNet-18 y ViT) ofreciendo, al mismo tiempo, ganancias sustanciales de eficiencia. MobileNet-v3 demostró la menor latencia (14.37 ms) y los menores FLOPs (0.22 G), mientras que ViT-B/16 fue el más costoso computacionalmente (293.8 ms de latencia, 16.8 G FLOPs).
• Un ensamblado de los cuatro modelos alcanzó la mayor precisión (0.972), pero la ganancia marginal sobre los modelos ligeros individuales fue pequeña.

2. Robustez ante la corrupción:

• Los modelos demostraron una fuerte robustez ante el ruido Salt-and-Pepper, pero fueron más sensibles al ruido Gaussiano y al desenfoque.
• Un hallazgo crítico fue que la confianza del modelo se degradó más rápido que la precisión ante niveles crecientes de ruido. Esto sugiere que las puntuaciones de confianza pueden servir como una señal práctica para activar la revisión humana cuando la calidad de la imagen es deficiente, incluso si la predicción sigue siendo técnicamente correcta.

3. Explicabilidad y robustez de la XAI:

• Localización: Los métodos basados en CAM (Grad-CAM, Score-CAM) localizaron consistentemente las regiones diagnósticas relevantes (el parásito). En contraste, los métodos de grano fino (Integrated Gradients, SHAP) produjeron explicaciones menos dirigidas, distribuyendo a menudo píxeles de alta atribución de forma amplia por toda la imagen, particularmente con arquitecturas más pesadas como ResNet-18.
• Consistencia: Hubo un desacuerdo estructurado entre Grad-CAM y Score-CAM, concentrado en áreas anatómicamente significativas. Por el contrario, el desacuerdo entre Integrated Gradients y SHAP apareció como ruido difuso y no estructurado.
• Fragilidad de la XAI: Crucialmente, ningún método de XAI fue robusto ante la corrupción de la imagen. La fiabilidad de la explicación se degradó significamente ante niveles de ruido plausibles en la práctica clínica, incluso cuando las predicciones subyacentes seguían siendo precisas. Esto indica que las explicaciones no pueden confiarse como señales estables en entornos ruidosos.
• Comportamiento de ViT: El Vision Transformer se centró en regiones altamente localizadas (específicamente el punto de cromatina), contrastando con los patrones de activación más difusos de las CNN.

Significación y afirmaciones

El artículo sostiene que, para entornos clínicos con recursos limitados, los modelos ligeros y diseñados para la eficiencia (MobileNet-v3, EfficientNet-B0) son suficientes para el diagnóstico de la malaria, ya que igualan el rendimiento predictivo de modelos más grandes sin la carga computacional.

Sin embargo, el estudio destaca una limitación significativa en el estado actual del despliegue de la IA responsable: la vulnerabilidad de las explicaciones post-hoc. Los autores afirman que, si bien los modelos pueden mantener la precisión bajo el ruido, sus explicaciones se vuelven poco fiables. Este desacoplamiento entre la precisión de la predicción y la estabilidad de la explicación sugiere que confiar en la XAI para la validación clínica en entornos ruidosos de la vida real requiere extrema cautela. El trabajo respalda el despliegue de arquitecturas eficientes, pero advierte que la interpretabilidad de estos sistemas no está garantizada bajo las condiciones imperfectas típicas de las regiones donde la malaria es endémica.