When Explanations Mislead: A Systematic Audit of Saliency Map Localization Failures in Chest X-Ray AI Despite Correct Predictions

Resumen Técnico: Cuando las explicaciones inducen a error

Planteamiento del problema
El artículo aborda una brecha crítica de seguridad en la IA de radiología clínica: la suposición acrítica de que las predicciones correctas de los modelos de aprendizaje profundo están intrínsecamente acompañadas de explicaciones espaciales precisas. Los mapas de saliencia (por ejemplo, GradCAM, Integrated Gradients) se utilizan ampliamente como la capa de explicación de facto para generar confianza en el clínico. Sin embargo, la creencia implícita de que un modelo que identifica una patología (por ejemplo, consolidación) está necesariamente atendiendo a la región anatómica correcta permanece sin verificar a escala. Los autores identifican un modo de "falla peligrosa" específico: casos en los que un modelo realiza una predicción correcta con alta confianza, pero el mapa de saliencia generado no localiza la patología, lo que podría inducir a error a los clínicos que confían en la explicación visual para validar el resultado de la IA.

Metodología
El estudio realiza una auditoría sistemática utilizando el conjunto de datos VinDr-CXR, que cuenta con cuadros delimitadores de consenso de múltiples radiólogos para 28 hallazgos patológicos.

• Conjunto de datos y muestreo: De 18,000 imágenes, los autores seleccionaron una muestra estratificada de 416 imágenes a través de seis patologías (Atelectasia, Cardiomegalia, Consolidación, Nódulo/Masa, Derrame Pleural, Neumotórax). La verdad de campo (ground truth) se definió como la media de tres anotaciones de radiólogos.
• Modelo: Se utilizó un DenseNet-121 preentrenado (de TorchXRayVision) como base. El modelo no fue ajustado (fine-tuned) en VinDr-CXR para evitar la fuga de datos (data leakage). Las predicciones se consideraron positivas si la confianza superaba el 0.5.
• Métodos de XAI: Se aplicaron cuatro métodos de explicabilidad post-hoc a las 336 imágenes que recibieron predicciones positivas correctas:
  1. GradCAM y GradCAM++: Mapas de activación de gradiente por clase.
  2. Integrated Gradients: Atribución axiomática a lo largo de un camino desde una línea base.
  3. LIME: Modelado de sustituto local mediante perturbaciones de superpíxeles.
• Métricas de evaluación:
  • Intersección sobre la Unión (IoU): Midió el solapamiento entre el mapa de saliencia binarizado (top 50% de activación) y la verdad de campo del radiólogo.
  • Precisión del Juego de Apuntar (Pointing Game Accuracy): Una métrica binaria que otorga 1 si el píxel de máxima activación cae dentro del cuadro de la verdad de campo.
  • Tasa de Falla Peligrosa: La proporción de predicciones correctas donde el IoU fue inferior a 0.1. Este umbral se seleccionó para representar un solapamiento clínicamente insignificante que podría desviar activamente la atención.

Resultados Clave
La auditoría revela un desacoplamiento severo entre la precisión de la predicción y la fidelidad de la explicación:

• Alta tasa de falla: En todos los cuatro métodos de XAI, el 83.0% de las imágenes clasificadas correctamente constituyeron "fallas peligrosas" (IoU < 0.1).
• Bajo rendimiento de localización:
  • IoU medio: Osciló entre 0.044 (LIME) y 0.062 (Integrated Gradients).
  • Precisión del Juego de Apuntar: Osciló entre 1.2% (LIME) y 27.4% (Integrated Gradients).
• Comparación de métodos: Integrated Gradients funcionó mejor, pero aun así falló en el 76.2% de los casos. LIME fue el que peor funcionó, con una tasa de falla del 92.0%.
• Variación de la patología: Las condiciones que ocupan grandes regiones anatómicas (Cardiomegalia, Derrame Pleural) mostraron valores de IoU ligeramente superiores, mientras que las condiciones focales (Nódulo/Masa, Neumotórax) mostraron la menor precisión de localización.
• Evidencia cualitativa: Casos representativos (por ejemplo, Atelectasia) mostraron modelos prediciendo correctamente la condición con alta confianza (por ejemplo, 63%) mientras que el mapa de saliencia se concentraba en regiones irrelevantes (por ejemplo, bases pulmonares/diafragma) en lugar de la patología anotada.

Contribuciones Clave

1. Cuantificación del desacoplamiento: El estudio proporciona evidencia empírica de que en la IA actual de radiografías de tórax (específicamente DenseNet-121), una alta precisión de predicción no garantiza explicaciones espacialmente fieles.
2. Definición de "Falla Peligrosa": Los autores formalizan un modo de falla distinto de la simple clasificación errónea: una predicción correcta emparejada con una explicación engañosa, lo que plantea un riesgo único para la seguridad clínica al explotar la confianza del clínico.
3. Benchmarking de métodos XAI: El artículo establece una línea base comparativa para GradCAM, GradCAM++, Integrated Gradients y LIME en el conjunto de datos VinDr-CXR, demostrando que incluso el método con mejor desempeño (Integrated Gradients) no cumple con los estándares de localización clínica.

Significancia y Reclamaciones
El artículo argumenta que la práctica actual de desplegar sistemas aumentados con XAI basándose únicamente en la precisión de la predicción es fundamentalmente errónea. Los autores afirman que:

• La plausibilidad visual es insuficiente: Los mapas de calor que parecen anatómicamente plausibles pueden ser sistemáticamente erróneos en su localización.
• Puertas de validación obligatorias: La precisión de la predicción por sí sola es insuficiente para el despliegue clínico. Los autores recomiendan que la validación de la localización frente a la verdad de campo del radiólogo se convierta en un paso obligatorio antes de que las herramientas XAI se integren en los flujos de trabajo radiológicos.
• Recomendaciones específicas:
  • Se debe establecer un mínimo de 60% de precisión en el juego de apuntar como umbral de despliegue.
  • Integrated Gradients es preferible a las variantes de GradCAM y LIME para tareas de radiografía de tórax, aunque ninguno cumple actualmente con los estándares de seguridad propuestos.
  • LIME no debe utilizarse para la localización en este entorno debido a su precisión de apuntado cercana a cero.

El estudio concluye que la suposición de que "una predicción correcta implica una explicación confiable" no está respaldada por los datos y que, sin una validación rigurosa de la localización, los mapas de saliencia pueden degradar activamente la toma de decisiones clínicas en lugar de apoyarla.