Bridging the Gap: Explainability Metrics for AI Image-Based Clinical Diagnostics

Resumen Técnico: Cerrando la brecha: Métricas de explicabilidad para el diagnóstico clínico basado en imágenes por IA

Declaración del problema
Aunque la Inteligencia Artificial (IA), particularmente las Redes Neuronales Convolucionales (CNN), demuestra potencial para mejorar la precisión diagnóstica en imágenes médicas, su integración en los flujos de trabajo clínicos se ve obstaculizada por la naturaleza de "caja negra" de estos modelos. Los clínicos a menudo carecen de confianza en sistemas que no pueden proporcionar un razonamiento interpretable alineado con el juicio clínico. Los marcos de evaluación actuales dependen en gran medida de métricas estadísticas (p. ej., precisión, sensibilidad, especificidad), que cuantifican la corrección predictiva pero no logran evaluar si el razonamiento interno del modelo se alinea con la lógica del experto humano. Esto crea una brecha crítica: un modelo puede lograr una alta precisión mientras depende de correlaciones espurias o características de la imagen irrelevantes, lo que lo vuelve clínicamente desconfiable a pesar de su rendimiento estadístico.

Metodología
El estudio propone un marco de evaluación por etapas para evaluar el rendimiento de la IA en el diagnóstico de infecciones en heridas crónicas, integrando la explicabilidad como una métrica central.

1. Conjunto de datos y entrenamiento del modelo: Los autores utilizaron un conjunto de datos público de imágenes de heridas crónicas (545 infectadas, 697 no infectadas) adquiridas bajo condiciones clínicas del mundo real. Se entrenaron tres arquitecturas CNN —ResNet-50, EfficientNet V2B0 y DenseNet121— utilizando aprendizaje por transferencia (transfer learning). Para abordar la variabilidad en la iluminación y los dispositivos de adquisición, se aplicó como paso de preprocesamiento una red de normalización de iluminación basada en GAN (basada en Pix2Pix). Los modelos fueron ajustados mediante técnicas estándar (dropout, parada temprana, reducción de la tasa de aprendizaje) y evaluados en un conjunto de prueba de 200 imágenes no utilizadas en el entrenamiento.
2. Técnicas de explicabilidad: Se aplicaron dos métodos de explicabilidad post-hoc a un subconjunto de 10 imágenes de heridas infectadas clasificadas correctamente:
   • Mapas de Saliencia: Un método basado en gradientes que computa la derivada parcial de la salida con respecto a los píxeles de entrada para identificar regiones de alta influencia.
   • LIME (Explicaciones Locales Interpretables Independientes del Modelo): Un método basado en perturbaciones que segmenta las imágenes en superpíxeles (usando agrupamiento SLIC), los enmascara y entrena un modelo sustituto lineal local para aproximar el comportamiento de la CNN.
3. Verdad de campo clínica: Dos especialistas en heridas crónicas revisaron de forma independiente las mismas 10 imágenes y llegaron a un consenso sobre las regiones de píxeles específicas indicativas de infección. Estas anotaciones sirvieron como el estándar de referencia clínico.
4. Métrica propuesta (Índice de Acuerdo de Explicabilidad - EAI): Para cuantificar la alineación entre las explicaciones de la IA y el razonamiento clínico, los autores introdujeron el Índice de Acuerdo de Explicabilidad (EAI). El EAI se calcula para los casos de verdaderos positivos donde tanto la IA como los clínicos coinciden en el diagnóstico. Se define como la relación entre los píxeles identificados como influyentes por el método de explicabilidad (LIME o Saliencia) que se superponen con las regiones anotadas por el clínico, dividido por el número total de píxeles anotados por el clínico.
   • Concepto de la fórmula: $EAI = \frac{|Píxeles_{IA} \cap Píxeles_{Clínico}|}{|Píxeles_{Clínico}|}$

Resultos clave

• Rendimiento diagnóstico: Los modelos CNN lograron una precisión de clasificación moderada en el conjunto de prueba, siendo EfficientNet V2B0 el mejor desempeño con un 72% de precisión, 64% de sensibilidad y 80% de especificidad. ResNet-50 alcanzó un 71% de precisión y DenseNet121 un 66%.
• Rendimiento de la explicabilidad: A pesar de una clasificación razonable, la alineación entre las explicaciones generadas por la IA y el razonamiento clínico fue baja.
  • LIME: Los valores medios de EAI oscilaron entre 0.2119 (ResNet-50) y 0.2999 (EfficientNet V2B0).
  • Mapas de Saliencia: Los valores medios de EAI oscilaron entre 0.1946 (DenseNet121) y 0.2811 (ResNet-50).
• Discrepancia: Los bajos puntajes de EAI (que oscilan aproximadamente entre 0.19 y 0.30) indican que, si bien los modelos identificaron correctamente las heridas infectadas, las regiones visuales que resaltaron como "importantes" para la decisión rara vez coincidieron con las regiones que los clínicos identificaron como diagnósticamente relevantes.

Contribuciones clave

1. Introducción del Índice de Acuerdo de Explicabilidad (EAI): El artículo propone una nueva métrica cuantitativa diseñada para medir la concordancia entre las explicaciones visuales de la IA y las anotaciones clínicas. A diferencia de las métricas tradicionales que solo evalúan la corrección de la predicción, el EAI evalúa el razonamiento detrás de la predicción.
2. Validación empírica de la brecha "Precisión-Explicabilidad": El estudio proporciona evidencia concreta de que una alta precisión de clasificación no garantiza la interpretabilidad clínica. La disparidad significativa entre la precisión (hasta un 72%) y el EAI (aprox. 0.20–0.30) resalta que los modelos actuales pueden estar "en lo cierto por las razones equivocadas".
3. Evaluación de métodos estándar de xAI en contexto clínico: El estudio demuestra que las técnicas de explicabilidad ampliamente utilizadas (LIME y mapas de Saliencia) luchan por capturar consistentemente las características clínicamente relevantes en tareas complejas de imágenes médicas, como la evaluación de heridas, lo que sugiere la necesidad de un refinamiento específico al dominio.

Significado y afirmaciones
Los autores afirman que el marco EAI propuesto ofrece una vía práctica para cerrar la brecha entre el rendimiento algorítmico y la confianza clínica. El estudio sostiene que, para que la IA se integre de forma segura en la atención médica, la validación debe extenderse más allá de las métricas estadísticas para incluir la alineación del razonamiento del modelo con la experiencia clínica.

El artículo concluye modestamente que, si bien el EAI es un paso adelante, los métodos de explicabilidad actuales son insuficientes para el despliegue clínico sin un mayor refinamiento. Enfatiza que la explicabilidad es una dimensión necesaria, aunque no suficiente, de la IA confiable, señalando que factores como la calibración del modelo y la estimación de la incertidumbre también desempeñan papeles críticos. Los autores posicionan al EAI no como una solución final, sino como una herramienta para evaluar cuantitativamente y fomentar mejoras en la transparencia de los sistemas de IA médica.