Bridging visual saliency and large language models for explainable deep learning in medical imaging

Resumen Técnico: Puente entre la Saliencia Visual y los Modelos de Lenguaje Grande para el Aprendizaje Profundo Explicable en Imagenología Médica

Planteamiento del Problema
La adopción clínica de los modelos de aprendizaje profundo (DL) en imagenología médica se ve obstaculizada por su naturaleza "opaca". Si bien las Redes Neuronales Convolucionales (CNN) demuestran una alta precisión en tareas como la clasificación de tumores cerebrales, carecen de transparencia, fallando en proporcionar la justificación e interpretabilidad requeridas por los profesionales médicos. Las técnicas existentes de explicabilidad, como los mapas de saliencia visual (por ejemplo, Grad-CAM), ofrecen localización espacial pero sufren limitaciones significativas: a menudo son toscos, carecen de fundamentación semántica y no logran articular características radiológicas específicas o contextos anatómicos. Además, las explicaciones puramente visuales no cierran la brecha hacia el razonamiento clínico accionable ni hacia la elaboración de informes narrativos.

Metodología
Los autores proponen un novedoso marco de explicabilidad multimodal de tres etapas que integra la saliencia visual computacional, la contextualización anatómica consciente del dominio y la generación de lenguaje natural. La pipeline opera de la siguiente manera:

1. Entrenamiento Híbrido de CNN de Doble Salida:

   • Nueve arquitecturas CNN establecidas (incluyendo variantes de DenseNet, VGG, ResNet, Inception y EfficientNet) se extendieron con una formulación de doble salida.
   • Cada modelo comparte un codificador que alimenta dos cabezas independientes: una cabeza de clasificación (softmax sobre tres clases de tumores: Glioma, Meningioma, Pituitario) y una cabeza de segmentación (que produce un mapa de probabilidad espacial).
   • El entrenamiento utiliza una función de pérdida combinada: entropía cruzada categórica para la clasificación y pérdida del Coeficiente de Similitud de Dice (DSC) para la segmentación. Esta optimización conjunta fortalece las representaciones de características, anclando la pipeline de explicabilidad posterior.
   • El conjunto de datos consta de 4,834 imágenes de resonancia magnética (MRI) ponderadas en T1 con contraste.

2. Saliencia Visual y Segmentación Adaptativa:

   • Para garantizar la interpretabilidad, los cálculos de saliencia (Grad-CAM, Grad-CAM++ y ScoreCAM) se enrutan explícitamente solo a través de la cabeza de clasificación, evitando la contaminación de gradientes desde la rama de segmentación.
   • Los mapas de calor toscos resultantes se refinan en máscaras binarias precisas de tumores mediante una pipeline de umbralización de percentil adaptativa. A diferencia de los umbrales fijos, el percentil óptimo ($\alpha^*$) se determina por muestra maximizando el DSC contra la verdad fundamental dentro de un rango de búsqueda de [70, 97].
   • El postprocesamiento incluye la eliminación de componentes conectados pequeños (<50 píxeles) y el cierre morfológico para asegurar regiones tumorales coherentes.

3. Mapeo Anatómico y Generación Narrativa:

   • Las máscaras binarias se superponen al atlas cortical Harvard–Oxford. Este paso traduce las coordenadas a nivel de píxel en estructuras neuroanatómicas nombradas (por ejemplo, "Corteza Insular", "Giro Cingulado") y calcula el porcentaje de superposición del tumor dentro de cada región.
   • Estos hallazgos se codifican en un archivo JSON estructurado que contiene la clase predicha, la confianza, el método de saliencia y los detalles anatómicos.
   • Tres Modelos de Lenguaje Grande (LLM) —Grok3, Mistral y LLaMA— se condicionan sobre este JSON estructurado para generar informes diagnósticos coherentes, al estilo radiológico. La entrada estructurada está diseñada para minimizar las alucinaciones y asegurar la consistencia factual.

Contribuciones Clave

• Marco Multimodal Unificado: El artículo introduce una pipeline que acopla estrechamente la clasificación, la segmentación derivada de saliencia, el mapeo anatómico y la generación de lenguaje natural, avanzando más allá de las explicaciones visuales aisladas.
• Segmentación Derivada de Saliencia: Los autores proponen el uso de mapas de calor de saliencia como guías de atención para la segmentación sin requerir datos de entrenamiento adicionales de segmentación anotada. Esto ofrece una alternativa computacionalmente ligera e inherentemente explicable a las redes de segmentación dedicadas (como UNet) en entornos donde las máscaras etiquetadas son escasas.
• Contextualización Anatómica: Al mapear las salidas de segmentación al atlas Harvard–Oxford, el marco proporciona explicaciones vinculadas causalmente y conscientes del dominio que se alinean con el razonamiento clínico, traduciendo datos de píxeles crudos en etiquetas clínicamente significativas.
• Informes Impulsados por LLM: El sistema demuestra la viabilidad de utilizar LLMs para sintetizar características cuantitativas de imágenes y datos anatómicos en narrativas médicas profesionales, evaluadas en diversidad léxica, legibilidad y coherencia.

Resultados

• Rendimiento de Clasificación: Entre las nueve arquitecturas probadas, InceptionResNetV2 logró el mejor rendimiento, con una precisión de 0.96 y puntuaciones de precisión, recall y F1 equilibradas de 0.95 en las tres clases de tumores.
• Calidad de Segmentación: Grad-CAM++ produjo la mejor superposición de segmentación, logrando un DSC medio de 0.384 y un IoU de 0.259, superando a Grad-CAM y ScoreCAM. Esto se atribuye a su esquema de ponderación por neurona que reduce la activación difusa del fondo.
• Evaluación del Modelo de Lenguaje:
  • Grok3 demostró la mayor diversidad léxica (TTR: 0.467) y coherencia.
  • LLaMA logró la puntuación de legibilidad más alta (Facilidad de Lectura de Flesch: 18.85).
  • Todos los modelos generaron exitosamente informes que integraron el tipo de tumor, la participación anatómica y los posibles impactos clínicos.

Significado y Afirmaciones
El artículo afirma que al integrar modalidades visuales, anatómicas y lingüísticas, el marco propuesto produce explicaciones que son tanto técnicamente fundamentadas como significativamente interpretables. Los autores afirman que este enfoque avanza la transparencia y la responsabilidad clínica del diagnóstico de tumores cerebrales asistido por IA. Al alinear las salidas del modelo con los flujos de trabajo cognitivos y las expectativas informativas de los profesionales médicos, el marco busca fomentar una mayor confianza y facilitar una integración más fluida en las vías de diagnóstico clínico. El trabajo enfatiza que la segmentación basada en saliencia, aunque potencialmente menos precisa que los modelos de segmentación dedicados entrenados con máscaras, ofrece ventajas distintivas en eficiencia de anotación e interpretabilidad, convirtiéndola en una alternativa práctica para entornos clínicamente restringidos.