Medical Report Generation: A Hierarchical Task Structure-Based Cross-Modal Causal Intervention Framework

Resumen Técnico: Marco de Intervención Causal Transmodal Basado en Estructura Jerárquica de Tareas (HTSC-CIF)

Enunciado del Problema
La Generación de Informes Médicos (MRG) tiene como objetivo generar informes diagnósticos automáticamente a partir de imágenes radiológicas, aliviando la carga sobre los radiólogos. Sin embargo, los modelos actuales enfrentan tres desafíos persistentes:

1. Conocimiento de Dominio Insuficiente: Los modelos a menudo carecen de una comprensión profunda de conceptos médicos especializados y relaciones espaciales necesarias para describir con precisión las lesiones.
2. Mala Alineación Transmodal: A menudo existe una desalineación entre las señales visuales en la imagen y las descripciones de entidades en el texto generado, lo que conduce a inconsistencias semánticas.
3. Correlaciones Espurias: Los sesgos visuales y lingüísticos en los datos de entrenamiento pueden hacer que los modelos aprendan asociaciones engañosas (por ejemplo, asociar patrones de texto específicos con características visuales sin base médica), reduciendo la precisión y la interpretabilidad de los informes.

Los enfoques anteriores han abordado típicamente estos problemas de forma aislada. Este artículo argumenta que estos desafíos están interconectados y requieren un enfoque unificado y jerárquico para resolverlos de manera integral.

Metodología: HTSC-CIF
Los autores proponen el Marco de Intervención Causal Transmodal Basado en Estructura Jerárquica de Tareas (HTSC-CIF), que descompone el problema de la MRG en tres niveles progresivos: tareas de nivel bajo, nivel medio y nivel alto.

1. Tarea de Nivel Bajo: Mejora del Conocimiento de Dominio

   • Objetivo: Optimizar el codificador visual para comprender mejor el conocimiento específico del dominio y las posiciones espaciales.
   • Mecanismo: El marco emplea un módulo de Optimización de Pérdida Contrastiva de Entidades (ECLO). Extrae información de entidades (por ejemplo, categorías de enfermedades, regiones anatómicas) de los informes médicos para servir como señales de supervisión.
   • Función de Pérdida: Minimiza una pérdida combinada de Entropía Cruzada Binaria ($L_{cls}$) para la predicción de la existencia de entidades y Pérdida Contrastiva ($L_{loc}$) para la predicción de la ubicación de entidades. Esto obliga al modelo a alinear las características de la imagen con ubicaciones espaciales específicas y descripciones de entidades, mejorando las capacidades de incrustación del codificador visual para las tareas posteriores.

2. Tarea de Nivel Medio: Alineación Transmodal

   • Objetivo: Lograr consistencia semántica entre las características visuales y las descripciones de texto mediante una generación guiada mutuamente.
   • Mecanismo: El marco utiliza Modelado de Lenguaje con Prefijos (PLM) y Modelado de Imagen Enmascarada (MIM).
     • PLM: Utiliza un prefijo del texto del informe y características visuales para guiar la generación del sufijo de texto restante.
     • MIM: Reconstruye características visuales enmascaradas utilizando tanto características visuales de baja resolución no enmascaradas como incrustaciones de texto.
   • Resultado: Esta etapa pre-entrena la red para generar resultados preliminares de informes, asegurando que las modalidades visuales y textuales estén estrechamente alineadas antes de la intervención causal.

3. Tarea de Nivel Alto: Intervención Causal para la Interpretabilidad

   • Objetivo: Mitigar las correlaciones espurias causadas por sesgos en los datos transmodales (confusores) para mejorar la interpretabilidad.
   • Mecanismo: El marco adopta un Modelo Causal Estructural (SCM) y emplea Intervención Causal Frontal.
     • Identifica factores de confusión ($Z$) que crean caminos de puerta trasera entre las características visuales ($F_v$), las características de texto ($F_w$) y el informe ($R$).
     • Para eliminar estos confusores no observables, el modelo introduce mediadores: un Módulo de Desconfusión Visual (VDM) y un Módulo de Desconfusión Lingüística (LDM).
     • VDM: Construye un mediador visual ($M_v$) fusionando tokens de alta atención local y características agrupadas globales para cortar los caminos de confusión visual.
     • LDM: Construye un mediador lingüístico ($M_l$) reconstruyendo características visuales utilizando tokens de vocabulario para bloquear los caminos de confusión lingüística.
   • Entrenamiento: La tarea de nivel alto se ajusta finamente utilizando los pesos pre-entrenados de la tarea de nivel medio, optimizando la pérdida de verosimilitud negativa logarítmica ($L_{high}$) mientras se aplica la lógica de intervención causal.

Contribuciones Clave

• Integración Jerárquica: Este es el primer trabajo que aborda simultáneamente la mejora del conocimiento de dominio, la alineación transmodal y la intervención causal dentro de un único marco jerárquico para la MRG. Los tres niveles están diseñados para guiarse mutuamente y reforzarse progresivamente entre sí.
• Inyección de Conocimiento sin Sobrecarga de Arquitectura: El marco inyecta con éxito conocimiento de dominio de nivel bajo en tareas de nivel superior, permitiendo que los niveles superiores accedan a conocimiento de dominio rico sin requerir complejidad adicional en la arquitectura de la red.
• Intervención Causal Frontal: El diseño de módulos específicos de desconfusión (VDM y LDM) reduce eficazmente los confusores transmodales, mejorando la interpretabilidad de los informes generados.

Resultados Experimentales
Los autores evaluaron HTSC-CIF en dos conjuntos de datos de referencia estándar: MIMIC-CXR e IU-Xray.

• Rendimiento: El modelo logró un rendimiento de vanguardia (SOTA) en múltiples métricas de Generación de Lenguaje Natural (NLG), incluyendo BLEU-1, BLEU-3, BLEU-4, METEOR y ROUGE-L en ambos conjuntos de datos. También obtuvo el segundo mejor rendimiento en BLEU-2 y CIDEr.
• Estudios de Ablación: Los experimentos confirmaron que cada nivel jerárquico contribuye a las mejoras de rendimiento. Específicamente, la inclusión de los módulos LDM y VDM en la tarea de nivel alto mejoró significativamente la coincidencia de oraciones largas (ROUGE-L) y la precisión en descripciones de oraciones cortas/específicas de enfermedades (BLEU-1, CIDEr).
• Estudios de Casos: El análisis cualitativo demostró que el marco genera informes con una lógica de contexto y una lógica de descripción de enfermedades superiores en comparación con los modelos de referencia, identificando y conectando correctamente las entidades médicas.

Significado y Afirmaciones
El artículo afirma que HTSC-CIF representa un avance significativo al tratar la MRG no como una tarea monolítica, sino como una jerarquía estructurada de problemas interdependientes. Al modelar explícitamente las relaciones causales entre modalidades e intervenir en los factores de confusión, el marco aborda las causas raíz del sesgo y la desalineación que afectan a los métodos anteriores. Los autores afirman que este enfoque conduce a informes médicos más precisos, fiables e interpretables, como lo demuestran los resultados integrales de vanguardia en referencias públicas. El código se hará público tras su aceptación.