Resumen Técnico: Respuesta Multimodal Eficiente a Preguntas Clínicas para la Evaluación del Riesgo de Embolia Pulmonar

Planteamiento del Problema

La embolia pulmonar (EP) es una condición cardiopulmonar de alto riesgo que requiere un diagnóstico oportuno y una evaluación fiable del riesgo clínico futuro. La práctica clínica actual se basa en un enfoque multimodal, integrando imágenes de Angiotomografía Computarizada de Arteria Pulmonar (CTPA) con datos longitudinales de la Historia Clínica Electrónica (HCE), incluyendo el historial del paciente, signos vitales y resultados de laboratorio. Sin embargo, los enfoques actuales de aprendizaje profundo para la predicción del riesgo de EP suelen depender de sistemas convencionales basados en puntuaciones o de CNNs 3D especializados que carecen de la capacidad de generar explicaciones o de apoyar el razonamiento clínico interactivo. Además, los Modelos de Lenguaje Multimodales (MLLM) a gran escala capaces de tal razonamiento suelen requerir inferencia basada en la nube, lo que plantea preocupaciones de privacidad, o demandan recursos computacionales no disponibles en muchos entornos clínicos.

Existe la necesidad de evaluar modelos de lenguaje multimodales compactos (eficientes) que puedan operar localmente mientras integran eficazmente la evidencia visual (CTPA) y textual (HCE) para responder preguntas clínicas específicas sobre el diagnóstico y pronóstico de la EP.

Metodología

Conjunto de Datos: INSPECT

El estudio utiliza el conjunto de datos INSPECT, un benchmark a gran escala que contiene 23,248 estudios de CTPA de 19,402 pacientes. El conjunto de datos vincula los estudios de CTPA índice con las impresiones de los informes radiológicos y los registros estructurados longitudinales de la HCE.

• Tareas: Los autores reformulan ocho puntos finales como tareas estructuradas de respuesta a preguntas clínicas (QA):
  • 1 Tarea Diagnóstica: Presencia de EP en la CTPA índice.
  • 7 Tareas Pronósticas: Mortalidad intrahospitalaria (1, 6, 12 meses), readmisión (1, 6, 12 meses) e hipertensión pulmonar (12 meses).
• Manejo de Datos: Las muestras pronósticas con seguimiento insuficiente se marcan como censuradas y se excluyen de las evaluaciones de tareas específicas. El conjunto de datos se divide a nivel de paciente para evitar la fuga de datos (data leakage).

Configuración Experimental

• Modelos: Se evaluaron cuatro MLLMs compactos sin actualizaciones de parámetros (zero-shot o few-shot):
  • Qwen3.5 4B
  • Gemma4 E4B (4B)
  • Gemma4 E2B (2B)
  • MedGemma (4B)
• Modalidades de Entrada: Se probaron tres configuraciones:
  1. Solo CTPA: CTPA volumétrica convertida en un montaje 2D determinista de cortes axiales.
  2. Solo HCE: Datos estructurados serializados de la HCE (demografía, diagnósticos, medicamentos, etc.) disponibles antes del escaneo índice.
  3. CTPA+HCE: Evidencia visual y textual combinada.
• Prompting: Los experimentos compararon el zero-shot y el four-shot prompting. Las demostraciones se extrajeron estrictamente de la división de entrenamiento con separación a nivel de paciente.
• Salida: Se instruyó a los modelos para que devolvieran una respuesta estructurada restringida que contuviera una predicción binaria y un puntaje de confianza.
• Métricas: El rendimiento se midió utilizando AUROC, AUPRC (crucial debido al desequilibrio de clases), Exactitud (Accuracy) y F1 score. Se utilizó el promedio macro a través de las ocho tareas.

Contribuciones Clave

1. Benchmark de MLLM Compacto: Los autores establecieron un benchmark para el diagnóstico y pronóstico multimodal de la EP utilizando el conjunto de datos INSPECT, reformulando ocho puntos finales como tareas de QA clínica estructurada en entornos de Solo CTPA, Solo HCE y CTPA+HCE.
2. Evaluación de Estrategias de Prompting: El estudio evaluó el prompting zero-shot y four-shot a través de cuatro modelos compactos, demostrando que los ejemplos en contexto mejoran el rendimiento principalmente cuando el modelo ya posee la capacidad de interpretar la evidencia clínica relevante.
3. Identificación de Modos de Fallo: El trabajo identifica modos de fallo específicos en el QA médico multimodal compacto, incluyendo:
   • Colapso de la clase mayoritaria: Modelos que logran una alta exactitud prediciendo la clase negativa debido al desequilibrio de clases.
   • Rendimiento débil de Solo CTPA: Los modelos compactos tienen dificultades para utilizar datos de imagen volumétricos sin contexto clínico.
   • Heterogeneidad a nivel de tarea: Brechas significativas de rendimiento entre las tareas diagnósticas y las tareas pronósticas longitudinales.

Resultados

Rendimiento Agregado

• Varianza del Modelo: Qwen3.5 4B y MedGemma funcionaron cerca del nivel del azar en todas las modalidades, exhibiendo a menudo un comportamiento de clase mayoritaria (alta exactitud, F1 cercano a cero).
• Modelos Gemma: Gemma4 E4B y Gemma4 E2B demostraron la capacidad de extraer señales clínicas significativas, particularmente cuando la evidencia de la HCE estaba disponible.
• Mejor Rendimiento: El mejor rendimiento zero-shot fue logrado por Gemma4 E4B con entrada CTPA+HCE (AUROC: 0.6893, F1: 0.3286). El prompting de cuatro disparos (four-shot) mejoró aún más la recuperación de casos positivos para las configuraciones más fuertes de Gemma.

Hallazgos Específicos por Tarea

• Diagnóstico de EP: Esta fue la tarea más accesible. Gemma4 E4B logró un AUROC de 0.9683 (zero-shot, CTPA+HCE) y 0.9706 (four-shot, CTPA+HCE). Notablemente, la entrada Solo HCE también produjo un alto rendimiento, sugiriendo que el contexto clínico serializado contiene señales diagnósticas fuertes. El rendimiento de Solo CTPA se mantuvo débil.
• Predicción de Mortalidad: Más difícil que el diagnóstico, pero mostró una discriminación significativa para los modelos Gemma con contexto clínico. Gemma4 E4B logró un AUROC de 0.7242 (zero-shot, CTPA+HCE).
• Predicción de Readmisión: El grupo de tareas más difícil. Incluso las mejores configuraciones (Gemma4 E2B, four-shot, CTPA+HCE) lograron solo un AUROC de 0.6141, lo que indica que la readmisión está determinada por factores complejos no capturados totalmente por los datos disponibles.
• Hipertensión Pulmonar: Mostró una dificultad intermedia, con Gemma4 E4B logrando un AUROC de 0.6952 (zero-shot, CTPA+HCE).

Modos de Fallo

• Colapso de la Clase Mayoritaria: Modelos como Qwen3.5 y MedGemma a menudo predijeron la clase negativa para la mayoría de los casos, resultando en una exactitud engañosamente alta pero con baja utilidad clínica (F1/AUPRC bajos).
• Desalineación de Modalidades: Proporcionar más evidencia (CTPA+HCE) no mejoró el rendimiento para todos los modelos; solo benefició a los modelos (como Gemma) capaces de alinear la evidencia con la tarea.
• Impacto Limitado de Few-Shot: El prompting de cuatro disparos refinó la alineación de la tarea y la recuperación de casos positivos para los modelos capaces, pero no pudo compensar a los modelos que carecían de la capacidad subyacente para interpretar la evidencia.

Significado y Reivindicaciones

El artículo afirma que los modelos multimodales compactos tienen el potencial para la detección temprana de riesgo de EP y la explicación, pero su éxito depende altamente de la alineación entre la capacidad del modelo, la modalidad de entrada y el punto final clínico.

• Relevancia Clínica: El estudio destaca que la evaluación robusta de la EP es inherentemente multimodal. Si bien la imagen es crítica para el diagnóstico, los resultados pronósticos (mortalidad, readmisión) dependen fuertemente del contexto clínico longitudinal encontrado en las HCE.
• Eficiencia vs. Capacidad: Los resultados sugieren que, aunque los modelos compactos pueden ser efectivos, son frágiles. Requieren fuentes de evidencia apropiadas (HCE o combinada) para funcionar correctamente; depender únicamente de las imágenes de CTPA conduce a un rendimiento pobre para estas arquitecturas específicas.
• Rigor de la Evaluación: Los autores enfatizan que las métricas de exactitud estándar son insuficientes para tareas médicas desequilibradas. Abogan por evaluar la discriminación (AUROC), la recuperación de la clase positiva (AUPRC/F1) y la heterogeneidad a nivel de tarea para evitar conclusiones erróneas sobre la utilidad del modelo.

El estudio concluye que, si bien los MLLM compactos ofrecen un camino hacia una IA clínica local y preservadora de la privacidad, persisten desafíos significativos para asegurar que no colapsen en predictores de clase mayoritaria y que puedan utilizar eficazmente entradas multimodales complejas para tareas pronósticas de largo alcance.