Is Clinical Text Enough? A Multimodal Study on Mortality Prediction in Heart Failure Patients

A continuación presento un resumen técnico detallado del artículo "Is Clinical Text Enough? A Multimodal Study on Mortality Prediction in Heart Failure Patients", traducido y adaptado al español.

1. Planteamiento del Problema

La predicción precisa de la mortalidad a corto plazo en pacientes con insuficiencia cardíaca (IC) sigue siendo un desafío clínico significativo. Los enfoques actuales suelen depender exclusivamente de datos estructurados de las Historias Clínicas Electrónicas (EHR) o de notas clínicas no estructuradas por separado.

• Limitaciones de los datos estructurados: Aunque variables como demografía, pruebas de laboratorio y comorbilidades son útiles, a menudo carecen del contexto evolutivo y sintomático detallado.
• Limitaciones de los embeddings globales: Los modelos de lenguaje basados en transformadores (como BERT) suelen utilizar la representación del token [CLS] para resumir todo el documento, lo que puede pasar por alto información crítica a nivel de entidades (ej. diagnósticos específicos, tratamientos, síntomas).
• Brecha de idioma y dominio: La mayoría de los estudios se basan en el conjunto de datos MIMIC (inglés), mientras que las EHR en francés presentan diferencias terminológicas y estructurales. Además, el uso de Grandes Modelos de Lenguaje (LLM) para predicción directa en contextos clínicos multimodales está poco explorado.

Objetivo: Evaluar y comparar modelos basados en transformadores para predecir la mortalidad a 3 meses en pacientes con IC, analizando la eficacia de enfoques unimodales (solo texto, solo datos estructurados) frente a enfoques multimodales, y evaluando el rendimiento de LLMs frente a modelos supervisados.

2. Metodología

2.1. Datos y Recursos

• Cohorte: 2.254 estancias hospitalarias de pacientes con insuficiencia cardíaca del Hospital Saint-Joseph en París, Francia.
• Etiquetado: Clasificación binaria: 1 (muerte en 3 meses post-alta) vs. 0 (supervivencia). Desequilibrio de clases: ~11% positivos, 89% negativos.
• Datos Estructurados: 115 variables iniciales (demográficas, biológicas, terapéuticas) reducidas a 41 variables tras selección de características.
• Datos No Estructurados: Notas clínicas en texto libre en francés.
• Procesamiento de Texto:
  • Pre-annotación automática: Uso de heurísticas y patrones para identificar 23 tipos de entidades clínicas (patologías, tratamientos, dosis, etc.).
  • Validación: Corrección manual por expertos y no expertos.
  • Modelo NER: Entrenamiento de un modelo BERT supervisado para extraer representaciones de entidades, logrando un F1 micro-promedio de 0.78.

2.2. Enfoques de Modelado

Se evaluaron tres familias de modelos:

1. Solo Texto (Text-Only):
   • Baseline: Uso exclusivo del embedding [CLS] de modelos preentrenados (CamemBERT-bio y DrBERT).
   • Representaciones basadas en entidades: Fusión de embeddings de [CLS] con embeddings de entidades extraídas (promedio, suma, concatenación, fusión ponderada y fusión con "gating").
2. Solo Estructurado (Structured-Only):
   • Regresión logística con regularización L2 y selección de características LASSO sobre las 41 variables seleccionadas.
3. Fusión Multimodal:
   • Fusión Simple: Concatenación directa de embeddings de texto y datos estructurados.
   • Fusión Interactiva (Aprendible): Mecanismos de "Gated Fusion", Atención Cruzada Dual (Dual Cross Attention) y variantes con "Gating" para ponderar dinámicamente la importancia de cada modalidad y entidad.
4. Enfoque Generativo (LLMs):
   • Uso de modelos instructivos (Mistral-7B, Qwen2.5-7B, MedGemma-4B) mediante prompting para predecir la clase directamente.
   • Se probaron entradas de texto, datos estructurados (en formato tabla y convertidos a texto) y multimodales.

2.3. Evaluación

• Validación cruzada estratificada de 5 pliegues.
• Métricas: Precisión, Recall, F1-score (para la clase positiva) y ROC-AUC.
• Pruebas de significancia estadística (t-test pareada) sobre los valores de AUC.

3. Contribuciones Clave

1. Propuesta de Representación Híbrida: Demostración de que enriquecer los embeddings globales ([CLS]) con representaciones a nivel de entidad clínica mejora significativamente la predicción.
2. Estrategias de Fusión Multimodal: Diseño y comparación exhaustiva de estrategias de fusión (desde concatenación simple hasta mecanismos de atención cruzada con gating), estableciendo que la fusión supervisada con interacción aprendible es superior.
3. Análisis de LLMs en Contexto Clínico: Evaluación sistemática de LLMs para tareas de predicción binaria, revelando su inconsistencia y dificultades de adherencia a instrucciones en comparación con modelos supervisados.
4. Conjunto de Datos Francés: Creación y uso de un conjunto de datos específico de insuficiencia cardíaca en francés, superando la dependencia de datos en inglés.

4. Resultados Principales

4.1. Rendimiento de Modelos Supervisados

• Texto vs. Estructurado: Los modelos solo estructurados obtuvieron un AUC superior (0.79) a los modelos solo texto (0.75), confirmando la utilidad de las variables clínicas estándar. Sin embargo, el texto contiene información pronóstica valiosa.
• Importancia de las Entidades: Incorporar representaciones de entidades mejoró el rendimiento sobre el uso exclusivo de [CLS]. La Fusión con Gating (Gated Fusion) logró el mejor F1 (39.5%) en el modelo solo texto.
• Fusión Multimodal: La combinación de texto y datos estructurados ofreció el mejor rendimiento global.
  • El modelo Gated Dual Cross Attention (DrBERT) y Gated Fusion (CamemBERT-bio) alcanzaron los mejores resultados.
  • El mejor modelo multimodal (Late Fusion con CamemBERT-bio) alcanzó un AUC de 0.838 y un F1 de 48.5%, superando significativamente a los enfoques unimodales.
  • La inclusión de información a nivel de entidad fue crucial para maximizar el rendimiento en la fusión multimodal.

4.2. Rendimiento de LLMs

• Desempeño General: Los LLMs mostraron un rendimiento muy inferior a los modelos supervisados, con F1 scores consistentemente bajos (<26%).
• Inconsistencia:
  • Los prompts basados en texto funcionaron mejor que los basados en datos estructurados o multimodales.
  • Los LLMs tendieron a generar predicciones de una sola clase (sesgo hacia la clase positiva o negativa) dependiendo del modelo y la modalidad, en lugar de razonar clínicamente.
  • Adherencia a Instrucciones: Hubo problemas significativos de formato (generación de explicaciones no solicitadas) y dificultad para mantener la coherencia en entradas estructuradas.
• Datos Estructurados Textualizados: Convertir tablas a texto mejoró ligeramente la interpretabilidad y adherencia en algunos modelos (ej. Mistral), pero no mejoró sustancialmente la capacidad predictiva.

5. Significado y Conclusiones

• La fusión multimodal es superior: La combinación de datos estructurados y texto clínico no estructurado, especialmente cuando se utilizan mecanismos de fusión que capturan interacciones y se enriquecen con información de entidades, ofrece la solución más robusta para la predicción de mortalidad a corto plazo en IC.
• Limitaciones de los LLMs actuales: Aunque los LLMs son potentes para el razonamiento clínico general, su aplicación directa para tareas de predicción binaria en entornos clínicos restringidos (sin fine-tuning específico) es actualmente poco fiable. Su rendimiento es inconsistente y a menudo inferior a modelos discriminativos supervisados más simples.
• Relevancia Clínica: El estudio subraya que los modelos supervisados multimodales, que integran el contexto de las notas médicas con variables clínicas precisas, son la vía más prometedora para el apoyo a la toma de decisiones clínicas, siempre que se aborden los desafíos de interpretabilidad y generalización externa.

En resumen, el texto clínico por sí solo no es suficiente; la integración inteligente de entidades extraídas del texto con datos estructurados mediante arquitecturas de transformadores multimodales representa el estado del arte actual para esta tarea, mientras que el uso de LLMs "out-of-the-box" para predicción directa aún requiere avances significativos.