Is Clinical Text Enough? A Multimodal Study on Mortality Prediction in Heart Failure Patients

Título: O Texto Clínico é Suficiente? Um Estudo Multimodal sobre Predição de Mortalidade em Pacientes com Insuficiência Cardíaca

1. Problema e Contexto

A predição precisa de mortalidade a curto prazo (3 meses) em pacientes com insuficiência cardíaca (IC) permanece um desafio significativo. A maioria das abordagens atuais depende exclusivamente de dados estruturados de Prontuários Eletrônicos de Saúde (EHR), como demografia e laboratórios, ou apenas de notas clínicas não estruturadas.

• Limitações Atuais: Modelos unimodais (apenas texto ou apenas dados estruturados) muitas vezes ignoram informações complementares. Além disso, a maioria dos estudos utiliza o conjunto de dados MIMIC (inglês), que não captura as particularidades terminológicas e estruturais dos registros de saúde franceses.
• Questão Central: O uso de embeddings globais de documentos (como o token [CLS]) é suficiente, ou a extração de informações em nível de entidade (ex: diagnósticos, tratamentos) combinada com dados estruturados e multimodais oferece melhor desempenho? Além disso, como os Grandes Modelos de Linguagem (LLMs) se comportam nessa tarefa específica?

2. Metodologia

2.1. Dados e Coorte

• Fonte: Dados coletados do Hospital Saint Joseph em Paris, França.
• Coorte: 2.254 internações de pacientes com IC.
• Alvo: Predição binária de mortalidade dentro de 3 meses após a alta (11% positivos, 89% negativos).
• Dados Multimodais:
  • Estruturados: 41 variáveis selecionadas (demográficas, biológicas, comorbidades, medicações) após seleção de características.
  • Não Estruturados: Notas clínicas em texto livre (francês).
• Pré-processamento de Texto: Uso de um sistema híbrido (heurístico + NER supervisionado) para extrair 23 tipos de entidades clínicas (ex: Patologia, Tratamento, Sintoma).

2.2. Abordagens de Modelagem
Os autores compararam três famílias de modelos:

1. Apenas Texto (Text-Only):
   • Baseline: Embeddings do token [CLS] de modelos pré-treinados (CamemBERT-bio e DrBERT).
   • Fusão de Entidades: Combinação do embedding [CLS] com embeddings de nível de entidade (médias ou somas das entidades extraídas).
   • Estratégias de Fusão: Média, Soma, Concatenação, Fusão Ponderada (Weighted) e Fusão com Portão (Gated).
2. Apenas Estruturados (Structured-Only):
   • Regressão LASSO para seleção de features seguida de Regressão Logística.
3. Fusão Multimodal:
   • Combinação de embeddings de texto (CLS + Entidades) com variáveis estruturadas.
   • Métodos: Fusão Simples (concatenação), Fusão Tardia (Late Fusion), e métodos baseados em atenção aprendível (Gated Fusion, Dual Cross-Attention, Bi-Gated Dual Cross-Attention).
4. Baseada em LLMs (Generativa):
   • Uso de modelos instruídos (Mistral-7B, Qwen2.5-7B, MedGemma-4B) para prever a classe diretamente via prompting.
   • Testes com diferentes modalidades de entrada (texto, tabela, multimodal) e estratégias de decodificação (greedy vs. restrita).

2.3. Avaliação

• Validação cruzada estratificada de 5 dobras.
• Métricas: Precisão, Recall, F1-score (classe positiva) e ROC-AUC.
• Testes de significância estatística pareada (t-test) entre as dobras.

3. Resultados Principais

3.1. Desempenho de Modelos Supervisionados

• Texto vs. Estruturado: Modelos apenas estruturados (AUC ~0.79) superaram ligeiramente os modelos apenas de texto (AUC ~0.75), mas a diferença não foi estatisticamente significativa em todos os casos.
• Importância das Entidades: A incorporação de representações em nível de entidade melhorou consistentemente o desempenho em relação ao uso apenas do embedding [CLS].
• Fusão Multimodal (O Melhor Desempenho):
  • A fusão supervisionada de texto e dados estruturados alcançou o melhor desempenho global.
  • O modelo Gated Fusion com CamemBERT-bio e variáveis selecionadas atingiu o F1 mais alto (48,5%) e um AUC de 81,46%.
  • A Fusão Tardia (Late Fusion) obteve o maior AUC (83,79%), superando significativamente os modelos unimodais.
  • Modelos com mecanismos de atenção (Cross-Attention) e portões (Gating) superaram fusões simples (concatenação), indicando que aprender a interação entre modalidades é crucial.

3.2. Desempenho dos LLMs

• Desempenho Geral: Os LLMs tiveram desempenho inconsistente e inferior aos modelos supervisionados, com F1-scores muito baixos (geralmente < 26%).
• Padrão de Falha:
  • Texto: LLMs performaram melhor com prompts de texto do que com dados estruturados.
  • Estruturado: Tendência a gerar apenas uma classe (viés de classe), resultando em Recall de 0 ou 100% e F1 próximo de zero.
  • Multimodal: Melhor recall, mas precisão muito baixa, indicando geração de uma única classe sem raciocínio real.
• Aderência à Instrução: A capacidade de seguir o formato de saída variou drasticamente entre modelos e modalidades (ex: Mistral falhou em formatos estruturados, gerando listas em vez de classes).
• Conclusão sobre LLMs: O prompting direto não é confiável para predição de desfechos clínicos binários neste contexto, especialmente com dados estruturados.

4. Contribuições Chave

1. Conjunto de Dados Francês: Criação e avaliação de um dataset fechado e específico de insuficiência cardíaca em francês, preenchendo uma lacuna em relação ao domínio inglês (MIMIC).
2. Fusão de Entidades: Demonstração de que enriquecer embeddings globais com representações de entidades clínicas extrai informações prognósticas mais finas e melhora a predição.
3. Comparação Multimodal Sistemática: Avaliação abrangente de estratégias de fusão, provando que a fusão multimodal supervisionada (especialmente com mecanismos de atenção) é superior a abordagens unimodais.
4. Avaliação Crítica de LLMs: Evidência empírica de que, para tarefas de predição de desfecho binário em saúde, LLMs atuais (4B-7B parâmetros) não superam modelos discriminativos supervisionados e sofrem com inconsistências de decodificação e aderência a instruções.

5. Significado e Conclusão

O estudo conclui que o texto clínico sozinho não é suficiente para uma predição de mortalidade robusta em insuficiência cardíaca. A abordagem mais eficaz é a fusão multimodal supervisionada, que integra dados estruturados com representações textuais ricas em nível de entidade.

Embora os LLMs sejam poderosos para raciocínio clínico geral, eles ainda não são confiáveis para tarefas de predição de desfecho automatizada sem validação extensiva e ajustes específicos. Para a implementação clínica, modelos transformadores supervisionados com fusão multimodal oferecem a solução mais precisa e estável atualmente.

Limitações: O estudo baseia-se em dados de um único hospital (limitando a generalização), depende da qualidade da anotação de entidades e utilizou LLMs de tamanho moderado devido a restrições de hardware hospitalar.