Resumo Técnico: Resposta Multimodal Eficiente a Perguntas Clínicas para Avaliação de Risco de Embolia Pulmonar

Definição do Problema

A embolia pulmonar (EP) é uma condição cardiopulmonar de alto risco que requer diagnóstico oportuno e avaliação confiável de risco clínico futuro. A prática clínica atual baseia-se em uma abordagem multimodal, integrando imagens de Angiotomografia Computadorizada de Artéria Pulmonar (ACAP) com dados longitudinais de Registros Eletrônicos de Saúde (RES), incluindo histórico do paciente, sinais vitais e resultados laboratoriais. No entanto, as abordagens atuais de aprendizado profundo para predição de risco de EP frequentemente dependem de sistemas convencionais baseados em escores ou de CNNs 3D especializadas que carecem da capacidade de gerar explicações ou apoiar o raciocínio clínico interativo. Além disso, Modelos de Linguagem de Grande Escala Multimodais (MLLMs) capazes de tal raciocínio muitas vezes exigem inferência baseada em nuvem, o que levanta preocupações de privacidade, ou demandam recursos computacionais indisponíveis em muitos ambientes clínicos.

Há uma necessidade de avaliar modelos de linguagem multimodais compactos (eficientes) que possam operar localmente enquanto integram efetivamente evidências visuais (ACAP) e textuais (RES) para responder a perguntas clínicas específicas sobre o diagnóstico e o prognóstico de EP.

Metodologia

Conjunto de Dados: INSPECT

O estudo utiliza o conjunto de dados INSPECT, um benchmark de grande escala contendo 23.248 estudos de ACAP de 19.402 pacientes. O conjunto de dados vincula os estudos de ACAP de índice com impressões de laudos radiológicos e registros estruturados longitudinais de RES.

• Tarefas: Os autores reformularam oito desfechos como tarefas estruturadas de resposta a perguntas clínicas (QA):
  • 1 Tarefa Diagnóstica: Presença de EP na ACAP de índice.
  • 7 Tarefas Prognósticas: Mortalidade hospitalar (1, 6, 12 meses), readmissão (1, 6, 12 meses) e hipertensão pulmonar (12 meses).
• Manipulação de Dados: Amostras prognósticas com acompanhamento insuficiente foram marcadas como censuradas e excluídas de avaliações de tarefas específicas. O conjunto de dados foi dividido ao nível do paciente para evitar vazamento de dados (data leakage).

Configuração Experimental

• Modelos: Quatro MLLMs compactos foram avaliados sem atualizações de parâmetros (zero-shot ou few-shot):
  • Qwen3.5 4B
  • Gemma4 E4B (4B)
  • Gemma4 E2B (2B)
  • MedGemma (4B)
• Modalidades de Entrada: Três configurações foram testadas:
  1. Apenas CTPA: ACAP volumétrica convertida em uma montagem 2D determinística de fatias axiais.
  2. Apenas EHR: Dados estruturados serializados de RES (demografia, diagnósticos, medicamentos, etc.) disponíveis antes do exame de índice.
  3. CTPA+EHR: Evidência visual e textual combinada.
• Prompting: Experimentos compararam zero-shot e four-shot prompting. As demonstrações foram extraídas estritamente da divisão de treinamento com separação ao nível do paciente.
• Saída: Os modelos foram instruídos a retornar uma resposta estruturada restrita contendo uma predição binária e um escore de confiança.
• Métricas: O desempenho foi medido usando AUROC, AUPRC (crucial devido ao desequilíbrio de classes), Acurácia e F1 score. A média macro foi utilizada entre as oito tarefas.

Principais Contribuições

1. Benchmark de MLLM Compacto: Os autores estabeleceram um benchmark para diagnóstico e prognóstico de EP multimodal usando o conjunto de dados INSPECT, reformulando oito desfechos como tarefas de QA clínica estruturada através das configurações CTPA-Only, EHR-Only e CTPA+EHR.
2. Avaliação de Estratégias de Prompting: O estudo avaliou o prompting zero-shot e four-shot em quatro modelos compactos, demonstrando que exemplos de contexto melhoram o desempenho principalmente quando o modelo já possui a capacidade de interpretar a evidência clínica relevante.
3. Identificação de Modos de Falha: O trabalho identifica modos de falha específicos em QA médica multimodal compacta, incluindo:
   • Colapso da classe majoritária: Modelos alcançando alta acurácia ao prever a classe negativa devido ao desequilíbrio de classes.
   • Desempenho fraco em CTPA-Only: Modelos compactos têm dificuldade em utilizar dados de imagem volumétricos sem contexto clínico.
   • Heterogeneidade ao nível da tarefa: Lacunas significativas de desempenho entre tarefas diagnósticas e tarefas prognósticas longitudinais.

Resultados

Desempenho Agregado

• Variância de Modelo: Qwen3.5 4B e MedGemma apresentaram desempenho próximo ao nível do acaso em todas as modalidades, frequentemente exibindo comportamento de classe majoritária (alta acurácia, F1 próximo de zero).
• Modelos Gemma: Gemma4 E4B e Gemma4 E2B demonstraram a capacidade de extrair sinais clínicos significativos, particularmente quando a evidência de EHR estava disponível.
• Melhor Desempenho: O desempenho zero-shot mais forte foi alcançado pelo Gemma4 E4B com entrada CTPA+EHR (AUROC: 0,6893, F1: 0,3286). O prompting four-shot melhorou ainda mais a recuperação de casos positivos para as configurações mais fortes do Gemma.

Descobertas Específicas por Tarefa

• Diagnóstico de EP: Esta foi a tarefa mais acessível. O Gemma4 E4B alcançou um AUROC de 0,9683 (zero-shot, CTPA+EHR) e 0,9706 (four-shot, CTPA+EHR). Notavelmente, a entrada apenas de EHR também rendeu alto desempenho, sugerindo que o contexto clínico serializado contém sinais diagnósticos fortes. O desempenho de CTPA-Only permaneceu fraco.
• Predição de Mortalidade: Mais difícil que o diagnóstico, mas mostrou discriminação significativa para os modelos Gemma com contexto clínico. O Gemma4 E4B alcançou um AUROC de 0,7242 (zero-shot, CTPA+EHR).
• Predição de Readmissão: O grupo de tarefas mais difícil. Mesmo as melhores configurações (Gemma4 E2B, four-shot, CTPA+EHR) alcançaram apenas um AUROC de 0,6141, indicando que a readmissão é moldada por fatores complexos não totalmente capturados pelos dados disponíveis.
• Hipertensão Pulmonar: Mostrou dificuldade intermediária, com o Gemma4 E4B alcançando um AUROC de 0,6952 (zero-shot, CTPA+EHR).

Modos de Falha

• Colapso da Classe Majoritária: Modelos como Qwen3.5 e MedGemma frequentemente previam a classe negativa para a maioria dos casos, resultando em acurácia enganosa, mas utilidade clínica pobre (baixo F1/AUPRC).
• Desalinhamento de Modalidade: Fornecer mais evidências (CTPA+EHR) não melhorou o desempenho para todos os modelos; beneficiou apenas modelos (como o Gemma) capazes de alinhar a evidência com a tarefa.
• Impacto Limitado de Few-Shot: O prompting four-shot refinou o alinhamento da tarefa e a recuperação de casos positivos para modelos capazes, mas não pôde compensar modelos que careciam da habilidade subjacente de interpretar a evidência.

Significância e Alegações

O artigo alega que modelos multimodais compactos têm potencial para detecção precoce de risco de EP e explicação, mas seu sucesso é altamente dependente do alinhamento entre a capacidade do modelo, a modalidade de entrada e o desfecho clínico.

• Relevância Clínica: O estudo destaca que a avaliação robusta de EP é inerentemente multimodal. Embora a imagem seja crítica para o diagnóstico, os desfechos prognósticos (mortalidade, readmissão) dependem fortemente do contexto clínico longitudinal encontrado nos EHRs.
• Eficiência vs. Capacidade: Os resultados sugerem que, embora os modelos compactos possam ser eficazes, eles são frágeis. Eles requerem fontes de evidência apropriadas (EHR ou combinada) para funcionar corretamente; depender apenas de imagens de CTPA leva a um desempenho pobre para essas arquiteturas específicas.
• Rigor de Avaliação: Os autores enfatizam que métricas de acurácia padrão são insuficientes para tarefas médicas desbalanceadas. Eles defendem a avaliação da discriminação (AUROC), da recuperação da classe positiva (AUPRC/F1) e da heterogeneidade ao nível da tarefa para evitar conclusões enganosas sobre a utilidade do modelo.

O estudo conclui que, embora os MLLMs compactos ofereçam um caminho para uma IA clínica local e preservadora de privacidade, permanecem desafios significativos para garantir que eles não colapsem em preditores de classe majoritária e possam utilizar efetivamente entradas multimodais complexas para tarefas prognósticas de longo horizonte.