Regression vs. Medical LLMs: A Comprehensive Study for CVD and Mortality Risk Prediction

Este estudo compara técnicas de regressão tradicionais e modelos de linguagem médica (MedLLMs) na previsão de risco cardiovascular e mortalidade, demonstrando que, embora modelos pré-treinados de grande porte e técnicas de boosting alcancem desempenho competitivo (até 85% de AUROC), a calibração é essencial para corrigir a superestimação sistemática de mortalidade observada nos LLMs.

O essencial

Imagine que o coração humano é como um carro complexo. Às vezes, ele precisa de uma revisão antes de quebrar completamente. O objetivo deste estudo foi descobrir qual é a melhor "mecânica" para prever se esse carro vai dar problema (falecer) nos próximos 12 meses, baseando-se apenas nos dados do painel (os exames de sangue e histórico do paciente).

Os autores compararam duas abordagens principais: os mecânicos tradicionais (modelos estatísticos clássicos) e os novos gênios da IA (Modelos de Linguagem Médica, ou MedLLMs).

Aqui está a explicação simplificada do que eles descobriram:

1. O Cenário: O "Painel" do Paciente

Os pesquisadores usaram dados de mais de 3.000 pacientes que fizeram exames de coração na Alemanha. Eles não usaram relatórios longos escritos por médicos (que são caros e difíceis de obter), mas sim os dados brutos e organizados que todo hospital tem: idade, sexo, pressão arterial, colesterol, diabetes, etc.

Pense nisso como pegar a lista de peças e o histórico de manutenção de um carro, em vez de ler o diário de bordo do motorista.

2. Os Concorrentes: Quem está na corrida?

• Os Veteranos (Regressão e "Boosting"):
  Imagine um grupo de mecânicos experientes que usam réguas, calculadoras e fórmulas matemáticas testadas há décadas. Eles são rápidos, confiáveis e muito bons em encontrar padrões lineares. No estudo, o melhor deles foi o CatBoost, que funcionou como um "super-mecânico" usando árvores de decisão (como um jogo de "sim ou não" repetido milhares de vezes).

• Os Novatos (Inteligência Artificial Generativa / LLMs):
  Estes são os "gênios" modernos, como o ChatGPT, mas treinados especificamente para medicina. Eles não usam calculadoras; eles "leem" os dados como se fossem uma história.

  • O Desafio: A IA foi treinada para conversar, não para fazer contas de matemática pura. A pergunta era: Será que ela consegue entender números de exames de sangue e prever riscos tão bem quanto os matemáticos?

3. A Estratégia: Como falar com a IA?

Para testar a IA, os pesquisadores usaram duas técnicas criativas:

• O "Zero-Shot" (Sem treino): Eles apenas deram os dados para a IA e perguntaram: "Qual a chance de morte em 1 ano?". Foi como perguntar a um turista se ele sabe dirigir sem nunca ter visto um carro. O resultado foi mediano.
• O "Few-Shot" (Com exemplos): Aqui está a mágica. Eles deram à IA três exemplos de pacientes antes de perguntar sobre o paciente real.
  • Exemplo: "Este paciente tinha X e Y e morreu. Este outro tinha A e B e viveu. Agora, olhe para este novo paciente com C e D..."
  • Isso funcionou como dar um "jeito" ou um "macete" para a IA entender o jogo. Com essa técnica, a IA começou a brilhar.

4. Os Resultados: Quem ganhou?

• A Grande Surpresa: Os modelos de IA grandes (como o Gemini-3-Flash e o Claude-Sonnet) conseguiram competir de igual para igual com os melhores mecânicos matemáticos. Eles atingiram uma precisão de cerca de 82% a 85% na previsão.
• O Milagre dos Pequenos: Modelos menores de IA (8 bilhões de parâmetros) foram "aprimorados" (ajustados) com os dados específicos dos pacientes. Após esse "treino", eles ficaram tão bons quanto os gigantes de 70 bilhões de parâmetros e até superaram alguns modelos comerciais famosos.
• O Veredito: A IA não é mais apenas um "robô de conversa". Com os dados certos e o jeito certo de perguntar, ela se tornou uma ferramenta de diagnóstico tão poderosa quanto as melhores estatísticas matemáticas.

5. O Problema da "Confiança" (Calibração)

Havia um detalhe importante: a IA tendia a ser um pouco "medrosa". Ela às vezes previa que o risco de morte era maior do que realmente era (como um alarme de incêndio que dispara quando você só está cozinhando pão).

Os pesquisadores usaram uma técnica chamada "Platt Scaling" (pense nisso como um "ajuste de sensibilidade" no alarme). Após esse ajuste, a IA parou de gritar "fogo" sem motivo e passou a dar previsões muito mais precisas e confiáveis.

Conclusão: O Que Isso Significa para o Futuro?

Este estudo é como descobrir que você não precisa necessariamente de um engenheiro de motores (o modelo estatístico complexo) para saber se o carro vai quebrar. Às vezes, um assistente virtual muito inteligente, que leu milhões de manuais e recebeu um "jeito" de analisar os dados, consegue fazer o mesmo trabalho, e às vezes até melhor.

Resumo em uma frase:
A Inteligência Artificial, quando bem orientada e ajustada, conseguiu prever riscos de morte cardíaca tão bem quanto os melhores métodos matemáticos tradicionais, abrindo portas para diagnósticos mais rápidos e acessíveis em hospitais.

Resumo técnico

Título: Regressão vs. Modelos de Linguagem Médica (MedLLMs): Um Estudo Abrangente para Predição de Risco de Doenças Cardiovasculares (DCV) e Mortalidade

1. Problema e Motivação

As Doenças Cardiovasculares (DCV) continuam sendo a principal causa global de morbidade e mortalidade. Existe uma necessidade urgente de ferramentas preditivas robustas para detecção precoce e intervenção preventiva.

• Limitações das Abordagens Atuais: Modelos tradicionais baseados em regressão (como regressão logística, árvores de decisão e SVMs) frequentemente assumem relações lineares e têm um número limitado de preditores.
• Desafios dos LLMs: Estudos recentes sobre o uso de Grandes Modelos de Linguagem (LLMs) para previsão de mortalidade focaram predominantemente em resumos de alta hospitalar (textos não estruturados), que são caros, inconsistentes e difíceis de escalar. Além disso, muitos estudos utilizaram configurações "zero-shot" (sem ajuste fino), onde os modelos comerciais ou de código aberto apresentaram desempenho inferior às redes neurais tradicionais.
• Objetivo: Investigar se MedLLMs (Modelos de Linguagem Médica), utilizando dados estruturados rotineiramente coletados (biomarcadores e comorbidades) em vez de textos clínicos, podem competir com as técnicas de regressão de ponta e modelos tabulares para prever a mortalidade por todas as causas em 1 ano.

2. Metodologia

O estudo foi conduzido utilizando os dados do estudo LURIC (Ludwigshafen Risk and Cardiovascular Health), envolvendo 3.316 pacientes submetidos a angiografia coronária na Alemanha entre 1997 e 2000.

A. Dados e Biomarcadores
Os autores estruturaram cinco conjuntos de entrada distintos para alimentar os modelos:

1. Risk-12: 12 biomarcadores do projeto RiskyCAD (lipidômica e microRNA).
2. Core-20: 20 biomarcadores clínicos rotineiros selecionados por especialistas.
3. Lit-21: 21 biomarcadores derivados de literatura recente sobre LLMs.
4. Ext-64: 64 biomarcadores expandidos a partir de revisão de literatura sobre mortalidade em DCV.
5. Comp-94: Um painel agregado combinando todos os conjuntos acima (94 biomarcadores).

• Rótulo: Mortalidade por todas as causas dentro de 1 ano (1YM).

B. Abordagens Comparadas
O estudo comparou três categorias principais de modelos:

1. Técnicas de Regressão Clássica e Boosting: SVM, LinearBoost, CatBoost, XGBoost e RealMLP (uma Rede Neural Tabular).
2. Modelos de Fundação Tabular (TFMs): RealMLP como representante de modelos pré-treinados para dados tabulares.
3. Modelos de Linguagem Médica (MedLLMs):
   • Prompting: Uso de Zero-shot e Few-shot (3 exemplos sintéticos) para converter dados tabulares em prompts textuais.
   • Ajuste Fino Supervisionado (SFT): Fine-tuning de modelos menores (8B e 4B parâmetros) usando adaptadores LoRA para classificação direta.
   • Modelos Testados: Incluiu modelos de código aberto (MedGemma, Med42, MMed, MedLlama, Meditron, OpenBioLLM, Llama-3) e modelos comerciais (Gemini-3-Flash, Claude-Sonnet-4.5, ChatGPT-5.2).

C. Avaliação

• Métrica Principal: Área sob a Curva Característica Operacional do Receptor (AUROC) para discriminação.
• Calibração: Erro de Calibração Esperado (ECE) para avaliar a confiabilidade das probabilidades previstas.
• Correção: Aplicação de Platt Scaling para corrigir miscalibrações sistemáticas.

3. Principais Contribuições

1. Fonte de Dados Alternativa: Propõe o uso de biomarcadores rotineiros e estruturados (dados de laboratório e comorbidades) como entrada para LLMs, superando a dependência de resumos de alta hospitalar textuais.
2. Pipeline Unificado: Desenvolveu um método padronizado para traduzir registros tabulares em prompts de few-shot compatíveis com LLMs comerciais e open-source.
3. Comparação Abrangente: Realizou o estudo mais completo até o momento comparando técnicas de boosting (CatBoost, XGBoost), Modelos de Fundação Tabular e uma vasta gama de LLMs (abertos e comerciais) no mesmo cenário.
4. Análise de Calibração: Identificou e corrigiu sistematicamente a tendência de subestimação de risco dos LLMs através de técnicas de pós-processamento.

4. Resultados Chave

• Desempenho dos LLMs Grandes (70B): Com few-shot prompting otimizado, os MedLLMs grandes alcançaram até 82% de AUROC na previsão de mortalidade em 1 ano, competindo diretamente com as melhores técnicas de regressão e métodos da literatura médica (como CoroPredict, SMART e SCORE2).
• Desempenho dos Modelos Comerciais: O Gemini-3-Flash (comercial) alcançou 85% de AUROC no sub-coorte de pacientes com DCV, igualando o melhor modelo de regressão (CatBoost, também 85%) sem necessidade de ajuste fino ou adaptação de domínio específica.
• Eficácia do Ajuste Fino em Modelos Menores: Modelos menores (8B parâmetros), quando submetidos a supervised finetuning (SFT), conseguiram igualar ou superar seus equivalentes maiores (70B) e modelos comerciais pesados. Por exemplo, o Meditron-8B ajustado atingiu 82,6% de AUROC.
• Calibração: Os LLMs apresentaram uma tendência sistemática de subestimar o risco de mortalidade (ECE entre 0,05 e 0,10). A aplicação de Platt Scaling reduziu esse erro de calibração em 60% a 90%, tornando as probabilidades clinicamente confiáveis.
• Comparação com o Estado da Arte: Os resultados superam significativamente estudos anteriores onde LLMs ficavam muito atrás de Redes Neurais Artificiais (ANNs) e modelos tradicionais, demonstrando que a combinação de prompting inteligente e dados estruturados fecha essa lacuna.

5. Significado e Conclusão

O estudo demonstra que MedLLMs, quando adequadamente orientados (prompted) e ajustados (finetuned) utilizando dados biomarcadores rotineiros e de baixo custo, podem funcionar como ferramentas de alta precisão para predição de risco clínico.

• Viabilidade Clínica: Os modelos não apenas competem com as melhores técnicas estatísticas tradicionais, mas oferecem a vantagem adicional de serem capazes de raciocínio e explicação (quando configurados para isso).
• Escalabilidade: A abordagem baseada em dados estruturados remove a barreira da necessidade de resumos de alta hospitalar textuais, permitindo a aplicação em larga escala em sistemas de saúde.
• Futuro: Os autores sugerem a exploração futura de técnicas de Reinforcement Learning from Human Feedback (RLHF) e otimização de seleção de biomarcadores sob restrições orçamentárias.

Em resumo, o trabalho valida que a nova geração de LLMs médicos, combinada com dados tabulares estruturados, é uma alternativa viável e poderosa aos modelos de regressão tradicionais para estratificação de risco de mortalidade cardiovascular.