Disease Risk Prediction Using Structured EHR Data: Can Generalist Large Language Models Match Specialized Clinical Foundation Models? A Comparative Evaluation with Fine-Tuning

Esta avaliação comparativa demonstra que, embora os modelos de linguagem grandes generalistas ajustados finamente geralmente apresentem desempenho inferior aos modelos fundamentais clínicos especializados na previsão de risco de doenças em registros eletrônicos de saúde estruturados, os embeddings gerados por modelos de linguagem grandes acoplados a classificadores leves podem alcançar desempenho superior em ambas as métricas AUROC e AUPRC.

O essencial

Imagine que você está tentando prever quem pode ficar doente no futuro, analisando seu histórico médico. Por anos, médicos e cientistas de dados têm usado "especialistas" especializados para fazer isso. Pense nesses especialistas como Modelos Fundamentais Clínicos (CFMs). Eles são como chefs mestres que passaram a vida inteira cozinhando apenas com ingredientes estruturados (como códigos de laboratório, números de diagnóstico e listas de medicamentos). Eles sabem exatamente como misturar esses ingredientes específicos para prever resultados como insuficiência cardíaca ou câncer de pâncreas.

Recentemente, um novo tipo de IA chegou: Modelos de Linguagem de Grande Escala (LLMs). Eles são como gênios generalistas. Eles leram quase tudo na internet — livros, notícias, código e conversas. São incrivelmente inteligentes em entender linguagem e contexto, mas não passaram a vida inteira estudando prontuários médicos especificamente.

A grande pergunta que este artigo faz é: Esses gênios generalistas podem superar os chefs mestres especializados na previsão de risco de doença usando dados médicos estruturados?

Aqui está o que os pesquisadores descobriram, explicado de forma simples:

1. A Corrida do "Ajuste Fino": Especializado vs. Generalista

Os pesquisadores pegaram ambos os tipos de modelos e deram-lhes uma tarefa específica: prever insuficiência cardíaca em pacientes diabéticos e câncer de pâncreas em outros. Eles os "ajustaram finamente", o que é como dar aos modelos um curso intensivo nas regras específicas do jogo.

• O Resultado: Em grandes conjuntos de dados (milhares de pacientes), os chefs especializados (CFMs) ainda venceram, mas apenas por uma margem minúscula, quase invisível.
  • Analogia: Imagine uma corrida entre um carro de Fórmula 1 (CFM) e um carro esportivo muito rápido (LLM). O carro de F1 cruzou a linha em primeiro, mas apenas por uma fração de segundo.
  • O Problema: O carro de F1 (CFM) foi muito mais barato e rápido de treinar. O carro esportivo (LLM) consumiu muito mais combustível (poder computacional) e tempo para ficar pronto, mas mal perdeu.

2. O Truque do "Embedding": A Melhor Surpresa

Os pesquisadores tentaram uma terceira abordagem. Em vez de fazer os LLMs aprenderem as regras do jogo (ajuste fino), eles apenas pediram aos LLMs que lêsem o histórico do paciente e escrevessem um resumo (criando um "embedding"). Em seguida, entregaram esse resumo a uma calculadora muito simples e básica (um "classificador leve") para fazer a previsão final.

• O Resultado: Essa combinação venceu a corrida por uma larga margem.
  • Analogia: Em vez de treinar o gênio para ser médico, pediram ao gênio que escrevesse uma biografia perfeita e concisa do paciente. Em seguida, entregaram essa biografia a um estagiário inteligente com uma lista de verificação simples. O estagiário, armado com o resumo perfeito do gênio, fez previsões melhores do que os chefs especializados ou os gênios com ajuste fino.
  • Detalhes: Usando um modelo chamado Qwen3 para escrever o resumo e uma calculadora simples para lê-lo, alcançaram as pontuações de precisão mais altas (acima de 90% em alguns casos).

3. O Especialista "Pequeno"

Eles também testaram um "LLM Clínico" (Me-LLaMA), que é um gênio generalista que leu alguns livros médicos.

• O Resultado: Este modelo performou tão bem quanto os modelos generalistas massivos, embora fosse muito menor. Provou que nem sempre é necessário o maior cérebro para fazer o trabalho, se você tiver o treinamento médico adequado.

4. A Troca

O artigo destaca uma grande troca:

• Modelos Especializados (CFMs): Rápidos de treinar, baratos de executar e muito confiáveis. São os "cavalos de trabalho" da clínica.
• Modelos Generalistas (LLMs): Podem igualar ou até superar os especialistas, mas são caros e lentos de treinar. No entanto, se você os usar apenas para "resumir" os dados (o truque do embedding) em vez de treiná-los completamente, eles se tornam incrivelmente poderosos e eficientes.

A Conclusão

O artigo conclui que modelos de IA generalistas podem definitivamente igualar modelos médicos especializados na previsão de risco de doença. Na verdade, usar um modelo generalista apenas para "resumir" os dados para uma calculadora simples foi o método mais bem-sucedido de todos.

No entanto, os autores alertam que, como os modelos generalistas são tão caros de treinar e seu desempenho pode ser um pouco "instável" (às vezes ótimo, às vezes não), não devemos simplesmente descartar os modelos especializados ainda. O melhor futuro pode ser uma parceria: usar a capacidade do generalista de entender e resumir, combinada com a eficiência do modelo especializado.

Em resumo: A IA generalista é um aluno brilhante que pode tirar nota máxima no exame médico, mas a IA especializada é o médico experiente que chega lá mais rápido e mais barato. A decisão mais inteligente? Deixar o aluno escrever as anotações e deixar uma ferramenta simples corrigi-las.

Resumo técnico

1. Declaração do Problema

A indústria da saúde depende cada vez mais de modelos preditivos que utilizam Prontuários Eletrônicos de Saúde (EHR) estruturados para suporte à decisão clínica. Duas classes distintas de modelos de IA emergiram:

• Modelos Fundamentais Clínicos (CFMs): Modelos especializados (por exemplo, Med-BERT, CLMBR) pré-treinados em massivos conjuntos de dados de EHR estruturados e heterogêneos. Eles são otimizados para modelagem de trajetória do paciente e demonstraram desempenho superior na predição de doenças.
• Modelos de Linguagem de Grande Escala (LLMs) Generalistas: Modelos (por exemplo, LLaMA, Mistral) pré-treinados em dados de texto amplos e diversos. Embora adaptáveis, permanece incerto se eles podem igualar ou superar CFMs especializados quando aplicados a dados de EHR estruturados para predição de risco de doenças, particularmente dado os custos computacionais e os desafios de representação de dados.

O estudo aborda a lacuna em comparações diretas, frente a frente, entre essas duas classes de modelos em dados de EHR e de sinistros do mundo real, multi-sítio.

2. Metodologia

Conjuntos de Dados e Tarefas

O estudo avaliou o desempenho em duas tarefas de classificação binária:

1. Insuficiência Cardíaca Diabética (DHF): Predição de risco de insuficiência cardíaca em pacientes diabéticos.
2. Câncer de Pâncreas (PaCa): Predição de diagnóstico de câncer de pâncreas.

Quatro conjuntos de dados foram utilizados para garantir robustez e reprodutibilidade:

• DHF-EHR & PaCa-EHR: Dados de EHR estruturados multi-sítio de sistemas de saúde dos EUA.
• PaCa-Claims: Dados de sinistros em nível de paciente.
• PaCa-EHRSHOT: Um conjunto de dados de referência de uma única instituição e código aberto (3.810 pacientes).

Os dados foram processados em três níveis de granularidade:

• D: Apenas códigos de diagnóstico.
• DMP: Códigos de Diagnóstico, Medicamento e Procedimento.
• ALL: Todos os dados estruturados disponíveis (incluindo demografia, sinais vitais, exames laboratoriais).

Modelos Avaliados

O estudo comparou três categorias de modelos:

1. Modelos Fundamentais Clínicos (CFMs):
   • Med-BERT (v2): Baseado em codificador, pré-treinado em mais de 50 milhões de trajetórias de pacientes (diagnóstico, medicamentos, procedimentos).
   • CLMBR: Baseado em transformador decodificador, pré-treinado em 2,57 milhões de pacientes.
2. LLMs Generalistas e Clínicos (Ajustados Finamente):
   • Generalistas: Mistral-7B, LLaMA-2-13B, LLaMA-3-8B, LLaMA-3.1-8B, LLaMA-3.1-70B.
   • LLM Clínico: Me-LLaMA (ajustado finamente em texto clínico).
   • Técnica: Todos os LLMs foram ajustados finamente usando Ajuste Fino Eficiente em Parâmetros (PEFT/LoRA) e quantização.
3. Abordagem de Incorporação (Embedding) de LLM (Sem Ajuste Fino):
   • Uso de LLMs (DeepSeek, Qwen3, GPT-OSS, MedGemma, etc.) puramente como codificadores para gerar incorporações de trajetória do paciente, seguidos por classificadores leves (Regressão Logística, MLP).

Pré-processamento e Entrada de Dados

• CFMs: Códigos estruturados foram reformatados de acordo com seus pipelines específicos de pré-treinamento.
• LLMs: Dados de EHR estruturados foram serializados em prompts de texto. Dois formatos foram testados: CPLLM e LLaMA2-EHR. Este último (incorporando frequências de eventos) produziu melhores resultados.
• Incorporações (Embeddings): Para a abordagem sem ajuste fino, os primeiros 4.096 tokens do histórico do paciente foram usados para gerar incorporações.

Métricas de Avaliação

• AUROC: Área sob a Curva Característica Operacional do Receptor (métrica principal).
• AUPRC: Área sob a Curva Precisão-Revocação (crítica para conjuntos de dados desbalanceados).
• Eficiência: Tempo de ajuste fino e recursos computacionais.

3. Principais Contribuições

1. Primeira Comparação em Grande Escala: Fornecimento do primeiro benchmark frente a frente de LLMs de pesos abertos contra CFMs pré-treinados em escala massiva (dezenas de milhões de pacientes) para predição de risco de doenças.
2. Análise de Estratégia de Serialização: Avaliação do impacto da conversão de dados de EHR estruturados em texto, constatando que o formato LLaMA2-EHR (com frequência de diagnósticos) superou outros formatos.
3. Paradigma de Incorporação (Embedding) Novo: Demonstração de que o uso de LLMs como codificadores congelados para gerar representações de pacientes, acoplados a classificadores simples, supera tanto LLMs ajustados finamente quanto CFMs ajustados finamente em cenários específicos.
4. Estrutura de Reprodutibilidade: Lançamento de uma base de código abrangente (LLM2Predict) e estrutura de avaliação para apoiar benchmarks futuros.

4. Principais Resultados

Desempenho com Ajuste Fino (Grandes Coortes >30k pacientes)

• CFMs vs. LLMs Ajustados Finamente: Em grandes coortes de EHR e sinistros, CFMs ajustados finamente (Med-BERT) superaram ligeiramente, mas estatisticamente significativamente, os LLMs ajustados finamente em menos de 1% na AUROC.
  • Exemplo (DHF-EHR): Med-BERT + Bi-GRU (85,39%) vs. LLaMA-3.1-70B (84,73%).
• LLMs Clínicos: Me-LLaMA desempenhou de forma comparável a LLMs generalistas muito maiores (por exemplo, LLaMA-3.1-70B), sugerindo que o pré-treinamento específico de domínio é eficaz mesmo com contagens menores de parâmetros.
• Eficiência: CFMs foram significativamente mais rápidos para ajuste fino (<1 hora) em comparação com LLMs (4 a 190 horas, dependendo do tamanho do modelo).

Coorte de Código Aberto (PaCa-EHRSHOT)

• AUROC: LLMs ajustados finamente (LLaMA-3.1-70B) alcançaram AUROCs ligeiramente mais altas do que CFMs, mas a diferença não foi estatisticamente significativa (86,1% vs. 85,3%, p=0,27).
• AUPRC: CFMs superaram significativamente os LLMs em AUPRC, indicando melhor manejo do desbalanceamento de classes.
  • Med-BERT v2: 55,9% AUPRC.
  • LLaMA-3.1-70B: 41,1% AUPRC.

Abordagem "Incorporação + Classificador" (Melhor Geral)

• Descoberta Surpreendente: O melhor desempenho geral foi alcançado sem ajustar finamente os LLMs.
• Método: Uso de LLMs (especificamente Qwen3 e GPT-OSS) para gerar incorporações de trajetória do paciente, seguidos por uma simples Regressão Logística ou MLP.
• Desempenho:
  • AUROC: Excedeu 90% (Qwen3 8B Incorporação + Texto: 90,8%).
  • AUPRC: Alcançou 66% (GPT-OSS 20B: 66,1%).
• Esta abordagem superou tanto CFMs ajustados finamente quanto LLMs ajustados finamente no conjunto de dados EHRSHOT.

5. Significado e Conclusão

• Generalista vs. Especializado: Embora CFMs especializados permaneçam altamente competitivos e eficientes para ajuste fino em grandes conjuntos de dados estruturados, LLMs generalistas têm o potencial de igualá-los ou superá-los, particularmente quando usados como extratores de características (codificadores) em vez de modelos generativos.
• Compromisso Computacional: O ajuste fino de LLMs é computacionalmente caro (40 vezes mais longo do que CFMs) e produz ganhos marginais sobre CFMs em AUROC, frequentemente ao custo de uma AUPRC menor.
• Estratégia Ótima: O estudo sugere que, para predição de risco de EHR estruturado, a estratégia mais eficaz e eficiente pode ser o uso de LLMs modernos para gerar incorporações de pacientes de alta qualidade, que são então alimentadas em classificadores leves. Isso evita o custo massivo do ajuste fino, aproveitando o conhecimento pré-treinado do LLM.
• Direções Futuras: Os autores recomendam integrar incorporações geradas por LLMs em pipelines de treinamento de CFMs para combinar as forças de ambas as abordagens. Eles também destacam a necessidade de mais pesquisas em tarefas multiclasse, dados não estruturados (notas clínicas) e arquiteturas híbridas.

Limitações: O estudo focou em classificação binária; os resultados podem não generalizar para tarefas de regressão ou multiclasse. Além disso, a avaliação foi restrita a dados estruturados, deixando o desempenho em notas clínicas não estruturadas inexplorado.