LLMs for Cardiovascular Risk Prediction from Structured Clinical Data

Resumo Técnico: LLMs para Predição de Risco Cardiovascular a partir de Dados Clínicos Estruturados

Definição do Problema
A doença arterial coronária (DAC) continua sendo uma das principais causas de mortalidade global, necessitando de sistemas preditivos confiáveis para o diagnóstico precoce. Embora os modelos tradicionais de aprendizado de máquina (ML) desempenhem de forma eficaz em dados clínicos numéricos estruturados (ex: idade, pressão arterial, colesterol), eles frequentemente falham em aproveitar a rica linguagem não estruturada encontrada em prontuários eletrônicos (EHRs), notas médicas e relatórios diagnósticos. Isso cria uma lacuna entre os requisitos de entrada dos algoritmos de ML padrão e o formato narrativo da documentação clínica do mundo real. Este trabalho aborda o desafio de unir dados estruturados e linguagem natural para melhorar a avaliação de risco de DAC, enquanto explora a viabilidade de Grandes Modelos de Linguagem (LLMs) em tarefas de predição clínica.

Metodologia
Os autores propõem um framework híbrido que integra dados clínicos estruturados, geração de narrativas sintéticas e classificação baseada tanto em ML convencional quanto em LLM. A metodologia procede através de quatro estágios primários:

1. Construção do Dataset e Engenharia de Atributos:
   O estudo utiliza um conjunto de dados de DAC publicamente disponível, composto por 1.190 registros de pacientes com 11 atributos clínicos (incluindo idade, sexo, tipo de dor torácica, pressão arterial em repouso, colesterol, glicemia de jejum, resultados de ECG, frequência cardíaca máxima, angina induzida pelo exercício, depressão de ST e inclinação de ST). Variáveis codificadas são mapeadas para categorias clínicas legíveis por humanos (ex: convertendo indicadores binários de sexo para "masculino"/"feminino" e resultados de ECG para termos descritivos) para criar strings de atributos interpretáveis.

2. Geração de Narrativa Clínica Sintética:
   Utilizando LLMs (especificamente GPT e Gemini), as strings de atributos estruturados são transformadas em dois formatos de texto distintos:

   • Resumos Estruturados: Pares de atributo-valor separados por vírgulas.
   • Narrativas de Texto Livre: Relatórios clínicos detalhados escritos no estilo de notas médicas, descrevendo a condição do paciente em frases completas.
     O processo de geração emprega configurações específicas de temperatura (0 para saída estruturada determinística; 0,3 para fluxo narrativo variado) para garantir a precisão médica sem inventar dados.

3. Validação de Narrativa e Garantia de Qualidade:
   Um pipeline de validação rigoroso garante a fidelidade dos dados sintéticos. O LLM atua como um validador de dados médicos para identificar contradições ou valores ausentes nas narrativas geradas. Subsequentemente, um processo de "extração reversa" solicita ao LLM que extraia valores clínicos das narrativas de texto livre de volta para um formato estruturado. Uma pontuação de consistência é calculada comparando esses valores extraídos contra os registros originais de verdade fundamental (ground-truth). Campos categóricos exigem correspondências exatas, enquanto campos numéricos permitem uma margem de erro (<0,5) para considerar o arredondamento do texto.

4. Modelagem Preditiva:

   • ML Convencional: Quatro algoritmos (Regressão Logística, Random Forest, Support Vector Machine e XGBoost) são treinados nos dados estruturados originais. Os dados são divididos em 80/20 (estratificado), padronizados e avaliados usando acurácia, precisão, recall, F1-score e ROC-AUC. O ajuste de hiperparâmetros é realizado no melhor modelo via GridSearchCV.
   • Classificação Baseada em LLM: As narrativas de texto livre sintéticas são usadas para avaliar LLMs sob condições de prompting zero-shot e few-shot (5, 10 e 15 exemplos). Os modelos são instruídos a fornecer rótulos binários de doença (presença/ausência de DAC) sem treinamento de pesos tradicional.

Principais Contribuições

• Framework Híbrido: A proposta de um sistema integrado que combina dados estruturados, LLMs para geração de narrativas e ML para predição.
• Pipeline de Narrativa Sintética: Um método inovador para converter registros clínicos tabulares em relatórios clínicos de linguagem natural adequados para tarefas de PLN (Processamento de Linguagem Natural).
• Mecanismo de Validação: O desenvolvimento de um sistema de pontuação de consistência por extração reversa, que alcançou uma fidelidade média de 94,61% em todo o dataset, garantindo que as narrativas sintéticas reflitam fielmente os dados clínicos originais.
• Avaliação Comparativa: Uma comparação sistemática de modelos de ML tradicionais contra a classificação baseada em LLM sob variadas estratégias de prompting (zero-shot e few-shot).

Resultos

• Validação: O pipeline de geração de narrativa alcançou uma pontuação de consistência média de 94,61%. Especificamente, 45,3% dos registros atingiram uma pontuação perfeita de 100% e 95,4% pontuaram 90% ou mais.
• Desempenho de Machine Learning: Entre os modelos convencionais, o Random Forest obteve o maior desempenho, com uma acurácia de teste de 92,86% e um ROC-AUC de 97,07%. O XGBoost seguiu de perto (92,44% de acurácia), enquanto a Regressão Logística e o SVM mostraram resultados menores, porém competitivos.
• Desempenho de LLM: A classificação baseada em LLM (usando GPT e Gemini) demonstrou capacidade de interpretar linguagem natural, mas apresentou uma acurácia inferior aos melhores modelos de ML.
  • GPT: Alcançou 66,7% de acurácia em zero-shot, melhorando para 73,3% com prompting de 15-shot.
  • Gemini: Alcançou 60,0% de acurácia em zero-shot, melhorando para 80,0% com prompting de 15-shot.
  • O desempenho geralmente melhorou com o aumento dos exemplos de few-shot, embora não tenha superado o baseline do Random Forest.

Significância e Alegações
O artigo alega que, embora os modelos de conjunto tradicionais (especificamente o Random Forest) atualmente superem os LLMs em acurácia preditiva bruta em dados estruturados, as abordagens baseadas em LLM oferecem vantagens distintas para o implante clínico no mundo real. A principal significância reside na preservação de privacidade: os LLMs podem operar diretamente em descrições de pacientes em linguagem natural, o que significa que dados numéricos sensíveis (valores laboratoriais exatos, leituras específicas de pressão arterial, códigos diagnósticos) não precisam ser explicitamente expostos ou compartilhados em formatos brutos. Isso permite a avaliação de risco baseada apenas no texto narrativo.

Os autores concluem que a combinação de dados clínicos estruturados com narrativas geradas por LLM possibilita novos caminhos para sistemas de predição clínica híbridos. Eles sugerem que trabalhos futuros devem focar em testar o framework em datasets maiores e diversos, realizar o ajuste fino (fine-tuning) de modelos específicos de domínio (ex: ClinicalBERT) e integrar modalidades adicionais como ECG ou dados de imagem em sistemas de suporte à decisão clínica.