Comparative Analysis of Machine Learning Models vs. Traditional Clinical Calculators for Cardiovascular Risk Prediction

Resumo Técnico: Análise Comparativa de Modelos de Aprendizado de Máquina vs. Calculadoras Clínicas Tradicionais para Predição de Risco Cardiovascular

Definição do Problema
As doenças cardiovasculares (DCV) permanecem como a principal causa de mortalidade global, embora as estratégias de prevenção primária dependam fortemente de calculadoras de risco tradicionais (ex: Framingham, ASCVD, SCORE, HEARTS). Uma limitação crítica dessas ferramentas é que sua derivação provém de populações de alta renda da Europa e América do Norte, levando a uma calibração deficiente e baixa precisão preditiva quando aplicadas a contextos epidemiológicos diversos, particularmente em comunidades hispânicas/latinas. Embora o aprendizado de máquina (ML) ofereça o potencial de capturar interações não lineares em dados biomédicos, sua aplicação na predição clínica de DCV enfrenta desafios relacionados ao desequilíbrio severo de classes (sobreviventes superando vastamente os eventos) e à necessidade de uma calibração de probabilidade rigorosa para garantir a utilidade clínica. Este estudo aborda a lacuna no desempenho comparativo entre modelos de ML de última geração e onze calculadoras clínicas convencionais dentro de uma coorte diversificada dos EUA.

Metodologia
O estudo utilizou dados do National Health and Nutrition Examination Survey (NHANES) 1999–2018, vinculados ao National Death Index para acompanhamento de mortalidade até 2019.

• Conjunto de Dados: Um coorte analítico final de 12.847 participantes foi derivado de aproximadamente 230.000 registros brutos após um pipeline de limpeza de nove estágios. O desfecho foi a mortalidade cardiovascular (taxa de evento de 15,9%).
• Variáveis: O modelo utilizou 16 variáveis preditoras (incluindo idade, sexo, pressão arterial, lipídios, diabetes, tabagismo) e 5 características de engenharia (ex: IMC, Índice Aterogênico), totalizando 21 entradas para modelos baseados em árvores.
• Desenvolvimento do Modelo: Seis algoritmos foram avaliados: Regressão Logística, Riscos Proporcionais de Cox, Gradient Boosting, AdaBoost, Random Forest e Extra Trees. Estes foram combinados com seis estratégias de balanceamento de classe (incluindo oversampling aleatório em 1:1, 2:1, 3:1, undersampling e SMOTE), gerando 36 configurações de modelos distintas.
• Calibração: Para abordar a inflação artificial da prevalência de eventos causada pelo oversampling, as probabilidades preditas foram corrigidas usando o método de ajuste de probabilidade a priori de Saerens.
• Comparação: Os modelos de ML foram testados contra onze calculadoras convencionais (ASCVD Original/Colômbia, Framingham Original/Colômbia, High/Low SCORE, SCORE2, HEARTS Caribe/América do Norte/Colômbia, PROCAM e REGICOR).
• Métricas de Avaliação: O desempenho foi avaliado usando AUC-ROC, sensibilidade, especificidade, F1-score e um escore composto ponderado (40% AUC, 20% sensibilidade, 20% F1, 10% Kappa, 10% inverso de Brier). A significância estatística das diferenças de AUC foi determinada pelo teste de DeLong.
• Ferramentas: Uma plataforma baseada na web, "CardioPrediQ", foi desenvolvida para integrar estas calculadoras e modelos de ML, operando inteiramente no lado do cliente para garantir a privacidade dos dados.

Principais Resultados

• Desempenho do Modelo: O Gradient Boosting Machine (GBM) com oversampling de 2:1 e calibração de Saerens alcançou o maior desempenho (AUC = 0,8934; escore composto = 0,7904). As seis primeiras posições no ranking composto foram ocupadas exclusivamente por modelos de ML e estatísticos.
• Comparação com Calculadoras Tradicionais: A melhor calculadora tradicional foi a ASCVD Original (AUC = 0,8843). Testes de DeLong revelaram que o modelo GBM superou significativamente as calculadoras derivadas de populações não americanas (High/Low SCORE, Framingham, PROCAM, REGICOR; p < 0,05). No entanto, a diferença entre o modelo GBM e as melhores calculadoras tradicionais (ASCVD Original, HEARTS Caribe, ASCVD Colômbia, SCORE2, HEARTS América do Norte) não foi estatisticamente significativa.
• Compensações (Trade-offs): Calculadoras tradicionais como ASCVD Original e HEARTS Caribe exibiram alta sensibilidade (0,89–0,95), mas menor especificidade (0,59–0,71), indicando uma tendência de sobrepredição de risco. Em contraste, o modelo GBM manteve uma compensação mais equilibrada (Sensibilidade: 0,8515; Especificidade: 0,8167).
• Calibração: O método de calibração de Saerens melhorou substancialmente a calibração do modelo, reduzindo o escore de Brier de 0,1286 para 0,1158.
• Importância das Características: A idade foi o preditor dominante (importância relativa de 41,2%), seguida pela pressão arterial sistólica (18,7%) e colesterol total (9,4%). As características de engenharia contribuíram modestamente, sugerindo que as variáveis clínicas primárias são suficientes para a maior parte da capacidade discriminativa.

Significância e Alegações
O artigo alega que modelos de ML de conjunto (ensemble), com o devido balanceamento de classe e calibração de probabilidade, alcançam melhorias modestas, mas estatisticamente significativas, na discriminação de risco cardiovascular em comparação com calculadoras tradicionais, particularmente quando estas últimas são derivadas de populações com perfis epidemiológicos distintos.

• Superioridade Dependente de Contexto: O estudo valida que, embora os modelos de ML superem as calculadoras derivadas da Europa nesta coorte dos EUA, sua vantagem sobre as calculadoras derivadas dos EUA (como a ASCVD) é estatisticamente negligenciável em termos de discriminação isolada.
• Utilidade da Calibração: Uma contribuição primária é a demonstração de que a calibração de Saerens corrige efetivamente a superestimação sistemática do risco observada em modelos de ML treinados com oversampling, transformando-os em ferramentas com excelente calibração de probabilidade adequadas para a tomada de decisão compartilhada.
• Integração de Ferramentas: A plataforma "CardioPrediQ" é apresentada como uma solução escalável para avaliação de risco integrada, permitindo que clínicos validem cruzadamente as estimativas através de múltiplas ferramentas e modelos de ML sem que os dados saiam do dispositivo local.
• Implicações para a América Latina: Os achados apoiam o uso contínuo de ferramentas específicas da região, como o WHO HEARTS, em contextos latino-americanos, ao mesmo tempo em que sugerem que modelos de ML calibrados podem oferecer uma alternativa viável onde dados de desfecho locais para recalibração não estão disponíveis.

Os autores concluem que, embora o ML ofereça um desempenho composto superior, sua integração na prática clínica deve ser acompanhada de uma calibração rigorosa para garantir uma estimativa de risco precisa e evitar o sobretratamento. O estudo enfatiza que a escolha da calculadora de risco deve ser guiada pela população de derivação da coorte alvo.