Comparative Analysis of Machine Learning Models vs. Traditional Clinical Calculators for Cardiovascular Risk Prediction

Sintesi Tecnica: Analisi Comparativa di Modelli di Machine Learning rispetto ai Calcolatori Clinici Tradizionali per la Predizione del Rischio Cardiovascolare

Definizione del Problema
Le malattie cardiovascolari (CVD) rimangono la principale causa di mortalità globale, eppure le strategie di prevenzione primaria si affidano pesantemente a calcolatori di rischio tradizionali (es. Framingham, ASCVD, SCORE, HEARTS). Un limite critico di questi strumenti è la loro derivazione da popolazioni ad alto reddito dell'Europa e del Nord America, il che porta a una scarsa calibrazione e accuratezza predittiva quando applicati a contesti epidemiologici diversificati, in particolare alle comunità ispaniche/latine. Sebbene il machine learning (ML) offra il potenziale per catturare interazioni non lineari nei dati biomedici, la sua applicazione nella predizione clinica delle CVD affronta sfide riguardanti il severo squilibrio delle classi (i sopravvissuti superano di gran lunga gli eventi) e la necessità di una rigorosa calibrazione della probabilità per garantire l'utilità clinica. Questo studio affronta il divario nelle prestazioni comparative tra modelli ML allo stato dell'arte e undici calcolatori clinici convenzionali all'interno di una coorte statunitense diversificata.

Metodologia
Lo studio ha utilizzato i dati della National Health and Nutrition Examination Survey (NHANES) 1999–2018, collegati con la National Death Index per il follow-up della mortalità fino al 2019.

• Dataset: Una coorte analitica finale di 12.847 partecipanti è stata derivata da circa 230.000 record grezzi dopo una pipeline di pulizia in nove fasi. L'outcome è stata la mortalità cardiovascolare (tasso di eventi del 15,9%).
• Variabili: Il modello ha utilizzato 16 variabili predittive (inclusi età, sesso, pressione sanguigna, lipidi, diabete, fumo) e 5 feature ingegnerizzate (es. BMI, Indice Aterogeno), per un totale di 21 input per i modelli basati su alberi.
• Sviluppo del Modello: Sono stati valutati sei algoritmi: Regressione Logistica, Modelli a Rischi Proporzionali di Cox, Gradient Boosting, AdaBoost, Random Forest ed Extra Trees. Questi sono stati combinati con sei strategie di bilanciamento delle classi (inclusi il campionamento casuale sovracampionato a 1:1, 2:1, 3:1, sottocampionamento e SMOTE), producendo 36 diverse configurazioni di modelli.
• Calibrazione: Per affrontare l'inflazione artificiale della prevalenza degli eventi causata dal sovracampionamento, le probabilità predette sono state corrette utilizzando il metodo di aggiustamento della probabilità a priori di Saerens.
• Confronto: I modelli ML sono stati messi a confronto con undici calcolatori convenzionali (ASCVD Original/Colombia, Framingham Original/Colombia, High/Low SCORE, SCORE2, HEARTS Caribbean/North America/Colombia, PROCAM e REGICOR).
• Metriche di Valutazione: Le prestazioni sono state valutate utilizzando AUC-ROC, sensibilità, specificità, F1-score e un punteggio composito ponderato (40% AUC, 20% sensibilità, 20% F1, 10% Kappa, 10% Brier inverso). La significatività statistica delle differenze di AUC è stata determinata tramite il test di DeLong.
• Strumentazione: È stata sviluppata una piattaforma web-based, "CardioPrediQ", per integrare questi calcolatori e modelli ML, operando interamente lato client per garantire la privacy dei dati.

Risultati Chiave

• Prestazioni del Modello: Il Gradient Boosting Machine (GBM) con sovracampionamento 2:1 e calibrazione Saerens ha raggiunto la prestazione più elevata (AUC = 0,8934; punteggio composito = 0,7904). Le prime sei posizioni nella classifica composita sono state occupate esclusivamente da modelli ML e statistici.
• Confronto con i Calcolatori Tradizionali: Il miglior calcolatore tradizionale è stato l'ASCVD Original (AUC = 0,8843). I test di DeLong hanno rivelato che il modello GBM ha superato significativamente i calcolatori derivati da popolazioni non statunitensi (High/Low SCORE, Framingham, PROCAM, REGICOR; p < 0,05). Tuttavia, la differenza tra il modello GBM e i migliori calcolatori tradizionali (ASCVD Original, HEARTS Caribbean, ASCVD Colombia, SCORE2, HEARTS North America) non era statisticamente significativa.
• Compromessi (Trade-offs): I calcolatori tradizionali come l'ASCVD Original e l'HEARTS Caribbean hanno mostrato un'alta sensibilità (0,89–0,95) ma una minore specificità (0,59–0,71), indicando una tendenza alla sovra-predizione del rischio. Al contrario, il modello GBM ha mantenuto un compromesso più equilibrato (Sensibilità: 0,8515; Specificità: 0,8167).
• Calibrazione: Il metodo di calibrazione Saerens ha migliorato sostanzialmente la calibrazione del modello, riducendo il punteggio di Brier da 0,1286 a 0,1158.
• Importanza delle Feature: L'età è stata il predittore dominante (importanza relativa del 41,2%), seguita dalla pressione arteriosa sistolica (18,7%) e dal colesterolo totale (9,4%). Le feature ingegnerizzate hanno contribuito in modo modesto, suggerendo che le variabili cliniche primarie siano sufficienti per la maggior parte della capacità discriminativa.

Significatività e Rivendicazioni
L'articolo sostiene che i modelli ML d'insieme con un appropriato bilanciamento delle classi e la calibrazione della probabilità ottengono miglioramenti modesti ma statisticamente significativi nella discriminazione del rischio cardiovascolare rispetto ai calcolatori tradizionali, in particolare quando questi ultimi sono derivati da popolazioni con profili epidemiologici differenti.

• Superiorità Dipendente dal Contesto: Lo studio valida il fatto che, sebbene i modelli ML superino i calcolatori derivati dall'Europa in questa coorte statunitense, il loro vantaggio rispetto ai calcolatori derivati dagli USA (come l'ASCVD) è statisticamente trascurabile in termini di sola discriminazione.
• Utilità della Calibrazione: Un contributo primario è la dimostrazione che la calibrazione Saerens corregge efficacemente la sistematica sovrastima del rischio osservata nei modelli ML addestrati su dati sovracampionati, trasformandoli in strumenti con un'eccellente calibrazione della probabilità adatti al processo decisionale condiviso.
• Integrazione degli Strumenti: La piattaforma "CardioPrediQ" è presentata come una soluzione scalabile per la valutazione integrata del rischio, consentendo ai clinici di cross-validare le stime attraverso molteplici strumenti e modelli ML senza che i dati lascino il dispositivo locale.
• Implicazioni per l'America Latina: I risultati supportano il continuo utilizzo di strumenti specifici per la regione come il WHO HEARTS nei contesti dell'America Latina, suggerendo al contempo che i modelli ML calibrati potrebbero offrire un'alternativa valida laddove i dati sugli esiti locali per la ricalibrazione non siano disponibili.

Gli autori concludono che, sebbene il ML offra una prestazione composita superiore, la sua integrazione nella pratica clinica deve essere accompagnata da una rigorosa calibrazione per garantire una stima accurata del rischio ed evitare il sovratrattamento. Lo studio sottolinea che la scelta del calcolatore di rischio dovrebbe essere guidata dalla popolazione di derivazione della coorte target.