Comparative Analysis of Machine Learning Models vs. Traditional Clinical Calculators for Cardiovascular Risk Prediction

Résumé technique : Analyse comparative des modèles d'apprentissage automatique par rapport aux calculateurs cliniques traditionnels pour la prédiction du risque cardiovasculaire

Énoncé du problème
Les maladies cardiovasculaires (MCV) demeurent la principale cause de mortalité mondiale, pourtant les stratégies de prévention primaire reposent largement sur des calculateurs de risque traditionnels (ex. : Framingham, ASCVD, SCORE, HEARTS). Une limitation critique de ces outils est qu'ils sont dérivés de populations à revenus élevés d'Europe et d'Amérique du Nord, ce qui entraîne un faible étalonnage et une précision prédictive médiocre lorsqu'ils sont appliqués à des contextes épidémiologiques divers, particulièrement au sein des communautés hispaniques/latino-américaines. Bien que l'apprentissage automatique (ML) offre le potentiel de capturer les interactions non linéaires dans les données biomédicales, son application dans la prédiction clinique des MCV se heurte à des défis concernant le déséquilibre sévère des classes (les survivants étant largement plus nombreux que les cas d'événements) et la nécessité d'un étalonnage rigoureux des probabilités pour garantir l'utilité clinique. Cette étude traite de l'écart de performance entre les modèles de ML de pointe et onze calculateurs cliniques conventionnels au sein d'une cohorte diversifiée des États-Unis.

Méthodologie
L'étude a utilisé les données de l'enquête nationale sur l'examen de la santé et de la nutrition (NHANES) 1999–2018, liées à l'indice national de mortalité (National Death Index) pour un suivi de la mortalité jusqu'en 2019.

• Jeu de données : Une cohorte analytique finale de 12 847 participants a été dérivée d'environ 230 000 enregistrements bruts après un pipeline de nettoyage en neuf étapes. Le critère de jugement était la mortalité cardiovasculaire (taux d'événement de 15,9 %).
• Variables : Le modèle a utilisé 16 variables prédictives (incluant l'âge, le sexe, la pression artérielle, les lipides, le diabète, le tabagisme) et 5 caractéristiques d'ingénierie (ex. : IMC, indice athérogène), soit un total de 21 entrées pour les modèles basés sur les arbres.
• Développement des modèles : Six algorithmes ont été évalués : la régression logistique, le modèle à risques proportionnels de Cox, le Gradient Boosting, l'AdaBoost, la Forêt aléatoire (Random Forest) et l'Extra Trees. Ceux-ci ont été combinés avec six stratégies d'équilibrage de classe (incluant le suréchantillonnage aléatoire à 1:1, 2:1, 3:1, le sous-échantillonnage et le SMOTE), produisant 36 configurations de modèles distinctes.
• Étalonnage : Pour traiter l'inflation artificielle de la prévalence des événements causée par le suréchantillonnage, les probabilités prédites ont été corrigées à l'aide de la méthode d'ajustement de la probabilité a priori de Saerens.
• Comparaison : Les modèles de ML ont été comparés à onze calculateurs conventionnels (ASCVD Original/Colombie, Framingham Original/Colombie, High/Low SCORE, SCORE2, HEARTS Caraïbes/Amérique du Nord/Colombie, PROCAM et REGICOR).
• Métriques d'évaluation : La performance a été évaluée via l'AUC-ROC, la sensibilité, la spécificité, le score F1 et un score composite pondéré (40 % AUC, 20 % sensibilité, 20 % F1, 10 % Kappa, 10 % inverse de Brier). La signification statistique des différences d'AUC a été déterminée par le test de DeLong.
• Outils : Une plateforme web, « CardioPrediQ », a été développée pour intégrer ces calculateurs et modèles de ML, fonctionnant entièrement côté client pour garantir la confidentialité des données.

Résultats clés

• Performance des modèles : Le Gradient Boosting Machine (GBM) avec un suréchantillonnage de 2:1 et l'étalonnage de Saerens a obtenu la performance la plus élevée (AUC = 0,8934 ; score composite = 0,7904). Les six premières positions du classement composite étaient exclusivement occupées par des modèles de ML et statistiques.
• Comparaison avec les calculateurs traditionnels : Le meilleur calculateur traditionnel était l'ASCVD Original (AUC = 0,8843). Les tests de DeLong ont révélé que le modèle GBM surpassait de manière significative les calculateurs dérivés de populations non américaines (High/Low SCORE, Framingham, PROCAM, REGICOR ; p < 0,05). Cependant, la différence entre le modèle GBM et les meilleurs calculateurs traditionnels (ASCVD Original, HEARTS Caraïbes, ASCVD Colombie, SCORE2, HEARTS Amérique du Nord) n'était pas statistiquement significative.
• Compromis : Les calculateurs traditionnels comme l'ASCVD Original et HEARTS Caraïbes présentaient une sensibilité élevée (0,89–0,95) mais une spécificité plus faible (0,59–0,71), indiquant une tendance à la surprédiction du risque. En revanche, le modèle GBM maintenait un compromis plus équilibré (Sensibilité : 0,8515 ; Spécificité : 0,8167).
• Étalonnage : La méthode d'étalonnage de Saerens a considérablement amélioré l'étalonnage du modèle, réduisant le score de Brier de 0,1286 à 0,1158.
• Importance des caractéristiques : L'âge était le prédicteur dominant (importance relative de 41,2 %), suivi de la pression artérielle systolique (18,7 %) et du cholestérol total (9,4 %). Les caractéristiques d'ingénierie ont contribué modestement, suggérant que les variables cliniques primaires suffisent pour la majeure partie de la capacité de discrimination.

Signification et affirmations
L'article affirme que les modèles de ML d'ensemble, avec un équilibrage de classe et un étalonnage de probabilité appropriés, atteignent des améliorations modestes mais statistiquement significatives de la discrimination du risque cardiovasculaire par rapport aux calculateurs traditionnels, particulièrement lorsque ces derniers sont dérivés de populations ayant des profils épidémiologiques différents.

• Supériorité dépendante du contexte : L'étude valide que, bien que les modèles de ML surpassent les calculateurs dérivés d'Europe dans cette cohorte américaine, leur avantage sur les calculateurs dérivés des États-Unis (comme l'ASCVD) est statistiquement négligeable en termes de discrimination seule.
• Utilité de l'étalonnage : Une contribution primaire est la démonstration que l'étalonnage de Saerens corrige efficacement la surestimation systématique du risque observée dans les modèles de ML entraînés sur des données suréchantillonnées, les transformant en outils dotés d'un excellent étalonnage de probabilité, adaptés à la prise de décision partagée.
• Intégration des outils : La plateforme « CardioPrediQ » est présentée comme une solution évolutive pour l'évaluation intégrée du risque, permettant aux cliniciens de procéder à une validation croisée des estimations à travers de multiples outils et modèles de ML sans que les données ne quittent l'appareil local.
• Implications pour l'Amérique latine : Les conclusions soutiennent l'utilisation continue d'outils spécifiques à la région, tels que le programme OMS HEARTS dans les contextes latino-américains, tout en suggérant que les modèles de ML étalonnés pourraient offrir une alternative viable là où les données de résultats locales pour le réétalonnage sont indisponibles.

Les auteurs concluent que, bien que le ML offre une performance composite supérieure, son intégration dans la pratique clinique doit être accompagnée d'un étalonnage rigoureux pour garantir une estimation précise du risque et éviter le surtraitement. L'étude souligne que le choix du calculateur de risque doit être guidé par la population de dérivation de la cohorte cible.