Comparative Evaluation of Machine Learning Models for Heart Disease Prediction: Performance, Calibration, Threshold Selection, and Explainability

Les maladies cardiaques demeurent la principale cause de décès dans le monde, faisant des millions de victimes chaque année, avec un fardeau disproportionné pesant sur les pays à revenus faibles et intermédiaires. À l'ère moderne, les médecins et les chercheurs se tournent de plus en plus vers l'apprentissage automatique pour repérer les motifs subtils dans les données des patients qui signalent une augmentation du risque avant qu'une crise ne survienne. Ces programmes informatiques agissent comme de puissants outils pour passer au crible des antécédents médicaux complexes, cherchant des connexions entre des facteurs tels que l'âge, la pression artérielle et le taux de cholestérol pour prédire qui pourrait développer une maladie cardiaque. Cependant, bien que ces outils soient très prometteurs, leur valeur réelle dépend entièrement de la manière dont ils sont testés. Un modèle qui performe bien sur un groupe restreint et spécifique de patients peut échouer complètement lorsqu'il est appliqué à une population différente. Pour être véritablement utile, un outil de prédiction doit non seulement deviner correctement assez souvent, mais aussi fournir des probabilités fiables et fonctionner de manière cohérente à travers différents types de personnes.

Une équipe de chercheurs issus d'universités de l'Ouganda et de Victoria s'est donné pour mission de tester cinq approches différentes d'apprentissage automatique en utilisant une collection bien connue de dossiers de santé cardiaque. Leur objectif n'était pas seulement de trouver le programme informatique le plus précis, mais de comprendre comment ces programmes se comportent, comment ils prennent leurs décisions et s'ils restent fiables lorsque les données changent légèrement. Ils ont travaillé avec un ensemble de données contenant 303 dossiers de patients, chacun décrivant l'âge, la pression artérielle, le cholestérol, la fréquence cardiaque et les résultats de tests cardiaques spécifiques d'une personne. Les chercheurs ont divisé ces données en deux groupes : un groupe plus large pour enseigner au programme informatique ce qu'il doit rechercher, et un groupe plus petit, distinct, pour tester la performance des programmes sur des patients qu'ils n'avaient jamais vus auparavant. Ils ont veillé à ce que la répartition soit équitable, en conservant la même proportion de patients malades et sains dans les deux groupes.

Après avoir entraîné les cinq modèles différents, les chercheurs ont constaté qu'une méthode appelée régression logistique émergeait comme la plus équilibrée et la plus fiable. Cette approche identifiait correctement les maladies cardiaques chez environ 85 patients sur 100 dans le groupe de test. Plus important encore, elle le faisait avec un haut degré de précision, ce qui signifie qu'elle signalait rarement des personnes saines comme étant malades, et qu'elle était également très efficace pour détecter les cas réels de la maladie. Bien que d'autres modèles, tels que les forêts aléatoires (random forests) et les arbres de décision, aient montré des promesses, ils commettaient soit plus d'erreurs dans l'identification des patients malades, soit peinaient à les distinguer des personnes saines aussi efficacement. Un modèle, connu sous le nom de Bayes, était excellent pour trouver les patients malades mais était trop prompt à donner l'alerte, étiquetant par erreur de nombreuses personnes saines comme souffrant de maladies cardiaques. Le modèle de régression logistique se distinguait car il offrait la meilleure combinaison globale entre la détection de la maladie et l'évitement des fausses alertes.

L'étude a également examiné de près la manière dont ces modèles prennent leurs décisions finales de type oui ou non. Par défaut, de nombreux programmes informatiques décident qu'un patient est malade si son score de risque calculé est supérieur à 50 %. Les chercheurs ont testé si le fait de modifier ce point de coupure pour un nombre légèrement plus élevé améliorerait les résultats. Ils ont découvert que l'augmentation du seuil ne rendait pas le modèle plus précis globalement ; cela déplaçait simplement l'équilibre. Cela rendait le modèle légèrement meilleur pour éviter les fausses alertes, mais légèrement moins efficace pour détecter les cas réels. Cela suggère que pour cet ensemble de données spécifique, le réglage standard était déjà bien ajusté, et que le simple ajustement des chiffres ne résolvait pas les limitations sous-jacentes des données.

Au-delà de la précision brute, les chercheurs ont examiné les facteurs sur lesquels les modèles s'appuyaient le plus pour faire leurs prédictions. En mélangeant systématiquement les données pour voir quels éléments étaient les plus critiques, ils ont découvert que le nombre de gros vaisseaux sanguins visibles sur une angiographie, le type spécifique de douleur thoracique rapportée par le patient et les résultats d'un test d'effort au thallium étaient les prédicteurs les plus puissants. Ces conclusions concordent avec les connaissances médicales établies, confirmant que les modèles informatiques apprenaient à partir des signaux les plus cliniquement pertinents plutôt qu'à partir d'un bruit aléatoire. L'étude a également exploré la performance des modèles à travers différents groupes, notant que le système fonctionnait légèrement mieux pour les femmes que pour les hommes et présentait des schémas différents selon les groupes d'âge, bien que le faible nombre de patients dans certaines catégories rende ces observations préliminaires.

Une partie cruciale de la recherche consistait à tester comment les modèles se comporteraient s'ils étaient entraînés sur plus de données. Les chercheurs ont simulé cela en augmentant progressivement la quantité d'informations reçues par les modèles pendant l'entraînement. Ils ont observé qu'à mesure que l'ensemble d'entraînement s'agrandissait, les modèles devenaient plus cohérents et fiables, suggérant que la performance actuelle était limitée par la petite taille des données disponibles plutôt que par un défaut des algorithmes eux-mêmes. L'étude conclut que, bien que la régression logistique soit l'outil le plus robuste parmi ceux testés pour cet ensemble de données spécifique, les résultats ne peuvent pas être immédiatement appliqués à toutes les populations. Les données utilisées provenaient d'une collection historique spécifique et ne représentent pas la diversité des populations de patients que l'on trouve en Afrique subsaharienne ou dans d'autres régions. Avant que ces outils ne puissent être utilisés pour guider les décisions cliniques pour de nouveaux groupes de personnes, ils doivent être testés sur des ensembles de données plus larges et indépendants qui reflètent la diversité réelle des patients. D'ici là, ces conclusions servent de référence rigoureuse, montrant qu'une évaluation minutieuse et la transparence sont tout aussi importantes que les chiffres de précision eux-mêmes.