Integrating Machine Learning Ensembles and Large Language Models for Heart Disease Prediction Using Voting Fusion

Cette étude démontre que l'intégration d'un modèle d'ensemble d'apprentissage automatique avec un grand modèle de langage via une fusion par vote améliore la précision de la prédiction des maladies cardiaques par rapport à l'utilisation de ces technologies séparément, atteignant ainsi 96,62 % de précision.

L'essentiel

Imaginez que nous essayons de prédire si une voiture va tomber en panne (ici, c'est le cœur qui risque de faire une crise). Pour cela, nous avons réuni deux types d'experts très différents pour former une équipe de diagnostic.

1. Les deux équipes en présence

L'équipe des "Mécaniciens de Précision" (Les Modèles d'Apprentissage Automatique)
Imaginez un groupe de mécaniciens très expérimentés qui ont passé des années à étudier des milliers de rapports techniques de voitures. Ils sont excellents pour analyser des chiffres précis : la pression des pneus, la température du moteur, le niveau d'huile.

• Leur force : Ils sont très rapides, très précis avec les tableaux de données et ne se laissent pas distraire. Dans cette étude, ils ont atteint un taux de réussite de 95,8 %. C'est déjà excellent !
• Leur faiblesse : Parfois, quand les données sont un peu floues ou inhabituelles, ils peuvent hésiter car ils suivent des règles strictes.

L'équipe des "Philosophes Intuitifs" (Les Grands Modèles de Langage ou LLM)
Ce sont comme des savants très cultivés qui ont lu des millions de livres, d'articles médicaux et de histoires de patients. Ils sont capables de comprendre le contexte, de faire des liens subtils et de "raisonner" comme un humain.

• Leur force : Ils peuvent expliquer pourquoi ils pensent qu'il y a un risque, comme un médecin qui vous parle avec empathie.
• Leur faiblesse : Quand on leur donne juste un tableau de chiffres bruts (sans texte), ils sont un peu perdus. Ils font des erreurs plus souvent, avec un taux de réussite d'environ 79 %. Ils sont comme un grand philosophe qui doit deviner le code d'une serrure en regardant juste les chiffres, sans comprendre la mécanique.

2. L'expérience : Qui gagne ?

Les chercheurs ont voulu savoir : "Si on met ces deux équipes ensemble, est-ce qu'on obtient le super-héros du diagnostic ?"

• Scénario A : Les Mécaniciens seuls. Ils gagnent souvent, mais ils manquent parfois les cas très rares ou complexes.
• Scénario B : Les Philosophes seuls. Ils essaient de deviner, mais ils se trompent trop souvent sur les données brutes.
• Scénario C : L'Alliance (La Fusion). C'est ici que la magie opère. Les chercheurs ont créé un système où les deux équipes discutent avant de donner leur verdict final.

3. La solution : Le "Vote de la Sagesse"

Imaginez un conseil de guerre.

1. Les Mécaniciens disent : "D'après les chiffres, il y a 95 % de chances que le moteur soit en danger."
2. Les Philosophes disent : "Hmm, en lisant le contexte, je sens une incertitude, mais je suis d'accord pour dire qu'il y a un risque."

Le système combine leurs avis. Si les Mécaniciens sont sûrs d'eux, ils dominent la décision. Mais si les Mécaniciens sont hésitants sur un cas bizarre, l'avis intuitif des Philosophes peut aider à trancher.

Le résultat final ?
En combinant les deux, l'équipe mixte a atteint un taux de réussite de 96,6 %. Ce n'est pas une différence énorme en pourcentage (un petit 0,8 %), mais en médecine, chaque petit pourcentage compte pour sauver des vies. C'est comme passer d'un excellent diagnostic à un diagnostic quasi-parfait.

4. La leçon à retenir

Cette étude nous apprend une chose importante avec une belle métaphore :

Un grand savant (LLM) seul ne vaut pas un bon mécanicien (ML) pour réparer une voiture, mais si le mécanicien a un doute, le conseil du savant peut l'aider à ne pas faire d'erreur fatale.

En résumé :

• Pour les données structurées (tableaux de chiffres), les modèles classiques (les "mécaniciens") sont les rois incontestés.
• Les nouvelles intelligences artificielles (les "philosophes") sont encore imparfaites sur les chiffres bruts.
• Mais en les mariant intelligemment, on crée un outil de diagnostic plus fiable, plus sûr et capable de mieux gérer les cas difficiles. C'est l'avenir de la médecine assistée par ordinateur : ne pas remplacer le médecin, mais lui donner une équipe de deux experts qui se complètent.

Résumé technique

1. Problématique

Les maladies cardiovasculaires (MCV) restent la première cause de mortalité mondiale, ce qui rend cruciale une identification précoce et une classification précise des risques. Bien que les algorithmes d'apprentissage automatique (ML), en particulier les méthodes d'ensemble (Random Forest, XGBoost, etc.), excellent dans la modélisation de données tabulaires complexes et non linéaires, ils peinent parfois à gérer les incertitudes cliniques et les cas limites.

Parallèlement, l'émergence des Grands Modèles de Langage (LLM) offre de nouvelles capacités de raisonnement « zero-shot » (sans entraînement préalable) et « few-shot » (avec quelques exemples). Cependant, leur performance sur des données numériques déséquilibrées et structurées reste incohérente et dépendante des invites (prompts). Il n'existait jusqu'alors aucun cadre intégrant la précision statistique des ensembles ML avec le raisonnement sémantique des LLM pour la prédiction des maladies cardiaques.

2. Méthodologie

L'étude propose un pipeline hybride novateur combinant des ensembles d'apprentissage automatique traditionnels et des LLM via une stratégie de fusion par vote.

A. Données et Prétraitement

• Jeu de données : Un ensemble fusionné de 1 190 dossiers patients provenant de cinq sources (Cleveland, Hongrie, Suisse, Long Beach VA, Statlog).
• Features : Utilisation de 11 attributs d'entrée (âge, sexe, type de douleur thoracique, pression artérielle, cholestérol, etc.) et une variable cible (présence de maladie cardiaque).
• Prétraitement : Encodage des variables catégorielles, normalisation MinMax, imputation des valeurs manquantes et application de la technique SMOTE pour corriger le déséquilibre des classes.
• Division : Partitionnement stratifié en ensembles d'entraînement (60 %), de validation (20 %) et de test (20 %).

B. Modèles d'Apprentissage Automatique (ML)

Neuf modèles ont été évalués, dont les meilleurs (CatBoost, Random Forest, XGBoost, LightGBM, Gradient Boosting) ont été sélectionnés pour former un classifieur par vote (Voting Classifier).

• Stratégie : Utilisation du vote doux (soft voting) pondéré par la précision et le vote dur (hard voting).
• Objectif : Maximiser la robustesse et la généralisation sur les données tabulaires.

C. Modèles de Langage (LLM)

Dix LLMs (via l'API OpenRouter) ont été testés dans des configurations zero-shot et few-shot pour prédire la présence de maladie cardiaque directement à partir des données structurées converties en texte.

• Modèles notables : Qwen3-Coder, LLaMA-4-Maverick, Kimi-K2, Gemini 2.5 Flash, etc.
• Fusion LLM : Les prédictions des 5 meilleurs LLM ont été agrégées par vote pondéré.

D. Architecture de Fusion Hybride (ML-LLM)

Le système final combine les deux approches :

1. L'ensemble ML fournit une prédiction statistique de haute précision.
2. Les LLM agissent comme une couche de raisonnement méta pour interpréter les cas ambigus ou incertains.
3. Fusion : Les scores de probabilité sont pondérés par la précision de chaque modèle (les modèles ML ayant un poids plus élevé en raison de leur supériorité sur les données tabulaires) pour produire un score de risque final et une décision clinique.

3. Résultats Clés

Performance des Modèles Individuels

• ML (Ensemble) : Les modèles basés sur les arbres (CatBoost, Random Forest) ont surperformé les classifieurs simples. L'ensemble ML (Soft Voting) a atteint 95,78 % de précision et un AUC-ROC de 0,96.
• LLM (Seuls) : Les performances des LLM seuls étaient modérées, avec une précision de 78,9 % en zero-shot et 72,6 % en few-shot. Cela confirme que les LLMs seuls ne sont pas optimaux pour les données tabulaires brutes.

Performance de la Fusion Hybride

L'intégration des deux approches a permis d'atteindre les meilleurs résultats globaux :

• Précision : 96,62 %
• AUC-ROC : 0,97
• Analyse comparative : Cette méthode surpasse les approches d'ensemble précédentes (qui plafonnaient autour de 93-94 %) et démontre que l'ajout d'un raisonnement LLM apporte une amélioration marginale mais significative, surtout dans les situations d'incertitude.

Analyse des Erreurs

L'analyse montre que les ensembles ML identifient correctement la majorité des cas, mais que l'intégration des LLMs réduit les taux de fausses classifications sur les cas limites et les classes minoritaires, améliorant ainsi la fiabilité globale.

4. Contributions Principales

1. Cadre de Fusion Innovant : Première proposition d'un pipeline unifié combinant la précision statistique des ensembles ML et le raisonnement sémantique des LLM pour la prédiction des maladies cardiaques.
2. Évaluation Comparative Rigoureuse : Comparaison exhaustive de 9 modèles ML et 10 LLMs sur un jeu de données standardisé, mettant en évidence les forces et faiblesses respectifs.
3. Démonstration de Synergie : Preuve empirique que les LLMs, bien que moins performants seuls sur des données tabulaires, agissent comme des modules de support décisionnel efficaces lorsqu'ils sont fusionnés avec des ensembles ML robustes.
4. Transparence Clinique : Le système fournit non seulement un score de risque quantitatif, mais aussi un soutien décisionnel interprétable, crucial pour l'adoption clinique.

5. Signification et Implications

Cette recherche souligne que, pour les données de santé structurées (tabulaires), les ensembles d'apprentissage automatique restent la méthode de référence en termes de performance brute. Cependant, l'intégration des LLMs ouvre la voie à des systèmes d'aide à la décision clinique plus fiables et capables de gérer l'ambiguïté.

L'étude suggère que l'avenir de la prédiction médicale ne réside pas dans le remplacement des modèles statistiques par les LLMs, mais dans leur hybridation. Cette approche permet de combiner la robustesse mathématique des ensembles ML avec la capacité d'inférence contextuelle des LLMs, offrant ainsi un outil plus sûr et équitable pour le dépistage précoce des maladies cardiovasculaires.

Limites et Perspectives :
L'étude est limitée par la taille du jeu de données (1 190 patients) et l'absence d'analyse de calibration approfondie. Les travaux futurs viseront à valider ce cadre sur des cohortes plus vastes et diversifiées, ainsi qu'à intégrer des protocoles d'évaluation clinique stricts pour garantir la sécurité et l'équité des algorithmes.