Regression vs. Medical LLMs: A Comprehensive Study for CVD and Mortality Risk Prediction

Cette étude comparative menée sur la cohorte LURIC démontre que les grands modèles de langage médicaux (MedLLMs), optimisés par few-shot prompting ou finetuning, rivalisent avec les techniques de régression avancées et les méthodes cliniques de référence pour prédire le risque de mortalité cardiovasculaire, bien qu'ils nécessitent un recalage pour corriger leur tendance à surestimer la mortalité.

L'essentiel

Imaginez que vous êtes un détective médical. Votre mission est de prédire qui, parmi des milliers de patients atteints de maladies cardiaques, risque de ne pas survivre à l'année qui vient.

Pendant des décennies, les détectives utilisaient une vieille carte routière : des formules mathématiques classiques (la régression). C'est fiable, mais un peu rigide. C'est comme si vous essayiez de prédire la météo en regardant uniquement la température d'hier, en supposant que le temps change toujours de la même façon.

Aujourd'hui, une nouvelle technologie est arrivée : les Intelligences Artificielles Médicales (les "LLMs"). Ce sont comme des super-encyclopédies vivantes qui ont lu presque tous les livres médicaux du monde. Mais la question était : Peuvent-elles lire une simple liste de chiffres (comme le taux de cholestérol ou la tension) et faire aussi bien que les vieilles formules mathématiques ?

Voici ce que cette étude a découvert, expliqué simplement :

1. Le Défi : Des Chiffres vs. Des Mots

Habituellement, pour utiliser ces super-IA, il faut leur donner des comptes-rendus médicaux écrits par des médecins (des pages entières de texte). C'est cher et long à produire.
Les chercheurs de cette étude ont eu une idée brillante : "Et si on utilisait juste les résultats de prise de sang et les questions de santé de base ?"
Ils ont pris les données de 3 316 patients (le projet LURIC) et ont demandé à l'IA de prédire le risque de décès en se basant uniquement sur ces chiffres, sans avoir lu un seul mot de dossier médical.

2. La Course des Méthodes

Ils ont mis en compétition trois équipes :

• L'Équipe "Ancienne Garde" (Régression) : Des algorithmes mathématiques éprouvés (comme CatBoost ou XGBoost). C'est le "vieux camion robuste" qui fait le travail.
• L'Équipe "IA Géniale" (LLMs) : Des modèles géants (comme Med42, MedGemma) qui n'ont pas été entraînés spécifiquement pour ce jeu, mais qui ont lu des millions de documents médicaux.
• L'Équipe "IA Entraînée" : La même IA, mais qu'on a fait réviser ses cours spécifiquement sur ces données de patients.

3. Les Résultats : Une Surprise !

Jusqu'à présent, on pensait que les IA avaient besoin de beaucoup de texte pour être bonnes. Cette étude a prouvé le contraire.

• Les Géants (70 milliards de paramètres) : Avec une astuce appelée "few-shot prompting" (qui consiste à donner à l'IA 3 exemples de patients avant de lui poser la question, comme un professeur qui montre des exercices types), ces IA ont atteint 82% de précision. C'est aussi bon que les meilleures formules mathématiques !
• Les Petits (8 milliards de paramètres) : C'est ici que ça devient magique. En leur donnant un peu de temps pour "réviser" (ce qu'on appelle le finetuning), ces petits modèles ont non seulement rattrapé les géants, mais ils ont même battu des IA commerciales très connues (comme les versions de ChatGPT ou Claude).
• Le Champion : La meilleure IA commerciale (Gemini) et la meilleure formule mathématique (CatBoost) ont fait match nul, toutes deux atteignant 85% de précision.

4. Le Problème de l'Optimisme (et la solution)

Il y a un petit bémol. Les IA ont tendance à être un peu trop optimistes (ou plutôt, elles sous-estiment le danger). Elles disent : "Ce patient a 10% de risque", alors qu'en réalité c'est peut-être 15%. C'est comme un météorologue qui dit "il pleuvra un peu" alors qu'il va y avoir un orage.

Heureusement, les chercheurs ont trouvé un "correcteur automatique" (appelé Platt scaling). C'est comme un filtre de réalité : une fois appliqué, il corrige l'IA et réduit ses erreurs de prédiction de 60 à 90%.

En Résumé : Pourquoi c'est important ?

Imaginez que vous ayez un médecin expert qui peut lire instantanément votre fiche de prise de sang et vous dire, avec une précision de 85%, si vous êtes à risque.

• Avant : Il fallait des années de données textuelles complexes pour entraîner une IA.
• Aujourd'hui : On peut utiliser des données simples (prises de sang, âge, sexe) et des IA gratuites ou peu coûteuses pour obtenir des résultats aussi bons que les meilleurs experts mathématiques.

La morale de l'histoire : Les nouvelles intelligences artificielles ne remplacent pas les mathématiques, elles les rejoignent. Et le plus beau, c'est qu'elles peuvent le faire avec des données simples et bon marché, ce qui ouvre la porte à une médecine préventive accessible à tous, même dans les hôpitaux qui n'ont pas de super-ordinateurs.

Résumé technique

Résumé Technique : Régression vs. Modèles de Langage Médicaux (MedLLM) pour la Prédiction du Risque de Mortalité CVD

1. Problématique et Contexte

Les maladies cardiovasculaires (CVD) restent la première cause de morbidité et de mortalité mondiale. L'évaluation précise du risque de mortalité est cruciale pour la stratification des patients et les interventions préventives.

• Limites des approches traditionnelles : Les modèles de régression classiques (régression logistique, SVM, arbres de décision) reposent souvent sur des hypothèses de linéarité et nécessitent un nombre limité de prédicteurs. Bien que les techniques de boosting (XGBoost, CatBoost) aient amélioré ces performances, elles peinent à intégrer des contextes complexes sans ingénierie de caractéristiques lourde.
• Défis des LLMs médicaux : Les modèles de langage (LLM) ont montré un potentiel, mais les études précédentes souffraient de plusieurs lacunes :
  • Dépendance excessive aux résumés de sortie hospitaliers (textes non structurés, coûteux et inconsistants).
  • Utilisation de modèles en mode zero-shot sans adaptation de domaine, menant à des performances inférieures aux réseaux de neurones (ANN).
  • Manque de comparaison systématique entre les architectures encoder (discriminatives) et decoder (génératives) sur des données tabulaires structurées.

L'objectif de cette étude est de déterminer si les Medical LLMs (MedLLMs), entraînés sur des données tabulaires de biomarqueurs routiniers (et non sur des textes libres), peuvent rivaliser avec les méthodes de régression de pointe pour prédire la mortalité toutes causes confondues à 1 an chez les patients CVD.

2. Méthodologie

L'étude s'appuie sur la cohorte LURIC (Ludwigshafen Risk and Cardiovascular Health), comprenant 3 316 patients ayant subi une coronarographie entre 1997 et 2000. L'objectif est de prédire la mortalité à 1 an (1YM).

A. Sélection des Données (Biomarqueurs)
Au lieu d'utiliser des notes cliniques textuelles, les auteurs ont structuré cinq ensembles de données tabulaires basés sur des biomarqueurs et comorbidités :

1. Risk-12 : 12 biomarqueurs du projet RiskyCAD (lipidomique, microRNA).
2. Core-20 : 20 biomarqueurs cliniques de routine.
3. Lit-21 : 21 biomarqueurs issus de la littérature récente sur les LLMs.
4. Ext-64 : 64 biomarqueurs étendus (incluant les précédents + facteurs de risque supplémentaires).
5. Comp-94 : Ensemble complet de 94 biomarqueurs.

B. Approches Comparées
Les auteurs ont comparé trois catégories de modèles :

1. Régression Classique & Tabular Foundation Models (TFM) :
   • Algorithmes de boosting : CatBoost, XGBoost, LinearBoost.
   • SVM (Machines à vecteurs de support).
   • TFM : RealMLP (un modèle de fondation pré-entraîné pour les données tabulaires).
2. Modèles de Langage (LLM) - Prompting :
   • Zero-shot & Few-shot : Conversion des données tabulaires en prompts textuels structurés.
   • Modèles testés : MedLLMs open-source (MedGemma, Med42, MMed, MedLlama, Meditron, OpenBioLLM) et modèles commerciaux (Gemini-3-Flash, Claude-Sonnet-4.5, ChatGPT-5.2).
   • Stratégie : Utilisation de few-shot prompting (3 exemples synthétiques) pour guider le modèle vers une estimation de risque en pourcentage.
3. Modèles de Langage (LLM) - Finetuning Supervisé (SFT) :
   • Finetuning de modèles plus petits (8B et 4B paramètres) sur les prompts zero-shot avec les étiquettes de mortalité (1YM) comme cible, utilisant l'adaptation LoRA.

C. Évaluation

• Métrique principale : AUROC (Area Under the Receiver Operating Characteristic) pour la capacité discriminative.
• Métrique secondaire : ECE (Expected Calibration Error) pour évaluer la fiabilité des probabilités prédites.
• Calibration : Application de l'échelle de Platt (Platt scaling) pour corriger les biais de calibration post-hoc.

3. Contributions Clés

1. Alternative aux données textuelles : Démonstration que des données de biomarqueurs structurés et routiniers (faciles à obtenir) suffisent pour entraîner des LLMs performants, éliminant la dépendance aux notes de sortie coûteuses.
2. Pipeline unifié de Prompting : Développement d'un schéma de conversion tabulaire-vers-texte (avec few-shot) applicable à la fois aux modèles commerciaux et open-source.
3. Comparaison exhaustive : Première étude comparant systématiquement les techniques de régression de pointe (boosting), les TFM, et les LLMs (open-source et commerciaux) sur le même jeu de données CVD.
4. Analyse de calibration : Mise en évidence d'un biais systématique de sous-estimation du risque par les LLMs et démonstration de l'efficacité de la calibration (réduction de l'erreur de 60 à 90 %).

4. Résultats Principaux

• Performance des LLMs (Prompting) :
  • Les grands modèles pré-entraînés (70B) avec few-shot prompting atteignent un AUROC de 82 % (sur l'ensemble Ext-64), se positionnant de manière compétitive face aux meilleures méthodes de régression.
  • Le modèle commercial Gemini-3-Flash atteint un AUROC de 85 %, égalant les performances du meilleur modèle de régression (CatBoost, 85 %) et du score de référence CoroPredict (84 %), le tout sans finetuning spécifique.
• Performance des LLMs (Finetuning) :
  • Les modèles plus petits (8B) finetunés (ex: Meditron-8B, MedGemma-4B) peuvent égaler ou surpasser leurs homologues plus grands (70B) et les modèles commerciaux, atteignant également des AUROC > 82 %.
• Comparaison avec la Régression :
  • Les modèles de régression (CatBoost, XGBoost) restent très performants (AUROC ~84-85 %).
  • Les LLMs, lorsqu'ils sont correctement optimisés (prompting ou finetuning), ne sont plus en retard par rapport aux méthodes traditionnelles, comblant le fossé observé dans les études antérieures.
• Calibration et Stratification :
  • Les LLMs ont tendance à sous-estimer systématiquement le risque de mortalité (ECE entre 0,05 et 0,10).
  • L'application de l'échelle de Platt réduit cette erreur de calibration de 60 à 90 %, rendant les probabilités prédites cliniquement fiables.

5. Signification et Conclusion

Cette étude marque un tournant dans l'application de l'IA générative à la médecine prédictive :

• Faisabilité Clinique : Elle prouve que les LLMs peuvent être utilisés efficacement sur des données tabulaires structurées (EHR), rendant leur déploiement plus scalable et moins coûteux que l'analyse de textes libres.
• Compétitivité : Les MedLLMs, surtout avec des techniques de few-shot prompting ou de finetuning léger, sont désormais à parité avec les algorithmes de boosting les plus avancés et les scores cliniques établis (CoroPredict, SMART, SCORE2).
• Importance de la Calibration : L'étude souligne que la performance brute (AUROC) ne suffit pas ; la calibration des probabilités est essentielle pour la confiance clinique.
• Avenir : Les auteurs suggèrent que les LLMs peuvent servir d'outils de décision clinique directs ou en combinaison avec des notes textuelles, ouvrant la voie à des jumeaux numériques de patients plus complets.

En résumé, l'article démontre que l'écart entre les méthodes traditionnelles et les LLMs pour la prédiction du risque cardiovasculaire a été comblé, à condition d'utiliser des stratégies d'ingénierie de prompt adaptées et une calibration rigoureuse.