Disease Risk Prediction Using Structured EHR Data: Can Generalist Large Language Models Match Specialized Clinical Foundation Models? A Comparative Evaluation with Fine-Tuning

Cette évaluation comparative démontre que, bien que les grands modèles de langage généralistes affinés sous-performent généralement les modèles de fondation cliniques spécialisés dans la prédiction structurée du risque de maladie à partir de dossiers médicaux électroniques, les embeddings générés par des LLM couplés à des classifieurs légers peuvent atteindre des performances supérieures sur les deux métriques AUROC et AUPRC.

L'essentiel

Imaginez que vous essayez de prédire qui pourrait tomber malade dans le futur en examinant son historique médical. Depuis des années, les médecins et les scientifiques des données utilisent des « experts » spécialisés pour ce faire. Considérez ces experts comme des Modèles Fondamentaux Cliniques (CFM). Ils sont tels des chefs étoilés ayant passé toute leur vie à cuisiner uniquement avec des ingrédients structurés (comme des codes de laboratoire, des numéros de diagnostic et des listes de médicaments). Ils savent exactement comment mélanger ces ingrédients spécifiques pour prédire des issues telles que l'insuffisance cardiaque ou le cancer du pancréas.

Récemment, un nouveau type d'IA est arrivé : les Grands Modèles de Langage (LLM). Ce sont des génies généralistes. Ils ont lu presque tout sur Internet — livres, actualités, code et conversations. Ils sont incroyablement intelligents pour comprendre le langage et le contexte, mais ils n'ont pas passé toute leur vie à étudier spécifiquement les dossiers médicaux.

La grande question que pose cet article est : Ces génies généralistes peuvent-ils battre les chefs étoilés spécialisés dans la prédiction des risques de maladie en utilisant des données médicales structurées ?

Voici ce que les chercheurs ont découvert, expliqué simplement :

1. La course du « Fine-Tuning » : Spécialisé contre Généraliste

Les chercheurs ont pris les deux types de modèles et leur ont donné une tâche spécifique : prédire l'insuffisance cardiaque chez les patients diabétiques et le cancer du pancréas chez d'autres. Ils les ont « affinés » (fine-tuned), ce qui équivaut à donner aux modèles un cours intensif sur les règles spécifiques du jeu.

• Le Résultat : Sur de grands ensembles de données (milliers de patients), les chefs étoilés spécialisés (CFM) ont toujours gagné, mais seulement d'une marge infime, presque invisible.
  • Analogie : Imaginez une course entre une voiture de Formule 1 (CFM) et une voiture de sport très rapide (LLM). La Formule 1 a terminé en première position, mais seulement d'une fraction de seconde.
  • Le Bémol : La Formule 1 (CFM) était beaucoup moins chère et plus rapide à entraîner. La voiture de sport (LLM) a nécessité beaucoup plus de carburant (puissance de calcul) et de temps pour être prête, pourtant elle a à peine perdu.

2. L'astuce des « Embeddings » : La meilleure surprise

Les chercheurs ont essayé une troisième approche. Au lieu de faire apprendre les règles du jeu aux LLM (fine-tuning), ils ont simplement demandé aux LLM de lire l'historique du patient et d'écrire un résumé (créant un « embedding »). Ensuite, ils ont remis ce résumé à une calculatrice très simple et basique (un « classifieur léger ») pour faire la prédiction finale.

• Le Résultat : Cette combinaison a gagné la course par un score écrasant.
  • Analogie : Au lieu d'entraîner le génie à devenir médecin, ils ont demandé au génie d'écrire une biographie parfaite et concise du patient. Ensuite, ils ont remis cette biographie à un stagiaire intelligent muni d'une simple liste de contrôle. Le stagiaire, armé du résumé parfait du génie, a fait de meilleures prédictions que les chefs étoilés spécialisés ou les génies affinés.
  • Détails : En utilisant un modèle appelé Qwen3 pour écrire le résumé et une calculatrice simple pour le lire, ils ont obtenu les scores de précision les plus élevés (plus de 90 % dans certains cas).

3. Le Spécialiste « Petit »

Ils ont également testé un « LLM Clinique » (Me-LLaMA), qui est un génie généraliste ayant lu certains livres médicaux.

• Le Résultat : Ce modèle a performé aussi bien que les modèles généralistes massifs, même s'il était beaucoup plus petit. Cela a prouvé que l'on n'a pas toujours besoin du plus gros cerveau pour faire le travail si l'on possède la bonne formation médicale.

4. Le Compromis

L'article met en évidence un compromis majeur :

• Modèles Spécialisés (CFM) : Rapides à entraîner, peu coûteux à exécuter et très fiables. Ce sont les « chevaux de trait » de la clinique.
• Modèles Généralistes (LLM) : Ils peuvent égaler ou même surpasser les spécialistes, mais ils sont coûteux et lents à entraîner. Cependant, si vous les utilisez uniquement pour « résumer » les données (l'astuce des embeddings) plutôt que de les entraîner complètement, ils deviennent incroyablement puissants et efficaces.

La Conclusion

L'article conclut que les modèles d'IA généralistes peuvent certainement égaler les modèles médicaux spécialisés pour prédire les risques de maladie. En fait, utiliser un modèle généraliste uniquement pour « résumer » les données pour une calculatrice simple a été la méthode la plus réussie de toutes.

Cependant, les auteurs avertissent que, comme les modèles généralistes sont si coûteux à entraîner et que leurs performances peuvent être un peu « instables » (parfois excellentes, parfois non), nous ne devrions pas encore jeter les modèles spécialisés aux oubliettes. Le meilleur avenir pourrait être une collaboration : utiliser la capacité du généraliste à comprendre et à résumer, combinée à l'efficacité du modèle spécialisé.

En résumé : L'IA généraliste est un étudiant brillant capable de réussir l'examen médical, mais l'IA spécialisée est le médecin chevronné qui y arrive plus vite et moins cher. Le mouvement le plus intelligent ? Laisser l'étudiant prendre des notes, et laisser un outil simple les corriger.

Résumé technique

1. Énoncé du problème

L'industrie de la santé repose de plus en plus sur des modèles prédictifs utilisant des dossiers de santé électroniques (EHR) structurés pour l'aide à la décision clinique. Deux classes distinctes de modèles d'IA sont apparues :

• Modèles de fondation cliniques (CFM) : Modèles spécialisés (par exemple, Med-BERT, CLMBR) pré-entraînés sur d'énormes ensembles de données EHR structurées hétérogènes. Ils sont optimisés pour la modélisation des trajectoires de patients et ont démontré des performances supérieures dans la prédiction des maladies.
• Grands modèles de langage (LLM) généralistes : Modèles (par exemple, LLaMA, Mistral) pré-entraînés sur des données textuelles vastes et diversifiées. Bien qu'adaptables, il reste incertain qu'ils puissent égaler ou surpasser les CFM spécialisés lorsqu'ils sont appliqués à des données EHR structurées pour la prédiction du risque de maladie, notamment compte tenu des coûts de calcul et des défis de représentation des données.

L'étude comble le manque de comparaisons directes, tête-à-tête, entre ces deux classes de modèles sur des données EHR et de réclamation réelles et multi-sites.

2. Méthodologie

Ensembles de données et tâches

L'étude a évalué les performances sur deux tâches de classification binaire :

1. Insuffisance cardiaque diabétique (DHF) : Prédiction du risque d'insuffisance cardiaque chez les patients diabétiques.
2. Cancer du pancréas (PaCa) : Prédiction du diagnostic de cancer du pancréas.

Quatre ensembles de données ont été utilisés pour assurer la robustesse et la reproductibilité :

• DHF-EHR & PaCa-EHR : Données EHR structurées multi-sites provenant de systèmes de santé américains.
• PaCa-Claims : Données de réclamation au niveau du patient.
• PaCa-EHRSHOT : Un ensemble de données de référence open-source, provenant d'une seule institution (3 810 patients).

Les données ont été traitées à trois niveaux de granularité :

• D : Codes de diagnostic uniquement.
• DMP : Codes de diagnostic, de médicaments et de procédures.
• ALL : Toutes les données structurées disponibles (y compris les données démographiques, les signes vitaux, les analyses de laboratoire).

Modèles évalués

L'étude a comparé trois catégories de modèles :

1. Modèles de fondation cliniques (CFM) :
   • Med-BERT (v2) : Basé sur un encodeur, pré-entraîné sur plus de 50 millions de trajectoires de patients (diagnostics, médicaments, procédures).
   • CLMBR : Basé sur un transformateur décodeur, pré-entraîné sur 2,57 millions de patients.
2. LLM généralistes et cliniques (Ajustés finement) :
   • Généralistes : Mistral-7B, LLaMA-2-13B, LLaMA-3-8B, LLaMA-3.1-8B, LLaMA-3.1-70B.
   • LLM clinique : Me-LLaMA (ajusté finement sur du texte clinique).
   • Technique : Tous les LLM ont été ajustés finement en utilisant un ajustage fin efficace en paramètres (PEFT/LoRA) et une quantification.
3. Approche par embeddings LLM (Sans ajustage fin) :
   • Utilisation de LLM (DeepSeek, Qwen3, GPT-OSS, MedGemma, etc.) purement comme encodeurs pour générer des embeddings de trajectoires de patients, suivis de classificateurs légers (régression logistique, MLP).

Prétraitement des données et entrée

• CFM : Les codes structurés ont été reformattés conformément à leurs pipelines de pré-entraînement spécifiques.
• LLM : Les données EHR structurées ont été sérialisées en invites textuelles. Deux formats ont été testés : CPLLM et LLaMA2-EHR. Ce dernier (incorporant les fréquences d'événements) a donné de meilleurs résultats.
• Embeddings : Pour l'approche sans ajustage fin, les 4 096 premiers tokens de l'historique du patient ont été utilisés pour générer des embeddings.

Métriques d'évaluation

• AUROC : Aire sous la courbe caractéristique de fonctionnement du récepteur (métrique principale).
• AUPRC : Aire sous la courbe de précision-rappel (critique pour les ensembles de données déséquilibrés).
• Efficacité : Temps d'ajustage fin et ressources de calcul.

3. Contributions clés

1. Première comparaison à grande échelle : Fourniture du premier benchmark tête-à-tête de LLM à poids ouvert contre des CFM pré-entraînés à grande échelle (des dizaines de millions de patients) pour la prédiction du risque de maladie.
2. Analyse de la stratégie de sérialisation : Évaluation de l'impact de la conversion des données EHR structurées en texte, constatant que le format LLaMA2-EHR (avec fréquence des diagnostics) surpassait les autres formats.
3. Nouveau paradigme d'embedding : Démonstration que l'utilisation de LLM comme encodeurs figés pour générer des représentations de patients, couplée à des classificateurs simples, surpasse à la fois les LLM ajustés finement et les CFM ajustés finement dans des scénarios spécifiques.
4. Cadre de reproductibilité : Publication d'une base de code complète (LLM2Predict) et d'un cadre d'évaluation pour soutenir les futurs benchmarks.

4. Résultats clés

Performance de l'ajustage fin (Grandes cohortes >30 000 patients)

• CFM vs LLM ajustés finement : Sur de grandes cohortes EHR et de réclamation, les CFM ajustés finement (Med-BERT) ont légèrement mais statistiquement significativement surpassé les LLM ajustés finement de moins de 1 % en AUROC.
  • Exemple (DHF-EHR) : Med-BERT + Bi-GRU (85,39 %) vs LLaMA-3.1-70B (84,73 %).
• LLM cliniques : Me-LLaMA a performé de manière comparable à des LLM généralistes beaucoup plus grands (par exemple, LLaMA-3.1-70B), suggérant que le pré-entraînement spécifique au domaine est efficace même avec des nombres de paramètres plus faibles.
• Efficacité : Les CFM étaient significativement plus rapides à ajuster finement (<1 heure) par rapport aux LLM (4 à 190 heures selon la taille du modèle).

Cohorte open-source (PaCa-EHRSHOT)

• AUROC : Les LLM ajustés finement (LLaMA-3.1-70B) ont atteint des AUROC légèrement supérieurs aux CFM, mais la différence n'était pas statistiquement significative (86,1 % contre 85,3 %, p=0,27).
• AUPRC : Les CFM ont significativement surpassé les LLM en AUPRC, indiquant une meilleure gestion du déséquilibre des classes.
  • Med-BERT v2 : 55,9 % AUPRC.
  • LLaMA-3.1-70B : 41,1 % AUPRC.

Approche "Embedding + Classificateur" (Meilleure performance globale)

• Découverte surprenante : La meilleure performance globale a été obtenue sans ajustage fin des LLM.
• Méthode : Utilisation de LLM (spécifiquement Qwen3 et GPT-OSS) pour générer des embeddings de trajectoires de patients, suivis d'une simple régression logistique ou d'un MLP.
• Performance :
  • AUROC : Dépassement de 90 % (Embedding Qwen3 8B + Texte : 90,8 %).
  • AUPRC : Atteinte de 66 % (GPT-OSS 20B : 66,1 %).
• Cette approche a surpassé à la fois les CFM ajustés finement et les LLM ajustés finement sur l'ensemble de données EHRSHOT.

5. Signification et conclusion

• Généraliste vs Spécialisé : Bien que les CFM spécialisés restent hautement compétitifs et efficaces pour l'ajustage fin sur de grands ensembles de données structurés, les LLM généralistes ont le potentiel de les égaler ou de les dépasser, en particulier lorsqu'ils sont utilisés comme extracteurs de caractéristiques (encodeurs) plutôt que comme modèles génératifs.
• Compromis de calcul : L'ajustage fin des LLM est coûteux en calcul (40 fois plus long que pour les CFM) et produit des gains marginaux par rapport aux CFM en AUROC, souvent au détriment d'un AUPRC plus faible.
• Stratégie optimale : L'étude suggère que pour la prédiction de risque EHR structurée, la stratégie la plus efficace et efficiente peut consister à utiliser des LLM modernes pour générer des embeddings de patients de haute qualité, qui sont ensuite alimentés dans des classificateurs légers. Cela évite le coût massif de l'ajustage fin tout en exploitant les connaissances pré-entraînées du LLM.
• Perspectives futures : Les auteurs recommandent d'intégrer les embeddings générés par LLM dans les pipelines d'entraînement des CFM pour combiner les forces des deux approches. Ils soulignent également la nécessité de recherches supplémentaires sur les tâches multi-classes, les données non structurées (notes cliniques) et les architectures hybrides.

Limites : L'étude s'est concentrée sur la classification binaire ; les résultats peuvent ne pas se généraliser aux tâches de régression ou multi-classes. De plus, l'évaluation était restreinte aux données structurées, laissant la performance sur les notes cliniques non structurées inexplorée.