Extracting patient reported cannabis use and reasons for use from electronic health records: a benchmarking study of large language models

Cette étude démontre qu'il est possible d'extraire avec précision, à l'aide de modèles de langage clinique affinés et de grands modèles de langage, les mentions d'utilisation de cannabis et les raisons de cette utilisation dans les dossiers médicaux électroniques de patients atteints de maladies rhumatismales auto-immunes.

L'essentiel

🌿 Le Grand Détective Numérique : Comment l'IA lit les dossiers médicaux

Imaginez que les dossiers médicaux électroniques (les notes que les médecins écrivent à chaque visite) soient une immense bibliothèque remplie de millions de livres. Dans ces livres, les patients racontent parfois qu'ils utilisent du cannabis pour soulager leurs douleurs, mais l'information est cachée au milieu de milliers de phrases sur leur tension artérielle, leurs allergies ou leurs autres médicaments.

Le problème : Lire tous ces livres à la main pour trouver qui utilise du cannabis et pourquoi, c'est comme chercher une aiguille dans une botte de foin... avec des millions de bottes. C'est trop long et trop fatiguant pour des humains.

La solution de l'étude : Les chercheurs ont demandé à des Intelligences Artificielles (IA) de devenir des détectives ultra-rapides pour fouiller ces dossiers. Ils ont voulu savoir : Quelle IA est la meilleure pour trouver ces informations ?

---

🏆 Le Concours des Détectives (Les Modèles)

Les chercheurs ont organisé un grand concours entre plusieurs types de "détectives" (des modèles d'IA) pour voir qui était le plus efficace. Ils ont divisé la tâche en deux missions :

Mission 1 : "Est-ce que le patient utilise du cannabis ?" (Le Oui/Non)

C'est une question simple. L'IA doit juste dire : "Oui, il en utilise", "Non, il n'en utilise pas", "Il en utilisait avant" ou "On ne sait pas".

• Le gagnant : Un détective spécialisé nommé GatorTron.
• L'analogie : Imaginez un expert en cryptographie qui a passé sa vie à étudier uniquement les dossiers médicaux. Il ne perd pas de temps à réfléchir à des concepts abstraits ; il sait exactement où regarder. Il est comme un chirurgien très précis : il fait une tâche spécifique parfaitement, rapidement et sans se tromper.
• Résultat : Il a réussi à identifier les utilisateurs avec une précision de 90 %, battant les géants de l'IA plus "généraux".

Mission 2 : "Pourquoi le patient en utilise-t-il ?" (Le Pourquoi)

Ici, c'est plus compliqué. Le patient ne dit pas juste "J'en prends". Il dit : "J'ai mal au dos, alors je fume un joint pour dormir" ou "Je suis stressé, ça m'aide à manger". L'IA doit comprendre le contexte, les émotions et les raisons cachées.

• Le gagnant : Un détective très grand et très intelligent nommé GPT-OSS-20B.
• L'analogie : Imaginez un grand philosophe qui a lu toute la littérature du monde. Il est moins rapide que le chirurgien, mais il est excellent pour comprendre les nuances, les métaphores et les histoires complexes. Pour comprendre pourquoi quelqu'un utilise du cannabis, il faut de l'empathie et de la compréhension du contexte, pas juste de la précision technique.
• Résultat : Il a été le meilleur pour deviner les raisons (douleur, sommeil, anxiété, etc.).

---

📈 Ce que l'IA a découvert (Les Trésors cachés)

Une fois les meilleurs détectives choisis, les chercheurs les ont laissés fouiller dans plus de 2 millions de notes médicales de patients atteints de maladies rhumatismales (comme l'arthrite) entre 2015 et 2024. Voici ce qu'ils ont trouvé :

1. Une montée en flèche : La part de patients qui disent utiliser du cannabis est passée de 7 % en 2015 à 13 % en 2024. C'est comme si la population de "cannabis-utilisateurs" dans ces cliniques avait presque doublé en une décennie.
2. La douleur est le roi : La raison numéro 1 pour laquelle les gens utilisent du cannabis, c'est la douleur. C'est logique, car ces patients ont souvent mal aux articulations.
3. Le sommeil arrive en deuxième : Depuis 2022, la deuxième raison la plus fréquente est le sommeil. Les gens utilisent de plus en plus le cannabis pour s'endormir, pas juste pour arrêter de souffrir.
4. Qui l'utilise ? Les patients atteints de polyarthrite rhumatoïde (RA) sont ceux qui en utilisent le plus, tandis que ceux avec la spondylarthrite ankylosante (AS) en utilisent le moins.

---

💡 La Leçon à retenir

Cette étude nous apprend une chose très importante sur l'Intelligence Artificielle : plus une IA est grande, ce n'est pas toujours mieux.

• Pour des tâches précises et techniques (comme compter ou classer), un petit expert spécialisé (comme GatorTron) est souvent meilleur, moins cher et plus rapide.
• Pour des tâches qui demandent de comprendre des histoires complexes et des émotions (comme les raisons d'utilisation), un grand génie généraliste (comme GPT) est nécessaire.

En résumé : Les chercheurs ont créé une "recette" pour utiliser le bon type d'IA au bon moment. Cela permet aux médecins et aux chercheurs de comprendre comment les patients gèrent leur douleur au quotidien, sans avoir à relire des millions de pages à la main. C'est une victoire pour la médecine moderne !

Résumé technique

Titre de l'étude

Extraction de l'usage de cannabis déclaré par les patients et des raisons de cet usage à partir des dossiers de santé électroniques (DSE) : une étude de benchmarking des grands modèles de langage (LLM).

1. Problématique

Les maladies rhumatismales auto-immunes (MRA) sont souvent associées à des douleurs chroniques difficiles à gérer. L'usage du cannabis émerge comme une approche complémentaire potentielle pour la gestion de la douleur. Cependant, les données sur l'usage du cannabis sont principalement enregistrées sous forme de texte non structuré dans les dossiers de santé électroniques (DSE), ce qui rend leur extraction à grande échelle complexe.
Les approches traditionnelles basées sur des règles ou des lexiques sont difficiles à maintenir et manquent de flexibilité face à la diversité des pratiques de documentation clinique. Bien que les Grands Modèles de Langage (LLM) offrent de nouvelles possibilités pour l'analyse de texte clinique, leur fiabilité, leur généralisabilité et l'impact des stratégies de prompt (incitation) et des paramètres de décodage (comme la température) sur les tâches cliniques spécifiques restent sous-étudiés.

2. Méthodologie

Source de données et Cohorte :

• Données : Notes cliniques non structurées de patients adultes (≥18 ans) atteints de MRA (polyarthrite rhumatoïde, spondylarthrite ankylosante, lupus, etc.) suivis dans un centre médical universitaire de Californie du Nord entre 2015 et 2024.
• Volume : Plus de 2 millions de notes cliniques provenant de 5 580 patients.
• Prétraitement : Utilisation d'une correspondance de chaînes floue (fuzzy string matching) avec un seuil de similarité de 90 % pour extraire des fenêtres de contexte de 50 mots (±25 mots) autour des termes liés au cannabis. Cela a généré un corpus de 43 689 extraits pertinents.

Annotation de référence :
Deux experts du domaine ont annoté manuellement deux échantillons aléatoires pour créer un standard de référence :

1. Statut d'usage (831 extraits) : 4 classes (pas de mention réelle/incertain, déni d'usage, usage passé positif, usage actuel positif).
2. Raison de l'usage (1 027 extraits) : 6 classes (douleur, nausée, sommeil, anxiété/stress/humeur, appétit, non mentionné/inconnu).

Stratégies de Modélisation et Benchmarking :
L'étude a comparé plusieurs approches :

• Modèles génératifs (Prompting) : Trois modèles à domaine général (Gemini-2.0, LLaMA-3.1, GPT-OSS-20B) et deux modèles pré-entraînés sur le domaine clinique (MedGemma-4B, GatorTron).
• Variables testées : Huit stratégies de prompt (de zéro-shot à few-shot) et des températures de décodage variant de 0,0 à 1,0.
• Modèle supervisé (Fine-tuning) : Un modèle clinique spécifique, GatorTron (345M paramètres), a été affiné (fine-tuned) spécifiquement pour la classification du statut d'usage du cannabis, en utilisant une optimisation bayésienne des hyperparamètres.

Évaluation :
Les performances ont été mesurées sur un ensemble de validation retenu (held-out) à l'aide de métriques standard : exactitude (accuracy), précision, rappel et score F1.

3. Résultats Clés

Classification du statut d'usage (Status Classification) :

• Le modèle GatorTron affiné a obtenu les meilleures performances globales, surpassant les grands modèles génératifs.
  • Exactitude : 0,90
  • Score F1 : 0,91
  • Rappel : 0,90
  • Précision : 0,90
• Les modèles génératifs (comme GPT-OSS-20B) ont montré des performances inférieures (F1 ~0,76) pour cette tâche de classification structurée.
• Observation sur les paramètres : Les températures plus basses (0,0 - 0,3) ont systématiquement amélioré la reproductibilité et la stabilité des résultats. Aucune stratégie de prompt unique n'a dominé tous les modèles, soulignant la nécessité d'un benchmark empirique spécifique à chaque modèle.

Classification des raisons d'usage (Reason Classification) :

• Pour cette tâche plus complexe et sémantiquement variable, le modèle génératif GPT-OSS-20B a surpassé les autres, y compris GatorTron.
  • Exactitude : 0,77
  • Score F1 : 0,77
  • Précision : 0,86
• GatorTron affiné a obtenu des résultats médiocres sur cette tâche (F1 = 0,55), suggérant que les modèles génératifs sont mieux adaptés à l'inférence contextuelle complexe.

Insights Cliniques (Analyse à l'échelle de la population) :
En appliquant les meilleurs modèles aux données complètes (2015-2024) :

• Tendance temporelle : L'usage déclaré de cannabis a augmenté régulièrement, passant de 7,4 % en 2015 à 13,0 % en 2024.
• Sous-groupes : Les patients atteints de polyarthrite rhumatoïde (RA) ont la prévalence la plus élevée, tandis que ceux atteints de spondylarthrite ankylosante (AS) ont la plus faible.
• Douleur et Usage : Jusqu'en 2022, les utilisateurs de cannabis rapportaient des scores de douleur plus élevés que les non-utilisateurs. À partir de 2023, cette tendance s'est inversée.
• Raisons d'usage : La douleur reste la raison principale tout au long de la décennie. Cependant, les raisons liées au sommeil ont augmenté et sont devenues la deuxième indication la plus fréquente à partir de 2022.

4. Contributions et Signification

Contributions Techniques :

• Spécificité de la tâche : L'étude démontre que la supériorité des LLM n'est pas universelle. Pour les tâches de classification structurée avec des données d'entraînement disponibles, les modèles transformateurs de domaine plus petits et affinis (GatorTron) sont plus efficaces et moins coûteux. Pour les tâches sémantiquement riches et contextuelles (comme identifier les motivations), les grands modèles génératifs (GPT-OSS-20B) offrent un avantage.
• Benchmarking complet : Fournit des preuves empiriques sur l'impact des stratégies de prompt et de la température, montrant que l'ingénierie de prompt est spécifique au modèle et non transférable.
• Pipeline reproductible : Présente un cadre scalable combinant extraction par lexique, annotation manuelle et inférence par LLM pour l'extraction de phénotypes à partir de DSE.

Signification Clinique et Recherche :

• Phénotypage à grande échelle : Cette approche permet de transformer des notes cliniques non structurées en données structurées exploitables pour la recherche observationnelle sur l'autogestion des symptômes.
• Suivi des tendances : Le pipeline a permis de détecter des évolutions récentes dans les pratiques de gestion de la douleur et du sommeil chez les patients atteints de maladies auto-immunes.
• Décision clinique : Bien que l'étude soit observationnelle, ces données peuvent soutenir le développement d'outils d'aide à la décision clinique pour mieux comprendre les schémas d'usage du cannabis et leurs corrélats cliniques.

Limitations notées :

• Sous-déclaration potentielle due aux pratiques de documentation variables.
• Déséquilibre des classes dans les données d'annotation (notamment pour les raisons d'usage).
• Validation externe nécessaire car l'étude est basée sur un seul système de santé académique.

En conclusion, cette étude propose une stratégie de déploiement spécifique à la tâche, équilibrant coût computationnel, performance et généralisabilité pour l'intégration des LLM dans les flux de travail de phénotypage clinique.