Extracting Social Determinants of Health from Electronic Health Records: Development and Comparison of Rule-Based and Large Language Model Methods

Cette étude démontre que les modèles de langage de grande taille, notamment les versions « mini » récentes, surpassent les systèmes basés sur des règles pour l'extraction des déterminants sociaux de la santé à partir de notes cliniques non structurées, tout en proposant une approche par fusion tardive qui améliore encore les performances au niveau des domaines.

L'essentiel

🏥 Le Problème : Les Notes Cachées dans le Dossier Médical

Imaginez que le dossier médical d'un patient est comme une énorme bibliothèque.

• Les étagères structurées (les données officielles) contiennent des informations claires : le groupe sanguin, la tension artérielle, les médicaments prescrits. C'est facile à lire, mais c'est souvent incomplet.
• Les livres en vrac sur le sol (les notes des médecins) contiennent l'histoire vraie du patient. C'est là que le médecin écrit : "Le patient semble inquiet car il a perdu son emploi" ou "Il n'a pas de logement stable".

Ces informations sur la vie quotidienne (ce qu'on appelle les Déterminants Sociaux de la Santé ou DSS) sont cruciales pour comprendre pourquoi une personne est malade, mais elles sont souvent perdues dans ces notes en vrac, écrites à la main ou en texte libre. Personne n'a le temps de lire des millions de pages pour trouver ces détails.

🤖 La Solution : Deux Détectives Différents

Les chercheurs de l'hôpital Mass General Brigham ont voulu créer des "détectives" automatiques pour fouiller ces notes et trouver ces informations cachées. Ils ont testé deux types de détectives :

1. Le Détective "Règle" (Le Système Basé sur des Règles)

Imaginez un détective très strict qui ne lit que ce qui est écrit exactement comme dans son manuel.

• Son super-pouvoir : Il est très précis. S'il dit "J'ai trouvé un problème de logement", c'est à 99% sûr.
• Sa faiblesse : Il est un peu bête. Si le médecin écrit "Le patient vit dans la rue" au lieu de "Sans-abri", le détective ne comprend pas. Il rate beaucoup d'informations parce qu'il ne comprend pas le sens des mots, seulement les mots exacts.

2. Le Détective "Intelligence Artificielle" (Les Grands Modèles de Langage)

Imaginez un détective très intelligent, un peu comme un humain très cultivé qui a lu des millions de livres.

• Son super-pouvoir : Il comprend le contexte. S'il lit "Le patient a perdu son emploi", il comprend immédiatement que cela signifie "problème financier" ou "chômage", même si ces mots exacts ne sont pas dans le manuel. Il est très bon pour ne rien rater.
• Sa faiblesse : Parfois, il peut être un peu trop imaginatif et voir des problèmes là où il n'y en a pas, ou il peut être un peu plus lent et coûteux à utiliser.

🧪 L'Expérience : Qui est le meilleur ?

Les chercheurs ont mis ces deux détectives à l'épreuve sur 171 patients. Ils ont cherché 7 grands types de problèmes (argent, travail, logement, nourriture, etc.) et 23 sous-catégories précises.

Les résultats sont fascinants :

• Le Détective "Règle" était très précis mais manquait beaucoup de cas (il voyait peu de choses).
• Les Détectives "IA" (les nouveaux modèles de type GPT-5, o4-mini, etc.) étaient bien meilleurs. Ils trouvaient beaucoup plus d'informations et comprenaient mieux les nuances.
• Le gagnant surprise : Les modèles "Mini" (comme o4-mini). Ce sont comme des versions compactes et rapides des super-intelligences. Ils sont presque aussi forts que les géants, mais beaucoup moins chers et plus rapides à utiliser.

🤝 La Stratégie Gagnante : L'Équipe Mixte

Le vrai génie de l'étude, c'est qu'ils ont combiné les deux !
Imaginez que vous avez un jury.

• Le détective "Règle" vote pour ce qui est certain.
• Le détective "IA" vote pour ce qui est probable ou implicite.
• Le résultat : En fusionnant leurs avis, ils obtiennent le meilleur des deux mondes. Ils ne ratent presque rien (comme l'IA) et ils sont très sûrs de ce qu'ils disent (comme le détective "Règle").

C'est comme si vous aviez un expert en grammaire et un expert en contexte qui se consultent avant de rendre leur verdict.

💡 Pourquoi c'est important pour nous ?

Aujourd'hui, les hôpitaux utilisent souvent des codes (comme des codes-barres) pour noter les problèmes sociaux, mais ces codes sont très rares et souvent oubliés.

Grâce à cette méthode :

1. On sauve du temps : Plus besoin de lire des milliers de pages à la main.
2. On sauve de l'argent : On utilise des IA intelligentes mais économiques ("Mini") au lieu de modèles ultra-lourds.
3. On sauve des vies : En comprenant mieux la vie des patients (est-ce qu'ils ont faim ? ont-ils un toit ?), les médecins peuvent mieux soigner la maladie, pas juste les symptômes.

En résumé : Cette étude nous dit que l'avenir de la médecine ne repose pas seulement sur les médicaments, mais aussi sur la capacité à écouter (et lire) l'histoire de vie des patients grâce à une intelligence artificielle bienveillante et intelligente. C'est comme donner une paire de lunettes à l'hôpital pour voir ce qui se passe vraiment dans la vie des gens.

Résumé technique

1. Problématique et Contexte

Les déterminants sociaux de la santé (DSS) sont des facteurs critiques influençant les résultats de santé et les disparités, représentant jusqu'à 30-55 % des issues de santé. Cependant, ces informations sont souvent sous-documentées dans les données structurées des dossiers médicaux électroniques (DME/EHR) et se trouvent principalement dans des notes cliniques non structurées.

L'extraction automatique de ces données via le traitement du langage naturel (NLP) se heurte à deux défis majeurs :

• Approches basées sur des règles (RBS) : Interprétables mais souffrant d'une faible sensibilité (rappel) en raison de leur dépendance à des règles fixes et manuelles.
• Approches d'apprentissage supervisé : Nécessitent de grandes quantités de données annotées, ce qui est coûteux et laborieux.

L'objectif de cette étude est de développer et d'évaluer des méthodes rentables pour extraire les DSS de notes cliniques non structurées, en comparant un système basé sur des règles à des approches utilisant des modèles de langage de grande taille (LLM), sans nécessiter de fine-tuning spécifique.

2. Méthodologie

Données et Annotation

• Source de données : Notes cliniques (résumés de sortie et notes d'évolution) provenant du registre RPDR du système Mass General Brigham (MGB), couvrant 171 patients pour l'ensemble de validation.
• Taxonomie : Un schéma de classification fin a été établi couvrant 7 domaines (statut financier, emploi, logement, assurance maladie, sécurité alimentaire, ressources sociales, activité physique) et 23 sous-catégories.
• Corpus de référence (Gold Standard) : 226 segments de texte annotés par deux experts, avec une haute concordance inter-annotateurs (Krippendorff's alpha > 0,78). L'annotation incluait des attributs contextuels (temporalité, expérienceur, hypothétique, incertitude).

Approches Comparées

1. Système Basé sur des Règles (RBS) :

   • Développé avec la bibliothèque medspaCy.
   • Utilise un lexique enrichi (UMLS, similarité sémantique via embeddings) et des règles de disambiguïsation contextuelle.
   • Processus itératif de raffinement des règles.

2. Approches basées sur les LLM (GPT) :

   • Modèles testés : Sept modèles OpenAI via Azure (GPT-4o, 4.1, 4.1-mini, o4-mini, GPT-5, GPT-5-mini, o3).
   • Stratégies de prompt :
     • Zero-shot : Instructions de rôle, définitions des catégories et instructions étape par étape.
     • Few-shot : Utilisation d'exemples (faciles, difficiles, synthétiques) avec ou sans explications.
     • Styles de prompt : Strict (évidence explicite), Équilibré, Libéral (incluant les implications raisonnables).
   • Pré-traitement : Filtrage par mots-clés pour identifier les segments candidats avant l'analyse par LLM.

3. Ensemble (Fusion tardive) :

   • Combinaison des sorties du RBS et d'un comité de modèles GPT (avec différents styles de prompt) via des fonctions de fusion (vote majoritaire, union, intersection) pour améliorer les performances globales.

3. Résultats Principaux

Performance des Modèles

• RBS : A atteint une précision élevée pour les domaines (0,96) mais un rappel faible (0,68), limitant sa capacité à détecter toutes les mentions.
• LLM (GPT) : Tous les modèles GPT ont surpassé le RBS en termes de rappel et de score F1 global.
  • Meilleure performance par domaine : GPT-5 et GPT-5-mini en configuration few-shot (F1 = 0,89).
  • Meilleure performance par sous-catégorie : o4-mini en configuration few-shot (F1 = 0,88).
• Comparaison Coût/Efficacité : Les modèles "mini" (o4-mini, GPT-5-mini) offrent des performances compétitives par rapport aux modèles phares (GPT-5) avec une latence et un coût d'inférence nettement inférieurs (réduction de 72-82 % des coûts).

Performance de l'Ensemble (RBS + GPT)

• Niveau Domaine : L'approche de fusion tardive (comité GPT + RBS) a atteint le meilleur score F1 (0,92) avec un équilibre optimal entre précision (0,93) et rappel (0,90). Le RBS a contribué à 8 % des détections que le GPT seul aurait manquées.
• Niveau Sous-catégorie : La fusion n'a pas amélioré la performance globale par rapport au meilleur modèle GPT seul (o4-mini few-shot, F1 = 0,88).

Analyse des Erreurs

• RBS : Échec à comprendre la sémantique (ex: ne pas reconnaître que "WIC" indique l'insécurité alimentaire) et difficulté avec les négations et les contextes hypothétiques.
• LLM : Erreurs liées à la calibration du raisonnement (inférence implicite vs explicite), à l'adhésion aux instructions et à la détermination de la temporalité (actuel vs historique).

Comparaison avec les codes ICD

Les modèles NLP ont identifié beaucoup plus d'informations sur les DSS que les codes ICD (codes V et Z) associés, confirmant que les données structurées sous-estiment massivement ces déterminants.

4. Contributions Clés

1. Évaluation comparative exhaustive : Première étude comparant systématiquement des modèles GPT de dernière génération (incluant les modèles de raisonnement "o" et "mini") à un système basé sur des règles pour l'extraction de DSS.
2. Taxonomie fine : Développement d'un schéma de classification granulaire (7 domaines, 23 sous-catégories) incluant des attributs contextuels complexes.
3. Stratégie de fusion hybride : Démonstration que l'intégration de méthodes basées sur des règles et de LLM via une fusion tardive améliore significativement l'extraction au niveau des domaines.
4. Optimisation des coûts : Identification des modèles "mini" (o4-mini, GPT-5-mini) comme solutions optimales pour un déploiement à grande échelle, offrant un excellent compromis performance/coût/latence.
5. Ressources ouvertes : Mise à disposition du code, des prompts et des lexiques pour la communauté scientifique.

5. Signification et Implications

Cette étude démontre qu'il est possible d'extraire avec précision les déterminants sociaux de la santé à partir de notes cliniques non structurées sans nécessiter de fine-tuning coûteux ni de vastes ensembles de données annotées.

• Recherche en santé publique : Facilite l'identification des populations à risque et l'analyse des disparités de santé.
• Prise de décision clinique : Permet d'intégrer les DSS dans les modèles prédictifs pour améliorer la stratification des risques et les interventions ciblées.
• Efficacité opérationnelle : La méthode proposée (filtrage par règles + LLM) réduit considérablement les coûts de calcul par rapport à l'application directe de LLM sur l'ensemble des notes, rendant le déploiement viable pour les systèmes de santé aux ressources limitées.

En conclusion, l'approche proposée offre un cadre rentable et robuste pour transformer les données textuelles brutes en informations structurées exploitables sur les besoins sociaux des patients, comblant ainsi un vide critique dans les dossiers médicaux électroniques.