On Using Large Language Models to Enhance Clinically-Driven Missing Data Recovery Algorithms in Electronic Health Records

Résumé technique : Améliorer la récupération des données manquantes pilotée par la clinique dans les dossiers de santé électroniques (DSE) grâce aux LLM

Énoncé du problème
Les dossiers de santé électroniques (DSE) sont fondamentaux pour les systèmes de santé apprenants (LHS) et l'opérationnalisation des phénotypes calculables, mais ils souffrent d'une absence de données et d'erreurs significatives. Dans le contexte de l'indice de charge allostatique (ALI) — un phénotype mesurant l'« usure » physiologique à travers les systèmes cardiovasculaire, métabolique et inflammatoire — des biomarqueurs critiques sont fréquemment manquants dans les données extraites des DSE. Cette absence est souvent « non aléatoire », dépendant de la prise de décision clinique (par exemple, si un médecin prescrit un test spécifique). Bien que les examens de dossiers par des experts (vérification des documents sources) puissent récupérer les valeurs manquantes en recherchant des diagnostics auxiliaires (ancres) dans les dossiers des patients, cette approche est gourmande en ressources, chronophage et manque d'extensibilité, ce qui limite son application à de petits sous-échantillons.

Méthodologie
L'étude propose une alternative algorithmique évolutive aux examens de dossiers manuels pour récupérer les composantes manquantes de l'ALI. La méthodologie comprend trois étapes principales :

1. Développement d'un algorithme de base : Les auteurs ont adapté une « feuille de route » précédemment développée par des experts cliniques. Cette feuille de route associe des composantes spécifiques de l'ALI (ex. : hémoglobine glyquée A1c, protéine C-réactive) à des termes de recherche pouvant être mis en correspondance avec les codes de la Classification internationale des maladies, 10e révision (CIM-10). L'algorithme fusionne les codes CIM-10 des patients avec ces termes de recherche ; si une correspondance est trouvée, le biomarqueur manquant est imputé comme « malsain ».
2. Génération de la feuille de route améliorée par LLM : Pour étendre la liste des termes de recherche au-delà de la liste originale des experts, les auteurs ont utilisé des modèles de langage de grande taille (LLM), spécifiquement Google Gemini-2.5-Flash, via le package ellmer en R. Ils ont testé deux stratégies de prompting :
   • LLM (Base) : Le LLM génère des termes de recherche basés uniquement sur les noms de biomarqueurs et les seuils de santé sans contexte.
   • LLM (Contexte) : Le LLM reçoit les exemples de la feuille de route originale des experts et est chargé de générer une liste exhaustive de termes supplémentaires de manière itérative (20 itérations par composante).
3. Adjudication clinique : Une feuille de route finale a été créée en demandant à deux cliniciens de réviser et d'adjudiquer indépendamment les termes de recherche proposés par la feuille de route LLM (Contexte). Cette étape visait à filtrer les correspondances cliniquement non pertinentes (ex. : « hypertension pulmonaire » pour un marqueur métabolique) et à prévenir les « hallucinations », aboutissant à la feuille de route « LLM (Contexte + Cliniciens) ».

L'étude a utilisé une cohorte de 1 000 adultes issus d'un cadre de soins primaires en externe. Un sous-ensemble de 100 patients a fait l'objet d'examens de dossiers manuels par des experts pour servir de « gold standard » (allié aux données extraites des DSE) afin de valider les approches algorithmiques.

Résultats clés

• Performance de récupération : Les approches algorithmiques ont réussi à récupérer des données comparables, et dans certains cas supérieures, aux examens de dossiers manuels.
  • La feuille de route LLM (Contexte) a récupéré le plus grand volume de composantes manquantes (55/413 points manquants, 13 %), surpassant légèrement les examens de dossiers par des experts (45/413, 11 %) et la feuille de route originale des cliniciens (51/413, 12 %).
  • La feuille de route LLM (Contexte + Cliniciens) a récupéré 45 points manquants (11 %), correspondant exactement au nombre d'examens par experts.
  • La feuille de route LLM (Base) a peu performé, ne récupérant que 3 composantes manquantes (7 %), démontant que le contexte est crucial pour la performance des LLM dans ce domaine.
• Évolutivité (Scalability) : Alors que les examens d'experts étaient limités à 100 patients (nécessitant environ 100 heures d'effort humain), l'algorithme a été appliqué à l'échantillon complet de 1 000 patients. Cela a augmenté le nombre médian de composantes de l'ALI non manquantes par patient de 6 (DSE brut) à 7 (récupération algorithmique) pour l'ensemble de la cohorte.
• Récupération de composantes spécifiques : L'algorithme a été le plus efficace pour la protéine C-réactive (CRP), récupérant 34 % des valeurs manquantes, et l'homocystéine (14 %). Il n'a pas récupéré l'albumine sérique (aucun terme de recherche défini) ni l'indice de masse corporeuse (rarement manquant).
• Impact statistique : Appliquées à l'échantillon complet, les valeurs de l'ALI récupérées par l'algorithme présentaient une relation linéaire avec les valeurs brutes des DSE, mais s'alignaient plus étroitement avec les valeurs « validées » issues des examens de dossiers. Dans les modèles de régression logistique prédisant l'engagement dans les soins de santé, l'« analyse augmentée » (utilisant la récupération algorithmique) a produit des rapports de côtes (odds ratios) et des estimations plus proches du modèle basé sur l'examen des dossiers que l'« analyse naïve » (données DSE brutes).

Signification et affirmations
L'article affirme que les algorithmes pilotés par la clinique, lorsqu'ils sont améliorés par des LLM et ultérieurement adjudiqués par des cliniciens, offrent une méthode rentable et évolutive pour réduire l'absence de données dans les DSE. Les auteurs soutiennent que cette approche :

1. Imite la précision des experts : Elle atteint des taux de récupération similaires aux examens de dossiers manuels sans les coûts de temps et de main-d'œuvre associés.
2. Permet un phénotypage à grande échelle : Elle permet l'application de phénotypes calculables (comme l'ALI) à de grands échantillons (ex. : 1 000+ patients) là où l'examen manuel est irréalisable.
3. Améliore les dimensions de la qualité des données : L'objectif principal est d'améliorer la complétude. Les auteurs notent que l'extension de ce cadre pour traiter d'autres dimensions de la qualité des données, telles que la plausibilité ou l'exactitude, constitue une direction future prometteuse.
4. Préserve la confidentialité : En transmettant uniquement la structure de la feuille de route (termes de recherche) au LLM plutôt que les données des patients, la méthode évite les préoccupations de confidentialité et les contraintes réglementaires liées au partage des informations de santé protégées (PHI).

Les auteurs concluent que, bien que les LLM à usage général soient pratiques pour cette tâche, les travaux futurs pourraient bénéficier d'un entraînement de modèles spécifiques au domaine sur la terminologie médicale pour affiner davantage la précision de la correspondance des termes diagnostiques.