Résumé Technique : Vers des Dossiers Médicaux Électroniques Sans Erreur

Énoncé du Problème

Les Dossiers Médicaux Électroniques (DME) reposent sur l'interdépendance de deux modalités de données principales : les tableaux structurés (par exemple, signes vitaux, prescriptions, résultats de laboratoire) et les notes cliniques non structurées (par exemple, notes des médecins, résumés de sortie). Bien que les cliniciens synthétisent ces sources pour la prise de décision, des écarts surgissent fréquemment en raison des architectures des systèmes administratifs et des pratiques de documentation. Ces incohérences présentent des risques significatifs pour la sécurité des patients et créent des responsabilités juridiques.

Les approches automatisées existantes pour vérifier la cohérence entre notes et tableaux, telles que le travail antérieur EHRCon, reposent principalement sur un appariement de surface. Ces méthodes vérifient si des valeurs numériques spécifiques ou des événements discrets mentionnés dans les notes apparaissent dans les tableaux structurés. Cependant, elles échouent à capturer la nature intensive du raisonnement de la documentation clinique réelle, qui implique souvent :

1. Interprétation Clinique : Les notes décrivent des états interprétés (par exemple, « anémie ») qui nécessitent de vérifier si les mesures sous-jacentes (par exemple, taux d'hémoglobine) répondent à des critères cliniques spécifiques.
2. Relations d'Événements : Les notes décrivent des relations entre plusieurs événements (par exemple, un médicament administré en raison d'une tendance spécifique des résultats de laboratoire), nécessitant une validation des relations entre événements plutôt que de simples entrées isolées.
3. Dynamiques Temporelles : Les notes décrivent des changements au fil du temps (par exemple, « la PA a diminué régulièrement »), nécessitant l'évaluation des tendances et des intervalles de temps plutôt que de simples points de données.

L'absence de référentiels et de cadres capables de gérer ces aspects intensifs du raisonnement limite la fiabilité de la vérification automatisée de la cohérence.

Méthodologie

1. EHR-ReasonCon : Un Référentiel Intensif en Raisonnement

Pour combler le manque de données, les auteurs introduisent EHR-ReasonCon, un référentiel de haute qualité construit à partir de l'ensemble de données MIMIC-III.

• Échelle et Composition : L'ensemble de données comprend 8 048 entités annotées dérivées de 105 notes cliniques (résumés de sortie, notes de médecins et notes d'infirmières) liées à 14 tableaux structurés.
• Protocole d'Annotation : Le processus d'annotation a été guidé par quatre experts cliniques et a impliqué un protocole rigoureux en plusieurs étapes :
  • Développement d'Outils : Huit outils spécialisés d'exploration de tableaux ont été créés pour soutenir la récupération systématique de preuves. Ces outils se divisent en trois catégories : Alignement Entité-Élément de Tableau (gérant les variations lexicales/sémantiques), Exploration de Base de Données et Profilage des Valeurs (compréhension du schéma et des distributions de valeurs), et Récupération Temporelle et Conditionnelle d'Enregistrements (requêtage des tendances et des fenêtres temporelles).
  • Processus : Les annotateurs ont identifié des entités ancrées, utilisé les outils pour récupérer des preuves structurées et effectué une vérification intensive en raisonnement impliquant un raisonnement temporel, un raisonnement de bon sens et une interprétation médicale.
  • Contrôle Qualité : Un processus de double annotation avec arbitrage par des médecins a assuré une haute fiabilité, atteignant des scores d'accord inter-annotateurs de 0,897 pour la Reconnaissance d'Entités Nommées (NER) et de 0,888 pour l'étiquetage de la cohérence.
• Vérité Terrain : L'ensemble de données fournit des étiquettes de haute qualité distinguant les entités Cohérentes et Incohérentes, avec un accent sur les écarts intensifs en raisonnement (par exemple, erreurs de temps, erreurs de valeur, preuves manquantes).

2. EHR-INSPECTOR : Un Cadre Basé sur les LLM

Les auteurs proposent EHR-INSPECTOR, un cadre basé sur les LLM conçu pour refléter le flux de travail d'annotation humain pour la vérification de la cohérence. Il fonctionne via quatre modules séquentiels :

1. Segmentation des Notes et Extraction des Références Temporelles : Le cadre segmente les notes cliniques en segments cohérents par sujet et résout les expressions temporelles relatives (par exemple, « Jour 3 post-op ») en horodatages absolus en utilisant des références temporelles globales.
2. Extraction d'Entités par LLM en Plusieurs Étapes : Pour éviter l'inefficacité computationnelle liée à la recherche dans l'ensemble de l'ontologie des DME (~14 000 éléments), le cadre emploie une stratégie en deux étapes :
   • Extraction Spécifique au Patient : Extrait les entités alignées sur les éléments déjà enregistrés pour le patient spécifique.
   • Extraction Hiérarchique Guidée par l'Ontologie : Utilise une ontologie hiérarchique préconstruite pour réduire l'espace de recherche des entités absentes des dossiers spécifiques du patient, en extrayant d'abord des groupes et sous-groupes de haut niveau pertinents avant d'identifier les éléments spécifiques.
3. Raisonnement Temporel et Filtrage de Portée : Les entités sont filtrées pour ne conserver que celles associées à l'hospitalisation en cours (Actives), excluant l'historique passé et les plans futurs pour éviter de fausses alertes d'incohérence.
4. Vérification de Cohérence Augmentée par des Outils : Le LLM interagit avec les tableaux structurés via les huit outils d'exploration de tableaux définis dans le référentiel. Pour améliorer l'efficacité, un Cache de Validation stocke les entités récemment vérifiées et leurs preuves, permettant aux entités apparentées (par exemple, « mou » et « distendu » d'un seul examen abdominal) de partager les résultats de vérification et d'éviter les appels d'outils redondants.

3. Stratégie d'Évaluation

Le cadre est évalué en utilisant un paradigme LLM-comme-juge, validé contre les jugements d'experts cliniques. Deux critères d'évaluation sont utilisés :

• Strict : Exige un accord exact avec les annotations de référence.
• Souple : Accepte les variations cliniquement plausibles où le raisonnement est solide, même si la portée spécifique de l'entité ou la correspondance dans le tableau diffère de la référence.

Résultats Clés

Performance

Évalué sur plusieurs architectures de modèles sous-jacents (incluant Gemini 2.5 Flash, Qwen3 32B, MedGemma 27B et GPT-OSS 20B), EHR-INSPECTOR atteint systématiquement des performances de pointe par rapport à la base de référence CheckEHR.

• Amélioration : Le cadre améliore substantiellement à la fois le rappel et la précision. Par exemple, en utilisant Gemini 2.5 Flash, EHR-INSPECTOR a obtenu un score F1 Souple de 74,75 contre 67,27 pour CheckEHR.
• Capacité de Raisonnement : L'écart de performance s'élargit avec des modèles possédant de meilleures capacités de raisonnement, suggérant que le cadre exploite efficacement le raisonnement avancé pour gérer des vérifications de cohérence complexes.
• Généralisation : EHR-INSPECTOR démontre une forte généralisation, surpassant les bases de référence sur l'ensemble de données de surface EHRCon et maintenant des performances robustes sur MIMIC-IV et des variations de schéma perturbées.

Ablation et Analyse

• Contributions des Composantes : Les études d'ablation confirment que la segmentation des notes, le filtrage de portée et la stratégie spécifique d'extraction d'entités sont critiques pour la performance. La suppression de la segmentation ou du filtrage entraîne des baisses significatives du score F1.
• Utilisation des Outils : L'analyse des traces d'utilisation des outils révèle que, tandis que les annotateurs humains suivent des parcours optimisés et conservateurs, les LLM tendent à explorer des parcours plus larges et plus dispersés. Fait intéressant, la suppression de certains outils de « réduction d'espace » (conçus pour les contraintes de la mémoire de travail humaine) a parfois amélioré la performance des LLM, suggérant que les agents devraient manipuler dynamiquement les ensembles d'outils.
• Analyse des Erreurs : L'erreur la plus fréquente chez tous les modèles est la « Conclusion Prématurée », où les modèles terminent la vérification avant d'avoir rassemblé des preuves suffisantes. Les modèles plus puissants présentent moins d'erreurs liées au cache de validation, indiquant un meilleur suivi des états intermédiaires.

Signification et Revendications

L'article revendique que EHR-ReasonCon et EHR-INSPECTOR représentent une avancée significative dans l'automatisation de la vérification de la cohérence des DME en passant au-delà de l'appariement de surface vers une vérification intensive en raisonnement.

• Combler le Fossé : Le travail adresse le fossé critique entre la nature nuancée et interprétative des notes cliniques et la structure rigide des tableaux des DME, que les méthodes existantes échouent à capturer.
• Fiabilité : En intégrant des annotations guidées par des experts et un raisonnement augmenté par des outils spécialisés, le cadre fournit un mécanisme plus fiable pour détecter les écarts qui pourraient compromettre la sécurité des patients.
• Évolutivité : L'utilisation de LLM avec des flux de travail augmentés par des outils offre une alternative évolutive à la vérification manuelle peu pratique, capable de gérer des données cliniques temporelles et relationnelles complexes.

Les auteurs reconnaissent des limites, notamment la dépendance à un ensemble de données spécifique (MIMIC-III) qui pourrait ne pas représenter pleinement tous les scénarios cliniques réels, et les risques inhérents des biais pilotés par le modèle dans l'évaluation LLM-comme-juge. Ils suggèrent que les travaux futurs devraient se concentrer sur l'expansion de la diversité des données et l'intégration de cadres avec experts dans la boucle pour améliorer davantage la robustesse.