Creating A Gold Standard Annotation Guideline for Electronic Health Records

Dans le bourdonnement feutré d'un hôpital, entre le bip des moniteurs et le froissement des dossiers papier, une vaste bibliothèque de l'expérience humaine est en train de s'écrire. Depuis des décennies, les médecins consignent les récits de leurs patients dans des dossiers de santé électroniques, remplissant des fichiers numériques de notes sur les symptômes, les traitements et l'histoire complexe d'une vie vécue avec la maladie. Ces dossiers sont un trésor d'informations, pourtant ils sont écrits dans une langue qui est souvent désordonnée, non structurée et profondément personnelle. Si les ordinateurs sont excellents pour traiter des chiffres, ils ont historiquement eu du mal à lire ces notes en texte libre avec la même nuance qu'un médecin humain. C'est là qu'intervient un domaine connu sous le nom de traitement du langage naturel, agissant comme un pont entre la parole humaine et la compréhension de la machine. L'objectif est d'apprendre aux ordinateurs à lire les notes médicales, à extraire les faits vitaux cachés dans les paragraphes et à utiliser ce savoir pour améliorer les soins de millions de personnes. Cependant, pour qu'un ordinateur apprenne à lire une note de médecin, il doit d'abord être enseigné par des humains capables de lui montrer précisément ce qui importe.

Une équipe de chercheurs de King's College London et de l'Université de Swansea a franchi une étape significative dans cet effort en créant un nouveau guide de haute qualité pour enseigner aux ordinateurs comment lire les dossiers médicaux de personnes souffrant d'épilepsie. L'épilepsie est une affection neurologique courante caractérisée par des crises récurrentes, et bien que de nombreuses personnes la gèrent bien grâce aux médicaments, une partie importante ne répond pas au traitement. Pour comprendre pourquoi certains patients ne répondent pas au traitement, les médecins doivent examiner l'histoire complète et détaillée de la maladie, y compris les médicaments spécifiques pris, la fréquence des crises et les nombreux autres facteurs qui influencent la vie d'un patient. Ces détails sont dispersés dans des milliers de dossiers de santé électroniques, souvent enfouis dans des descriptions en texte libre. Les chercheurs se sont donné pour mission de créer un ensemble de données de référence (« gold standard ») — une collection de ces dossiers qui ont été soigneusement lus et étiquetés par des experts, accompagnés d'un ensemble strict de règles sur la manière de les étiqueter. Cette ressource est conçue pour aider à entraîner des systèmes d'intelligence artificielle à trouver automatiquement ces détails critiques, transformant ainsi une montagne de texte en données structurées et exploitables.

Pour construire cette ressource, l'équipe a rassemblé 1 500 dossiers de santé électroniques provenant de cliniques d'épilepsie du Guy's and St Thomas' Trust à Londres. Ces documents n'ont pas été choisis au hasard ; ils ont été soigneusement sélectionnés pour représenter un large éventail de patients, garantissant un mélange d'âges, de différents types de médicaments et de diverses fréquences de crises. Les dossiers eux-mêmes sont un mélange de données structurées, comme la date de naissance d'un patient, et de texte non structuré, où les médecins écrivent leurs observations, leurs plans de traitement et leurs notes sur la façon dont un patient s'adapte. Les chercheurs ont ensuite réuni une équipe de huit personnes pour lire et étiqueter ces documents. Cette équipe était composée de cinq cliniciens, qui sont des médecins, et de trois data scientists spécialisés en épilepsie. Ils ont utilisé un outil logiciel spécialisé qui leur permettait de surligner des informations spécifiques dans le texte et de les assigner à des catégories, telles que le type d'épilepsie dont souffre un patient, les médicaments qu'il prend, le dosage, et toute autre condition de santé qu'il pourrait avoir.

Le processus a été conçu pour être aussi clair et cohérent que possible. L'équipe a élaboré des directives détaillées expliquant exactement comment interpréter le texte. Par exemple, si un médecin écrivait qu'un patient avait « possiblement » des crises, les directives indiquaient aux annotateurs comment évaluer ce niveau de certitude. L'équipe devait également décider comment gérer des situations complexes, comme un patient prenant un médicament à des doses différentes à différents moments de la journée. Pour tester l'efficacité de ces directives, chaque document a été lu et étiqueté par deux personnes différentes : un clinicien et un data scientist. Ce processus de double vérification a permis aux chercheurs de mesurer à quel point les deux lecteurs étaient d'accord entre eux. Si les directives étaient claires et la tâche simple, les deux lecteurs étiquetaient la même information de la même manière. S'ils n'étaient pas d'accord, cela suggérait que les directives devaient être plus claires ou que l'information dans le texte était trop ambiguë.

Les résultats de cet effort ont montré que l'équipe avait largement réussi à créer un système fiable. Lorsque les chercheurs ont comparé le travail des deux lecteurs pour chaque document, ils ont constaté un haut niveau d'accord global. Les étiquettes les plus cohérentes concernaient les faits les plus directs, comme le nom des médicaments anti-crises pris par un patient et s'il était actuellement exempt de crises. Ces détails apparaissaient souvent dans des sections claires et sous forme de listes dans les notes, ce qui les rendait faciles à identifier et à valider pour les médecins comme pour les data scientists. Cependant, les chercheurs ont également constaté que l'accord diminuait lorsque les notes devenaient plus subjectives ou complexes. Par exemple, lorsque le texte discutait de la certitude d'un diagnostic ou du moment exact de certains événements, les deux lecteurs étaient parfois en désaccord. Dans certains blocs de documents, l'accord était plus faible, suggérant que certaines parties des notes étaient plus difficiles à interpréter que d'autres. Les chercheurs ont noté que cela n'était pas dû au fait que les documents étaient différents, mais plutôt parce que les lecteurs humains avaient du mal à appliquer les règles parfaitement dans chaque cas, surtout face à un langage vague ou à des doses multiples de médicaments.

Malgré ces défis, le niveau global d'accord était suffisamment élevé pour être utile à l'entraînement de systèmes informatiques. L'équipe a conclu que ses directives étaient généralement reproductibles et que l'ensemble de données résultant est une ressource précieuse pour l'avenir. Ils ont découvert que la difficulté de s'accorder sur une information ne dépendait pas de la rareté de celle-ci ; même des faits courants pouvaient être difficiles à valider s'ils étaient écrits de manière ambiguë. L'étude suggère que pour que l'intelligence artificielle maîtrise véritablement l'art de lire les notes médicales, les futures directives devront mettre davantage l'accent sur la gestion de l'incertitude et sur l'apprentissage de la machine à raisonner sur le temps et la probabilité. À mesure que l'équipe continue d'annoter davantage de dossiers et d'affiner ses règles, cette bibliothèque croissante de données étiquetées servira de fondation à la création d'outils plus intelligents. Ces outils pourraient éventuellement aider les médecins à analyser des milliers d'antécédents de patients en quelques secondes, révélant des modèles qui pourraient mener à de meilleurs traitements pour ceux qui luttent contre l'épilepsie résistante aux médicaments.