From clinician review to measurable human oversight of AI-drafted paediatric discharge documents

Lorsqu'un enfant quitte un service d'urgences hospitalières, la famille reçoit un document qui doit accomplir deux tâches difficiles simultanément. Il doit expliquer au prochain médecin exactement ce qui s'est passé et quel traitement a été administré, en utilisant un langage médical précis. En même temps, il doit expliquer les mêmes événements à un parent inquiet avec des mots simples, afin qu'il sache comment soigner l'enfant à la maison et quand revenir si la situation s'aggrave. Pendant des décées, les médecins rédigeaient ces résumés à la main ou en remplissant des formulaires préétablis, un processus qui peut être lent et qui laisse parfois de côté des détails importants ou utilise un langage difficile à comprendre. Récemment, un nouveau type de programme informatique, connu sous le nom de modèle de langage étendu, est apparu. Ces programmes peuvent lire le dossier médical d'un patient et rédiger un brouillon de résumé de sortie en quelques secondes. L'espoir est que ces outils rendront les documents plus clairs et plus rapides à produire. Mais une question cruciale demeure : si un ordinateur écrit le premier brouillon, le médecin détecte-t-il réellement les erreurs commises par l'ordinateur avant que la famille ne reparte avec le papier ?

Dans un hôpital de Montpellier, en France, des chercheurs ont entrepris de répondre à cette question en observant comment les médecins interagissent avec ces nouveaux outils en temps réel. Ils ne se sont pas contentés de demander aux médecins s'ils appréciaient le travail de l'ordinateur ; ils ont observé l'ensemble du processus, du moment où l'ordinateur génère un brouillon jusqu'au moment où le médecin signe le document final. L'équipe a recruté 153 enfants qui étaient sur le point de rentrer chez eux après un passage au service des urgences pédiatriques. Ils ont divisé ces familles en deux groupes. Un groupe a reçu le résumé de sortie standard que l'hôpital utilisait toujours, assemblé à partir d'un modèle fixe. L'autre groupe a reçu un résumé rédigé par un programme informatique fonctionnant sur les propres serveurs sécurisés de l'hôpital, lequel a ensuite été révisé et signé par le même médecin qui avait traité l'enfant. Les chercheurs ont conservé chaque version du document : les notes médicales originales, le premier brouillon de l'ordinateur et le document final remis à la famille. Cela leur a permis de voir exactement ce que l'ordinateur a modifié, ce que le médecin a modifié, et quels types d'erreurs ont pu passer entre les mailles du filet.

Les résultats ont montré que l'ordinateur était très efficace pour simplifier le langage. Les documents rédigés pour les familles du groupe assisté par ordinateur utilisaient des mots plus courants et moins de termes techniques que les documents standards. Cependant, lorsque les chercheurs ont vérifié la compréhension réelle des instructions par les familles quelques jours plus tard, il n'y avait aucune différence entre les deux groupes. Que le document ait été rédigé par un modèle ou par un ordinateur, les familles se souvenaient du plan de suivi et des signes d'alerte à surveiller avec une précision similaire. En fait, dans les deux groupes, près de la moitié des familles avaient mal compris les détails du plan de suivi, ce qui suggère que le problème ne réside pas seulement dans la manière dont les mots sont écrits, mais dans la manière dont l'information est communiquée lors du moment chargé de la sortie.

La partie la plus révélatrice de l'étude fut ce qui s'est passé en coulisses lorsque le médecin a examiné le brouillon de l'ordinateur. Les chercheurs ont découvert que l'ordinateur commettait des erreurs, mais que les médecins étaient des éditeurs actifs et attentifs. Dans le groupe où l'ordinateur a rédigé le brouillon, les médecins ont modifié le texte dans presque tous les cas. Ils ont supprimé les informations que l'ordinateur avait inventées et qui ne figuraient pas dans le dossier médical, et ils ont corrigé les erreurs où l'ordinateur avait mal interprété une abréviation médicale. Par exemple, l'ordinateur a parfois développé un code médical court en le transformant en le mauvais terme complet, transformant une description de symptômes urinaires en une condition médicale complètement différente. Les médecins n'ont corrigé qu'une petite fraction de ces erreurs spécifiques : ils ont corrigé 6 développements d'abréviations incorrects sur 22, ce qui signifie que 16 de ces erreurs sont restées dans les documents finaux remis aux familles. Cela suggère que les faits inventés sont faciles à repérer car ils paraissent étranges, mais que les erreurs subtiles dans les termes médicaux peuvent paraître parfaitement normales et échapper même à un examen attentif.

De manière cruciale, l'étude a révélé qu'aucune erreur dans les documents finaux remis aux médecins n'a été jugée assez grave pour causer un préjudice. L'ordinateur n'a pas inventé de conseils médicaux dangereux, et les médecins ont détecté les problèmes les plus critiques. Cependant, les chercheurs ont également découvert que l'ordinateur perdait différents types d'informations par rapport au modèle standard. Le modèle standard échouait simplement à transférer certains champs, comme les allergies passées, de manière prévisible. L'ordinateur, quant à lui, omettait parfois des détails spécifiques sur l'auteur d'un avis médical ou omettait des résultats négatifs enregistrés dans les notes. Ces pertes n'étaient pas toujours évidentes dans le texte final, ce qui signifie qu'un médecin pourrait ne pas réaliser qu'une information manque à moins de comparer directement le document final avec les notes originales.

L'étude conclut que, bien que ces outils informatiques puissent aider à rendre les documents médicaux plus faciles à lire, ils ne les rendent pas automatiquement plus sûrs ou plus précis. Le médecin humain reste essentiel, mais son rôle a changé : il passe de la rédaction du texte à la vérification minutieuse de celui-ci. Les chercheurs soutiennent que nous ne pouvons pas simplement supposer qu'un médecin a détecté chaque erreur sous prétexte qu'il a signé le document. Pour mesurer réellement l'efficacité de la supervision humaine de ces outils, nous devons voir non seulement le résultat final, mais aussi les étapes intermédiaires : ce que l'ordinateur a écrit, ce que le médecin a vu, et ce que le médecin a choisi de corriger ou de laisser tel quel. Tant que nous ne pourrons pas mesurer ces étapes, nous ne pourrons pas être certains que le filet de sécurité de la révision humaine capture tout ce qu'il doit. Ce travail suggère que l'avenir de la documentation médicale dépendra non seulement de meilleurs ordinateurs, mais aussi de meilleures manières pour les médecins de voir et de corriger le travail produit par ces ordinateurs.