Decomposing Error and Style in Automated Clinical Coding
Cet article soutient qu'une grande partie de l'écart de performance dans le codage clinique automatisé attribué à l'erreur du modèle provient en réalité de styles de codage systématiques non modélisés, démontrant qu'un conditionnement explicite des modèles sur une rubrique de style propre à chaque codeur améliore considérablement la précision et résout les divergences entre les différentes méthodes d'évaluation.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Chaque fois qu'un patient quitte le cabinet d'un médecin ou un hôpital, une tâche administrative critique commence. Un codeur médical doit lire les notes cliniques rédigées par le médecin et les traduire en un ensemble normalisé de codes alphanumériques. Ces codes indiquent aux compagnies d'assurance et aux programmes gouvernementaux exactement ce qui n'allait pas chez le patient et ce qui a été fait pour le traiter, déterminant ainsi la rémunération du prestataire. Pendant des décennies, le domaine du codage automatisé a traité cette tâche comme un simple jeu de correspondance : un programme informatique lit la note et, si sa liste de codes ne correspond pas parfaitement à une liste unique de référence (« gold standard ») créée par un expert humain, l'ordinateur est marqué comme ayant échoué. Cette approche suppose que si deux experts lisent la même note et suivent les mêmes règles, ils produiront exactement la même liste de codes.
Cependant, dans le monde réel de la médecine, cette supposition ne tient pas. Même des experts humains hautement qualifiés, examinant les mêmes notes de patients et utilisant les mêmes directives officielles, produisent souvent des listes de codes différentes. Ils peuvent ne pas s'entendre sur l'inclusion d'une affection mineure, sur le degré de précision d'un diagnostic, ou sur l'ajout de codes administratifs pour des services qui ont été discutés mais non effectués. Pendant longtemps, les chercheurs ont cru que ce désaccord était simplement une erreur humaine — un coût désordonné et inévitable lié à l'existence d'un système vaste comprenant des dizaines de milliers de codes possibles. Mais une nouvelle étude suggère que ce qui ressemble à une erreur est en réalité tout autre chose : une différence systématique de style. Tout comme deux écrivains pourraient décrire le même événement avec différents niveaux de détail ou de focalisation, deux codeurs appliquent différentes politiques internes concernant ce qui mérite d'être enregistré et le niveau de preuve nécessaire pour le justifier.
Une équipe de chercheurs chez Amazon s'est donné pour mission d'enquêter sur cet écart, en se demandant si le désaccord entre les codeurs était un bruit aléatoire ou un modèle prévisible qu'ils pourraient mesurer et utiliser. Ils ont commencé par examiner un ensemble de données publiques de 110 rencontres de patients qui avaient été codées par deux équipes indépendantes. Bien que travaillant à partir de notes identiques, ces deux équipes n'étaient d'accord que sur 73 % des codes. Lorsque les chercheurs ont fait appel à un troisième groupe indépendant d'auditeurs cliniques pour examiner les notes et supprimer tout code manifestement injustifié, l'accord n'a augmenté que légèrement pour atteindre 77 %. Cela signifiait que même après avoir supprimé les erreurs évidentes, un quart des codes différaient encore entre les experts. Les chercheurs ont émis l'hypothèse que cet écart restant n'était pas un défaut de connaissance, mais une différence de « style de codage » — un ensemble spécifique de préférences que chaque codeur ou site médical détient concernant l'agressivité du codage, la précision, et le niveau de documentation requis pour justifier un code.
Pour tester cette idée, les chercheurs ont construit un système capable de mesurer ce style. Ils ont créé une rubrique simple, ou une liste de contrôle, comprenant dix dimensions différentes. Certaines dimensions posaient des questions telles que : « Le codeur liste-t-il uniquement la plainte principale, ou liste-t-il chaque problème mentionné ? » D'autres demandaient : « Le codeur déduit-il une affection à partir d'un médicament mentionné, ou attend-il que le médecin énonce explicitement le diagnostic ? » En utilisant un grand modèle de langage, ils ont analysé des centaines de notes de patients et leurs listes de codes correspondantes pour évaluer chaque ensemble de données selon ces dix dimensions. Ce processus a permis de créer un « profil de style » pour chaque groupe de codeurs, résumant essentiellement leurs habitudes collectives en un ensemble de chiffres décrivant leur approche.
La percée est survenue lorsque les chercheurs ont utilisé ces profils de style pour guider les modèles informatiques. Au lieu de simplement demander à l'ordinateur de « coder cette note », ils ont ajouté un bloc d'instructions spécifiques décrivant le style du codeur qu'il fallait imiter. Par exemple, si le style cible était « agressif », l'ordinateur recevait l'instruction de lister toutes les affections possibles mentionnées dans le texte. Si le style était « conservateur », il lui était ordonné de ne lister que ce qui était explicitement confirmé. Les résultats furent frappants. Lorsque l'ordinateur recevait un profil de style correspondant aux données qu'il devait coder, sa précision augmentait de manière spectaculaire. Sur plusieurs ensembles de données, la performance de l'ordinateur s'est améliorée de pas plus de 26 points sur une échelle de notation standard. Inversement, lorsque l'ordinateur recevait un profil de style en conflit avec les données — ordonnant à un codeur conservateur d'être agressif, ou vice versa — sa performance chutait de jusqu'à 21 points.
Cette découverte suggère qu'une grande partie de ce qui était auparavant imputé à l'incapacité de l'ordinateur à comprendre la médecine était en réalité l'incapacité de l'ordinateur à comprendre les habitudes du codeur. Les chercheurs ont testé cela sur cinq ensembles de données différents, incluant des visites en externe et des dossiers d'hospitalisation, et ont constaté que l'effet se vérifiait pour presque toutes les méthodes testées. Qu'ils utilisent un prompt de base ou un pipeline complexe à plusieurs étapes, l'ajout du bon profil de style améliorait systématiquement les résultats. En fait, un modèle informatique simple et non entraîné, guidé par les bonnes instructions de style, performait aussi bien qu'un modèle hautement sophistiqué et pré-entraîné qui n'avait aucune instruction de ce type. Cela implique que l'ordinateur connaît déjà les règles médicales ; il a simplement besoin de savoir quelle version des règles appliquer dans un contexte spécifique.
L'étude a également révélé que ce « style » est une propriété de la source de données, et non un simple bruit aléatoire. Lorsque les chercheurs ont visualisé les profils de style de différents hôpitaux et équipes de codage, ils ont vu que les profils se regroupaient par source. Un hôpital qui avait tendance à être très précis sur les diagnostics présentait un profil distinct de celui d'un hôpital préférant des codes plus larges et moins spécifiques. Ce regroupement a confirmé que le style est une caractéristique réelle et mesurable du fonctionnement d'un groupe médical. Cependant, les chercheurs ont également noté que leur liste de contrôle en dix points n'était pas une carte parfaite de l'ensemble du paysage. Dans un cas spécifique impliquant deux équipes qui divergeaient sur 27 % de leurs codes, la liste de contrôle n'a pas pu expliquer entièrement la différence, suggérant qu'il existe encore des dimensions cachées du style que leurs outils actuels ne peuvent percevoir. De plus, l'approche fonctionnait moins bien pour les dossiers d'hospitalisation, où le volume massif de codes par patient submergeait la simple échelle qu'ils avaient conçue.
En fin de compte, ce travail recadre la manière dont nous devrions concevoir le codage médical automatisé. Il suggère que l'objectif ne doit pas être de forcer chaque ordinateur à correspondre à une liste unique et rigide de « référence », mais de reconnaître que différents contextes médicaux présentent des différences systématiques et légitimes dans leur manière de documenter les soins. En mesurant et en s'adaptant à ces styles, les ordinateurs peuvent devenir bien plus précis. Les chercheurs concluent que l'écart entre la performance humaine et celle de la machine n'est pas seulement une question d'intelligence ou d'entraînement, mais d'alignement. Si nous pouvons apprendre à la machine à parler le même « langage » de documentation que le codeur humain, nous pouvons récupérer une part importante de l'exactitude qui était auparavant considérée comme perdue à cause de l'erreur. Cela ne signifie pas que l'ordinateur devine ; cela signifie que l'ordinateur écoute enfin les bonnes instructions.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.