Evaluating Methods for Assessing LLM-Translated Clinical Discharge Instructions: A Comparison of Automated Metrics, MQM-Based Evaluation, and Clinician Review

Lorsqu'un patient quitte un hôpital, les instructions de sortie qu'il reçoit sont bien plus qu'une simple liste de tâches ; elles constituent un pont critique entre les soins professionnels et la vie quotidienne. Si ces instructions ne sont pas comprises, le risque d'erreurs de médication, de rendez-vous de suivi manqués et d'aggravation de l'état de santé augmente considérablement. Pour les patients dont l'espagnol est la langue maternelle, ce pont doit être construit dans leur langue d'origine. Pendant des décées, les hôpitaux ont eu recours à des traducteurs humains pour garantir l'exactitude de ces documents, mais l'essor rapide de l'intelligence artificielle a offert une nouvelle façon plus rapide de générer ces traductions. Les modèles de langage étendus, le même type de technologie qui peut rédiger des essais ou répondre à des questions complexes, sont maintenant testés pour voir s'ils peuvent traduire des documents médicaux avec le même soin et la même précision qu'un expert humain. La question centrale n'est pas seulement de savoir si la machine peut traduire des mots, mais si elle peut traduire le sens, surtout lorsqu'un seul mot erroné pourrait modifier la compréhension qu'un patient a de sa propre santé.

Une équipe de chercheurs de la School of Medicine de l'Université du Colorado s'est donné pour mission de répondre à cette question en testant la capacité de l'intelligence artificielle à traduire des instructions de sortie hospitalières de l'anglais vers l'espagnol. Ils n'ont pas simplement demandé à l'ordinateur de traduire ; ils ont construit une expérience rigoureuse pour voir comment différentes manières de demander à l'ordinateur de travailler modifieraient les résultats. Ils ont pris deux cents instructions de sortie réelles et anonymisées provenant d'une grande base de données médicale et les ont injectées dans trois modèles d'intelligence artificielle différents. Pour voir si la manière dont un humain parle à la machine importe, ils ont utilisé deux méthodes de sollicitation (prompting) distinctes. Dans une méthode, ils ont dit à l'ordinateur d'agir comme un clinicien expert dans une unité de soins intensifs, responsable de la traduction du texte. Dans l'autre, ils ont donné une instruction beaucoup plus simple et littérale consistant à simplement traduire les mots, sans aucun rôle ni contexte. L'objectif était de voir si le fait de présenter la machine comme un médecin mènerait à de meilleures traductions médicales que de la traiter comme un simple outil de permutation de mots.

Pour juger la qualité de ces traductions, les chercheurs ont utilisé trois approches différentes, chacune examinant le texte sous un angle différent. Premièrement, ils ont utilisé des mesures informatisées automatisées, qui sont des outils standards dans le domaine de la technologie du langage et qui comptent combien de mots et de phrases dans la traduction correspondent au texte original. Ces outils sont rapides et peuvent traiter des milliers de documents, mais ils regardent principalement les similitudes de surface. Deuxièmement, ils ont utilisé un cadre structuré appelé Métrique de Qualité Multidimensionnelle, ou MQM. Cette méthode décompose la traduction en catégories spécifiques, telles que la justesse des termes médicaux, si le ton est approprié pour un patient, ou si la grammaire est fluide. Ils ont fait en sorte qu'un système d'intelligence artificielle agisse comme un juge pour évaluer les traductions selon ces catégories. Enfin, et c'est le plus important, ils ont fait appel à des experts humains. Deux médecins bilingues, maîtrisant l'anglais et l'espagnol, ont examiné un échantillon aléatoire des traductions. Ils ont évalué les documents en utilisant les mêmes catégories structurées, servant ainsi de référence absolue (gold standard) pour ce que devrait être une traduction de haute qualité et sécurisée.

Les résultats ont révélé un décalage surprenant entre ce que les ordinateurs considéraient comme bon et ce que les médecins humains considéraient comme bon. Les mesures automatisées, qui comptent les chevauchements de mots, préféraient systématiquement les traductions générées par les sollicitations simples et littérales. Lorsque l'ordinateur recevait l'ordre de simplement traduire mot à mot, les scores automatisés étaient plus élevés, suggérant que le résultat était plus proche du texte anglais original. Cependant, lorsque les chercheurs ont examiné les scores de qualité structurés et les examens humains, un tableau différent est apparu. Les traductions générées par la sollicitation « clinicien », où l'ordinateur était invité à agir comme un expert médical, étaient souvent plus performantes en termes de style et de ton, même si les outils de comptage de mots automatisés les évaluaient moins bien. Cela suggère que les outils utilisés pour mesurer le succès de la traduction par le passé pourraient ne pas capturer les nuances les plus importantes dans un contexte hospitalier.

Lorsque les chercheurs ont comparé les scores donnés par les juges d'intelligence artificielle par rapport aux scores donnés par les médecins humains, l'accord fut étonnamment faible. L'ordinateur et les experts humains divergeaient souvent sur la question de savoir si une traduction était exacte ou si la terminologie médicale était correcte. Le plus haut niveau d'accord entre la machine et l'humain a été trouvé dans des domaines tels que le formatage et les conventions locales, où les règles sont claires et objectives. Cependant, dans les domaines les plus critiques — tels que l'exactitude du sens médical et l'adéquation du langage pour un patient — la machine et l'humain voyaient fréquemment les choses différemment. Même les deux médecins humains ne sont pas toujours tombés d'accord entre eux, soulignant que juger une traduction médicale implique un degré d'interprétation humaine difficile à automatiser. L'étude a révélé que, bien que les modèles d'intelligence artificielle produisent des traductions généralement de haute qualité, les domaines où ils éprouvent le plus de difficultés sont précisément ceux qui exigent la compréhension la plus profonde du contexte clinique.

Les chercheurs ont conclu qu'aucune méthode unique ne suffit à garantir la sécurité des documents médicaux traduits. Les outils automatisés sont utiles pour vérifier rapidement de grands volumes de texte, et les systèmes de notation structurés aident à organiser l'évaluation, mais aucun ne peut pleinement remplacer le jugement d'un expert humain. L'étude suggère que la meilleure approche est une approche par couches : utiliser des vérifications automatisées rapides pour filtrer les erreurs évidentes, suivies d'examens ciblés par des cliniciens humains pour les parties les plus critiques du texte. Cette combinaison garantit que l'efficacité de l'intelligence artificielle est équilibrée par la surveillance humaine nécessaire pour protéger la sécurité des patients. Ces conclusions rappellent que dans des environnements à enjeux élevés comme la santé, la capacité de traduire des mots n'est pas la même que la capacité de communiquer des soins, et que l'expertise humaine demeure une partie essentielle du processus.