Large Language Models for Automated AGREE II Quality Appraisal of Sepsis Clinical Practice Guidelines: A Methodological Comparative Study

Dans le monde de la médecine moderne, où les enjeux sont de taille, les traitements vitaux sont souvent guidés par des recommandations de pratique clinique. Il ne s'agit pas de simples suggestions informelles, mais de documents soigneusement construits qui synthétisent les meilleures preuves scientifiques disponibles en instructions claires pour les médecins. Ils indiquent aux équipes médicales comment gérer des conditions complexes comme le sepsis, une réaction dangereuse à l'infection qui peut entraîner une défaillance des organes et coûter la vie à des milliers de personnes. Cependant, la qualité de ces recommandations varie considérablement. Certaines sont fondées sur des méthodes rigoureuses et transparentes, tandis que d'autres peuvent manquer de profondeur ou de clarté. Pour distinguer le fiable de l'infiable, les experts utilisent un outil spécifique appelé AGREE II. Cet instrument agit comme une liste de contrôle détaillée, posant vingt-trois questions spécifiques sur la structure d'une recommandation, ses preuves et sa capacité d'application dans le monde réel. Traditionnellement, remplir cette liste est un processus lent et coûteux qui nécessite des équipes de spécialistes hautement qualifiés pour lire chaque mot et débattre de leurs mérites. Alors que le nombre de recommandations publiées croît plus vite que le nombre d'experts disponibles pour les lire, la communauté médicale fait face à un goulot d'étranglement : comment garantir la qualité sans être submergé par le volume ?

C'est ici que l'intelligence artificielle entre en scène, plus précisément une nouvelle génération de programmes informatiques connus sous le nom de modèles de langage étendus. Ces systèmes, entraînés sur de vastes quantités de texte, ont démontré une capacité à lire, comprendre et résumer des informations complexes. Les chercheurs se sont demandé si ces outils numériques pourraient assumer la partie laborieuse de l'évaluation des recommandations médicales, agissant comme un premier passage automatisé et rapide avant qu'un expert humain n'intervienne. Une équipe de scientifiques s'est lancée dans l'idée de tester ce concept en opposant six modèles de langage différents à un panel d'experts humains. Ils n'ont pas demandé aux ordinateurs de deviner les réponses ; au lieu de cela, ils leur ont fourni le texte intégral de onze recommandations réelles pour le traitement du sepsis et ont demandé aux modèles de les noter en utilisant la même liste de contrôle stricte AGREE II que les humains avaient déjà utilisée. L'objectif était de voir si les machines pouvaient penser comme les experts, ou si elles trébucheraient sur les nuances du jugement médical.

Les résultats ont révélé une relation prometteuse, mais loin d'être parfaite. Les modèles informatiques ont été capables de s'accorder avec les experts humains dans une certaine mesure, capturant la qualité générale des documents. Cependant, ils ne se contentaient pas de mimer la pensée humaine ; ils développaient leurs propres schémas d'erreurs distincts. La découverte la plus frappante fut un biais constant dans la manière dont les machines évaluaient l'« applicabilité » d'une recommandation. Cette section de la liste de contrôle demande si un document fournit suffisamment de conseils pratiques pour que les médecins puissent l'utiliser réellement dans un hôpital chargé, en tenant compte de facteurs tels que le coût, l'équipement et les ressources locales. Les experts humains ont généralement attribué des notes plus élevées à ces sections, reconnaissant l'intention pratique derrière les recommandations. Les modèles informatiques, en revanche, ont systématiquement attribué des scores beaucoup plus bas à ces sections. Il semble que les machines cherchaient des instructions explicites, étape par étape, sur la mise en œuvre d'un traitement et pénalisaient les recommandations pour ne pas les fournir, même lorsque les recommandations étaient par ailleurs solides. Elles semblaient passer à côté du contexte subtil du monde réel que les médecins comprennent instinctivement.

À l'inverse, les modèles avaient tendance à être trop généreux lors de l'évaluation de la « rigueur du développement ». Cette partie de la liste de contrôle examine la manière dont la recommandation a été élaborée, en cherchant la preuve que les auteurs ont suivi des méthodes scientifiques strictes. Les ordinateurs étaient très doués pour repérer des mots-clés tels que « revue systématique » ou « fondé sur des preuves », et lorsqu'ils voyaient ces termes, ils attribuaient des scores élevés. Parfois, ils accordaient ces scores même lorsque les experts humains estimaient que les méthodes n'étaient pas aussi solides que le langage le suggérait. Les machines lisaient très bien la surface du texte, mais manquaient parfois la vérité profonde de la manière dont le travail avait réellement été effectué. Cela créait une dynamique étrange où les ordinateurs étaient trop sévères sur les aspects pratiques d'une recommandation et trop indulgents sur les aspects théoriques.

Au-delà des scores spécifiques, l'étude a également examiné la vitesse et le coût de l'utilisation de ces différents modèles. Les chercheurs ont mesuré le temps que chaque ordinateur a mis pour lire une recommandation et la quantité de « carburant » numérique consommée pour produire une réponse. Un modèle, développé par une entreprise technologique chinoise, s'est distingué comme étant le plus efficace. Il produisait des scores qui s'alignaient bien avec les experts humains, le faisait en seulement quinze secondes et utilisait le moins de ressources numériques. Un autre modèle provenant d'une grande entreprise technologique américaine était légèrement plus lent et plus coûteux à exploiter, mais présentait le moins de biais, ce qui signifie que ses scores étaient les plus proches de la moyenne humaine sans trop pencher d'un côté ou de l'autre. L'étude a révélé qu'un modèle plus grand et plus puissant n'était pas nécessairement meilleur pour cette tâche spécifique ; en fait, le modèle le plus efficace n'était pas celui doté de la plus grande taille ou de la connaissance médicale la plus générale. Cela suggère que pour ce type de travail détaillé et structuré, la capacité à suivre un ensemble spécifique de règles importe plus que la taille brute.

Les chercheurs ont conclu que ces outils d'intelligence artificielle ne sont pas prêts à remplacer les experts humains. Si un hôpital se fiait uniquement à un ordinateur pour décider quelles recommandations sont assez bonnes pour être utilisées, il pourrait rejeter d'excellents documents simplement parce que la machine était trop stricte sur les détails pratiques, ou accepter des documents faibles parce que la machine aurait été dupée par un langage sophistiqué. Au lieu de cela, la meilleure utilisation de ces modèles est celle d'un système de triage. Ils peuvent scanner rapidement des centaines de recommandations, signalant celles qui semblent prometteuses et mettant en évidence celles qui pourraient nécessiter un examen plus approfondi. Cela permettrait de libérer du temps aux experts humains pour qu'ils se concentrent sur les cas les plus difficiles, particulièrement les recommandations qui se situent à la limite de l'acceptable. De cette façon, la technologie agit comme un assistant puissant, gérant le volume et la vitesse, tout en laissant le jugement nuancé final aux personnes qui comprennent la réalité des soins aux patients. L'étude confirme que si les machines peuvent lire les mots, elles ont encore besoin des humains pour en comprendre le sens.