Comparative Performance of Large Language Models in Answering Guideline-Based Questions on Juvenile Idiopathic Arthritis: A Blinded Expert Evaluation

Dans le monde de la médecine pédiatrique, il existe une affection appelée polyarthrite juvénile idiopathique. Il s'agit d'un groupe de maladies où les articulations d'un enfant deviennent gonflées et douloureuses sans raison apparente, et cela peut affecter sa croissance et sa mobilité. Comme cette affection se présente sous de nombreuses formes différentes, les médecins doivent être très prudents pour identifier exactement quel type de maladie l'enfant présente et choisir le traitement approprié. Les règles pour prendre ces décisions sont consignées dans des guides détaillés créés par des experts médicaux. Ces guides indiquent aux médecins quand commencer les médicaments, comment surveiller les effets secondaires et comment gérer des situations complexes comme les infections ou l'inflammation oculaire. Pendant des années, ces guides ont été la carte de référence pour les médecins, mais un nouvel outil est apparu à l'horizon : les grands modèles de langage. Ce sont des programmes informatiques entraînés sur de vastes quantités de texte qui peuvent répondre à des questions dans un langage fluide et humain. Ils deviennent populaires pour trouver des informations médicales, mais personne ne savait s'ils pouvaient être dignes de confiance pour suivre les règles strictes des soins de l'arthrite pédiatrique ou s'ils pourraient inventer des faits qui semblent corrects mais qui sont en réalité faux.

Une équipe de chercheurs en Turquie a décidé de soumettre ces programmes informatiques à un test sérieux. Ils voulaient voir si trois des modèles les plus avancés disponibles pouvaient répondre à des questions sur la polyarthrite juvénile idiopathique aussi bien qu'un expert humain. Pour ce faire, ils n'ont pas demandé aux ordinateurs d'écrire des histoires ou de discuter de sentiments. Au lieu de cela, ils leur ont soumis vingt et une questions spécifiques basées sur les guides médicaux officiels. Certaines questions portaient sur des faits simples, comme la manière de distinguer les différents types de la maladie. D'autres portaient sur des plans de traitement, comme le médicament à administrer à un enfant qui ne s'améliore pas. Les questions les plus difficiles étaient des scénarios hypothétiques sur des patients, demandant aux ordinateurs de déterminer la meilleure étape suivante pour un enfant spécifique ayant un historique complexe. Les chercheurs ont demandé à trois modèles informatiques différents de répondre à chaque question. Pour que le test soit équitable, ils ont utilisé des étiquettes neutres pour cacher les noms des ordinateurs et ont mélangé l'ordre dans lequel les réponses étaient présentées.

Cinq médecins experts, spécialistes des maladies articulaires infantiles, ont ensuite lu ces réponses. Ils ne savaient pas quel ordinateur avait écrit quelle réponse. Ils ont évalué chaque réponse selon sa précision par rapport aux guides officiels, son utilité dans un cabinet médical réel et la qualité globale de la réponse. Les résultats ont montré une différence claire entre les machines. Un modèle, que les chercheurs ont appelé GPT-5.6 Sol, a systématiquement donné les meilleures réponses. Il a obtenu les scores les plus élevés pour la précision et l'utilité pour un médecin. Les deux autres modèles, Gemini 3.1 Pro et Claude Opus 5, ont bien performé mais n'ont pas atteint le leader. Dans certains domaines, comme le diagnostic de la maladie, l'un des modèles les plus faibles a mieux réussi que l'autre, mais dans d'autres domaines, comme les plans de traitement, l'ordre s'est inversé. Cela a prouvé qu'aucun ordinateur n'était parfait en tout, et que leurs performances changeaient selon le type de question posée.

L'étude a également examiné la manière dont les réponses étaient rédigées. L'un des modèles a produit des réponses très longues, écrivant des milliers de mots à travers les vingt et une questions. Les chercheurs s'attendaient à ce que des réponses plus longues soient meilleures, mais les médecins n'étaient pas d'accord. Le modèle qui a écrit le plus de mots n'a pas obtenu les scores les plus élevés. En fait, le modèle ayant obtenu le meilleur score était souvent plus direct. Les médecins ont également remarqué que le langage utilisé par tous les ordinateurs était assez difficile à lire, écrit à un niveau qui serait difficile à comprendre pour un adulte typique sans formation médicale. Cela suggère que, bien que ces outils puissent générer un texte fluide, ils ne savent pas toujours simplifier les règles médicales complexes pour un public général.

La conclusion la plus importante de cette recherche est que ces programmes informatiques ne peuvent pas remplacer un médecin humain. Bien qu'ils puissent extraire des informations et les organiser en une réponse cohérente, ils confondent parfois la limite entre une règle stricte et une simple caractéristique de la maladie. Ils pourraient suggérer une option de traitement qui est possible mais qui n'est pas la meilleure, ou ils pourraient mélanger les détails de la classification d'une maladie. Les chercheurs ont conclu que ces outils ne devraient être utilisés que sous la supervision d'un spécialiste capable de vérifier les faits. L'étude a montré que même le meilleur modèle informatique a besoin d'un expert humain pour vérifier son travail, surtout lorsque la santé d'un enfant est en jeu. La technologie est puissante, mais dans le domaine délicat de la rhumatologie pédiatrique, elle reste un outil pour assister, et non un décideur autonome.