RheumBench: A Specialist-Validated Rubric-Based Benchmark for Evaluating Large Language Models in Rheumatology

Dans la clinique moderne, les médecins se tournent de plus en plus vers l'intelligence artificielle pour les aider à trier des symptômes complexes, à peser les options de traitement et à prendre des décisions difficiles. Ces outils, connus sous le nom de modèles de langage étendus, sont de puissants programmes informatiques entraînés sur de vastes quantités de texte qui leur permettent de comprendre et de générer un langage humain. Ils peuvent lire des dossiers médicaux, répondre à des questions sur des maladies et suggérer les prochaines étapes pour les soins des patients. Bien que ces systèmes offrent la promesse d'un soutien plus rapide et plus accessible, ils comportent également des risques importants. Si un programme informatique donne une réponse confiante mais erronée, cela pourrait conduire un patient à recevoir le mauvais traitement ou à passer à côté d'un diagnostic critique. Le domaine de la rhumatologie, qui traite des maladies des articulations, des muscles et du système immunitaire, est particulièrement complexe, impliquant des centaines de conditions différentes qui se ressemblent souvent. Comme les enjeux sont si élevés, les experts ont besoin d'un moyen fiable de tester si ces assistants numériques sont réellement sûrs et précis avant de leur confier de vrais patients.

Pour répondre à ce besoin, une équipe de chercheurs issus de plusieurs universités et centres médicaux allemands a créé un nouveau terrain d'essai appelé RheumBench. Il s'agit du premier système d'évaluation spécialisé conçu spécifiquement pour mesurer la performance de l'intelligence artificielle en rhumatologie. Les chercheurs n'ont pas simplement demandé aux ordinateurs de répondre à des questions à choix multiples ; ils ont plutôt construit un cadre rigoureux basé sur des scénarios cliniques réels. Ils ont rassemblé cent cas de patients détaillés, allant de soixante-dix énigmes diagnostiques où l'objectif était d'identifier la maladie correcte, à trente situations de gestion qui nécessitaient des conseils sur le traitement, le conseil et le suivi des soins. Pour chacun de ces cas, un panel de rhumatologues certifiés a élaboré un guide d'évaluation détaillé, ou rubrique. Ce guide énumérait des actions spécifiques qu'un bon médecin devrait entreprendre, comme prescrire un test spécifique ou un certain médicament, ainsi que des actions qui devraient être évitées. Chaque point du guide était pondéré par importance, certains points étant attribués pour une action correcte et d'autres étant retirés pour une action dangereuse ou inappropriée.

Les chercheurs ont ensuite testé dix systèmes d'intelligence artificielle différents à l'aide de ces cent cas. Le groupe comprenait trois des modèles informatiques à usage général les plus avancés disponibles, un modèle open-source et six systèmes spécifiquement conçus pour un usage médical, dont deux officiellement certifiés comme dispositifs médicaux et un construit spécifiquement pour la rhumatologie. Les ordinateurs ont été invités à fournir des réponses aux cas de patients, et leurs réponses ont été évaluées par rapport aux rubriques créées par les experts. Pour gérer la quantité massive de notation requise, les chercheurs ont utilisé un panel de trois autres modèles informatiques avancés pour agir comme juges, vérifiant chaque réponse par rapport au guide d'évaluation. Ce processus a généré plus de cinquante mille évaluations individuelles, qui ont ensuite été comparées aux jugements de rhumatologues humains pour s'assurer que les juges informatiques étaient précis. Les résultats ont montré un très haut niveau d'accord entre les experts humains et les juges informatiques, validant ainsi la méthode.

Les conclusions ont révélé un paysage de variations significatives de performance. Les modèles informatiques à usage général les plus avancés, qui ne sont pas spécialisés en médecine, ont en fait surpassé les systèmes conçus spécifiquement pour l'usage clinique. Le système le plus performant a obtenu un score de 54,0 %, ce qui signifie qu'il a correctement suivi les directives de l'expert un peu plus de la moitié du temps. En revanche, le système spécifiquement construit pour la rhumatologie a obtenu le score le plus bas de tous, soit 17,8 %. Même les dispositifs médicaux certifiés, qui sont réglementés comme des produits médicaux, n'ont pas systématiquement surpassé les modèles généraux. Cela suggère que le fait d'avoir une spécialisation ou une certification médicale officielle ne garantit pas automatiquement qu'un système d'intelligence artificielle fournira des conseils meilleurs ou plus sûrs. L'étude a également constaté que la manière de poser une question faisait une grande différence. Lorsque les chercheurs ont utilisé des invites (prompts) plus détaillées et approfondies, la performance de la plupart des systèmes s'est améliorée, un modèle atteignant un score de 72,9 %. Cependant, même avec ces améliorations, aucun système n'a atteint un niveau de perfection permettant de fonctionner sans supervision humaine.

La sécurité était une préoccupation majeure tout au long des tests. Les chercheurs ont recherché des erreurs qui pourraient causer des dommages graves à un patient. Ils ont constaté que des erreurs potentiellement graves se produisaient dans chaque système testé, y compris dans les produits médicaux certifiés. Le type d'erreur le plus courant était une omission, où l'ordinateur omettait de suggérer une action nécessaire, telle que prescrire un test crucial ou orienter un patient vers un spécialiste. Bien que les systèmes aient été généralement bons pour éviter les actions qui causeraient directement du tort, leur échec à agir quand cela était nécessaire constituait un risque important. De plus, les ordinateurs ont affiché un schéma troublant de surconfiance. Ils ont fréquemment fait état de niveaux de certitude élevés dans leurs réponses, affirmant souvent être sûrs à plus de quatre-vingt-dix pour cent, même lorsque leur performance réelle était bien moindre. Cet écart entre la certitude ressentie par l'ordinateur et sa justesse réelle était présent dans tous les systèmes, indiquant que les utilisateurs ne peuvent pas se fier au propre taux de confiance de l'ordinateur pour juger de la qualité de ses conseils.

L'étude conclut que, bien que l'intelligence artificielle soit prometteuse pour soutenir les médecins en rhumatologie, les systèmes actuels ne sont pas encore prêts à remplacer le jugement humain. Le fait que les modèles à usage général soient souvent plus performants que les outils médicaux spécialisés remet en question l'hypothèse selon laquelle la certification médicale ou la formation de niche conduit automatiquement à une sécurité ou une précision supérieure. Les chercheurs soulignent que la supervision humaine reste essentielle, particulièrement parce que ces systèmes peuvent commettre des erreurs graves et ne réalisent pas toujours qu'ils ont tort. Le cadre RheumBench continuera d'être mis à jour avec plus de cas et de scénarios pour suivre les améliorations et garantir que les futures versions de ces outils soient plus sûres pour les patients. D'ici là, le rôle de l'ordinateur doit être perçu comme celui d'un outil de soutien qui nécessite une vérification attentive par un spécialiste formé, plutôt que comme un décideur autonome.