Quality and Consistency of Four Large Language Models in Answering AAOS Guideline-Based Questions on Knee Osteoarthritis and Total Knee Arthroplasty: A Blinded Multi-Rater Benchmark Study in Chinese
Cette étude comparative en aveugle à évaluations multiples a évalué quatre grands modèles de langage sur des questions basées sur les directives de l'AAOS concernant l'arthrose du genou et l'arthroplastie totale du genou, concluant que bien que GPT ait démontré la qualité et la cohérence globales les plus élevées, le classement des performances variait selon le domaine d'évaluation et était sensible aux méthodes statistiques utilisées.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Lorsqu'une personne est confrontée à un genou douloureux et raide, le chemin vers le soulagement est souvent pavé de conseils médicaux complexes. Les médecins s'appuient sur des directives établies pour décider si un patient doit essayer la physiothérapie, prendre des médicaments ou subir une chirurgie pour remplacer l'articulation. Ces règles sont fondées sur des années de recherche et sont conçues pour assurer la sécurité des patients tout en offrant la meilleure chance de rétablissement. Ces dernières années, les gens se sont de plus en plus tournés vers l'intelligence artificielle pour donner du sens à ces informations, demandant à des programmes informatiques d'expliquer les options de traitement, les risques et les temps de récupération dans un langage simple. Cependant, ce n'est pas parce qu'un ordinateur parle avec fluidité qu'il dit la vérité ou qu'il reste cohérent. Si une machine donne une réponse différente chaque fois que vous posez la même question, ou si elle suggère avec assurance un traitement que les experts savent dangereux, l'outil devient une source de confusion plutôt qu'une aide.
Une équipe de chercheurs en Chine s'est donné pour mission de tester la capacité de quatre systèmes d'intelligence artificielle différents à traiter ces questions médicales critiques. Ils se sont concentrés sur l'arthrose du genou et le remplacement total du genou, deux des conditions les plus couramment traitées par les chirurgiens orthopédistes. L'équipe n'a pas simplement demandé l'avis des ordinateurs ; elle a créé un test rigoureux basé sur les directives officielles de l'American Academy of Orthopaedic Surgeons. Ils ont rédigé vingt-quatre questions spécifiques couvrant tout, des traitements non chirurgicaux comme la perte de poids et l'exercice aux détails chirurgicaux sur la gestion des risques lors d'une opération. Pour garantir un test équitable, ils ont demandé à chaque modèle d'IA de répondre à chaque question trois fois séparément, en traitant chaque tentative comme une nouvelle conversation sans mémoire de la précédente. Cette approche leur a permis de voir non seulement si les réponses étaient correctes, mais aussi si les machines pouvaient être dignes de confiance pour donner les mêmes conseils fiables encore et encore.
Les réponses générées par les ordinateurs ont ensuite été remises à huit experts humains spécialisés dans les troubles du genou et la chirurgie articulaire. Ces médecins et spécialistes ont lu les réponses sans savoir quel ordinateur les avait écrites. Ils ont évalué chaque réponse sur une échelle de un à cinq selon quatre qualités clés : la pertinence de la réponse par rapport à la question, l'exactitude médicale, la facilité de compréhension et la sécurité. La sécurité était une préoccupation majeure, ce qui signifie que les experts vérifiaient si l'ordinateur évitait de donner des conseils dangereux ou s'il omettait de mentionner des risques importants. Les experts ont également attribué une note distincte pour la cohérence, évaluant si les trois réponses d'un même ordinateur pour une même question racontaient essentiellement la même histoire ou si elles se contredisaient.
Les résultats ont montré que les quatre systèmes d'intelligence artificielle performaient différemment, et aucun ordinateur ne s'est imposé comme le grand vainqueur dans toutes les catégories. Un modèle, connu sous le nom de GPT, a produit les scores globaux les plus élevés. Il s'est révélé particulièrement performant pour fournir des informations médicales précises, rester sur le sujet et inclure les avertissements de sécurité nécessaires. Un autre modèle, DeepSeek, a obtenu un score légèrement inférieur sur la qualité globale, mais a été jugé comme le plus compréhensible par les experts, ce qui signifie que son langage était le plus clair et le plus facile à suivre. Les deux autres modèles, ERNIE et Kimi, ont reçu des scores plus faibles sur l'ensemble du spectre, particulièrement en matière d'exactitude et de sécurité. L'étude a révélé que l'écart entre le meilleur performeur et le second était faible et dépendait de la manière dont les données étaient analysées, suggérant que bien qu'une machine puisse avoir un léger avantage, la différence n'est pas un fait massif et inébranlable.
Peut-être aussi important que la qualité des réponses était la cohérence des machines. Les chercheurs ont constaté que les deux meilleurs modèles étaient bien plus aptes à donner la même réponse lorsqu'on leur posait la même question trois fois de suite. Le modèle de tête était le plus cohérent, suivi de près par le second meilleur modèle. Les deux autres systèmes étaient plus susceptibles de changer d'avis ou de modifier leurs conseils entre les tentatives. Cela importe car un patient demandant un conseil aujourd'hui pourrait obtenir une réponse différente demain s'il utilise un système moins stable, ce qui pourrait mener à la confusion ou à de mauvaises prises de décision. Les experts ont noté que, bien que les ordinateurs soient généralement bons pour expliquer les directives, ils n'étaient pas parfaits, et que leur performance variait selon que la question portait sur les soins non chirurgicaux ou sur les détails de la chirurgie.
L'étude conclut que, bien que ces outils d'intelligence artificielle soient prometteurs pour aider les patients à comprendre leurs problèmes de genou, ils ne sont pas encore prêts à remplacer le jugement d'un médecin. Les modèles les plus performants ont offert des informations de haute qualité, sûres et claires, mais les différences entre eux étaient subtiles et spécifiques à certaines forces. Une machine peut être meilleure pour les faits, tandis qu'une autre est meilleure pour le langage clair. Les chercheurs ont souligné que ces résultats reflètent la manière dont les ordinateurs ont performé lors d'un test écrit et ne prouvent pas que leur utilisation améliorera la santé ou le rétablissement réel d'un patient. Pour l'instant, l'approche la plus fiable consiste à considérer ces outils comme des assistants utiles qui peuvent fournir un point de départ pour la conversation, mais dont les conseils doivent toujours être vérifiés par un professionnel de santé avant de prendre toute décision concernant un traitement.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.