Performance of Large Language Models as Assistive Tools for Clinical Pharmacists in the Stomatological Hospital: A Multi-dimensional Comparative Study

Dans le monde spécialisé des hôpitaux dentaires, les pharmaciens cliniques servent de gardiens de la sécurité médicamenteuse. Leur travail consiste à s'assurer que chaque médicament prescrit pour des maladies bucco-dentaires est le bon choix, à la bonne dose et sûr pour l'historique de santé spécifique du patient. Ce travail implique de réviser les prescriptions, de vérifier les interactions médicamenteuses dangereuses et d'ajuster les traitements pour les patients présentant des conditions complexes comme une maladie rénale ou des problèmes hépatiques. Cependant, ce rôle devient de plus en plus difficile. Le volume d'informations médicales augmente quotidiennement, les directives changent constamment, et les pharmaciens sont souvent confrontés à des charges de travail lourdes qui laissent peu de temps pour une recherche approfondie. Ils doivent prendre des décisions rapides et précises tout en gérant des patients qui peuvent prendre plusieurs médicaments pour des problèmes de santé tant buccaux que systémiques.

Pour aider à gérer cette pression, de nombreux hôpitaux se tournent vers l'intelligence artificielle, plus précisément vers les modèles de langage étendus. Ce sont des programmes informatiques entraînés sur de vastes quantités de texte qui peuvent comprendre et générer un langage humain. Ils sont conçus pour extraire des informations, analyser des scénarios complexes et offrir des réponses à des questions qui nécessitent habituellement des années d'études professionnelles. La question qui se pose à la communauté médicale est de savoir si ces outils numériques peuvent véritablement agir comme des assistants fiables pour les experts humains, ou s'ils ne sont que des agents conversationnels sophistiqués qui pourraient offrir des conseils confiants mais incorrects. Une nouvelle étude de chercheurs en Chine s'est proposée de tester cela directement, en allant au-delà des questions générales pour voir comment ces modèles performent dans l'environnement spécifique et à enjeux élevés d'un hôpital dentaire.

Les chercheurs ont sélectionné trois des modèles de langage étendus les plus avancés disponibles à l'époque : ChatGPT-5.5 Instant, Gemini-3.5 Flash-Lite et DeepSeek-V3. Pour les tester équitablement, l'équipe a créé un ensemble de trente questions réalistes que les pharmaciens cliniques rencontrent réellement chaque jour. Ces questions couvraient six domaines critiques : la quantité de médicament à administrer, les interactions entre les médicaments, quels patients ne devraient jamais prendre certains médicaments, quels médicaments ne peuvent pas être mélangés dans la même poche intraveineuse, comment un médicament doit être administré et comment ajuster les doses pour les patients souffrant d'insuffisance rénale ou hépatique. Les questions allaient de faits simples à des scénarios complexes nécessitant un raisonnement médical profond.

Cinq pharmaciens cliniciens seniors ont ensuite examiné les réponses fournies par chaque modèle. Ils ne savaient pas quel modèle avait généré quelle réponse, garantissant ainsi que leur jugement soit impartial. Ils ont évalué les réponses en fonction de leur précision, de leur exhaustivité et de leur utilité pour un cadre de pharmacie réel. Les résultats ont montré une hiérarchie claire dans la performance. ChatGPT-5.5 Instant a produit les réponses de la plus haute qualité, obtenant un score médian qui le plaçait dans la catégorie « bon » à « excellent ». DeepSeek-V3 suivait en deuxième position, tandis que Gemini-3.5 Flash-Lite arrivait dernier des trois. Les différences étaient statistiquement significatives, ce qui signifie que l'écart de performance était réel et n'était pas dû au hasard.

Il est intéressant de noter que la difficulté des questions n'a pas modifié le classement. Que la question soit simple ou complexe, ChatGPT a systématiquement surpassé les autres. L'étude n'a trouvé aucune preuve que les modèles devenaient moins performants à mesure que les questions devenaient plus difficiles ; ils maintenaient leurs positions relatives quel que soit le défi. Cela suggère que la performance des modèles est dictée par leur capacité intrinsèque à raisonner et à accéder aux connaissances, plutôt que par leur simple capacité à mémoriser des faits simples. Cependant, l'étude a également mis en évidence une limitation significative commune aux trois modèles : leur lisibilité. Les réponses qu'ils généraient étaient écrites dans un style très difficile à comprendre pour la personne moyenne, nécessitant souvent un niveau d'études universitelles pour être suivies. C'est un point crucial pour l'utilisation clinique, car les pharmaciens doivent expliquer ces concepts aux patients, et les modèles peinent actuellement à simplifier leur langage sans perdre en précision.

Une autre conclusion critique concernait les sources d'information. L'étude a évalué la qualité des sources d'information fournies par les modèles et n'a trouvé aucune différence statistiquement significative dans les scores de fiabilité entre les trois. Cependant, les auteurs ont souligné que la littérature plus large en dentisterie et dans les domaines médicaux connexes rapporte systématiquement que les modèles de langage étendus génèrent fréquemment des références fabriquées, incluant des titres de livres, des noms de revues et des auteurs inventés. Bien que cette étude spécifique ait évalué la qualité des sources, le problème omniprésent des citations hallucinées dans le domaine plus large signifie qu'aucun des modèles n'est actuellement sûr pour être utilisé comme source de vérité autonome sans vérification. Ils ne peuvent remplacer les bases de données de médicaments officielles ou le jugement d'un pharmacien agréé.

Les chercheurs ont conclu que ces outils d'intelligence artificielle présentent un grand potentiel en tant qu'assistants pour les pharmaciens cliniques dans les hôpitaux dentaires. Ils peuvent gérer une grande variété de tâches d'information sur les médicaments avec un niveau de qualité acceptable pour un soutien professionnel. Cependant, ils doivent être considérés comme des outils destinés à aider la prise de décision humaine, et non comme des décideurs indépendants. Le pharmacien humain reste essentiel pour vérifier l'information, vérifier les dernières directives et assurer la sécurité des patients. À mesure que ces modèles évoluent, ils pourraient devenir encore plus capables, mais pour l'instant, ils servent au mieux de puissant second regard pour les experts qui protègent les patients.