Do AI chatbots find what experts would? Effects of model, user role, and sample size on study retrieval for medical questions
Cette étude évalue trois chatbots de type LLM sur la réponse à des questions médicales, constatant que la performance de l'extraction varie considérablement selon le modèle et le rôle de l'utilisateur, ChatGPT surpassant les autres et tous les modèles montrant un biais en faveur de la citation d'essais cliniques de plus grande envergure.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez de trouver la meilleure recette pour un plat spécifique, mais au lieu de demander à un chef, vous demandez à un robot super intelligent qui a lu presque tous les livres de cuisine jamais écrits. Ce robot est un « Grand Modèle de Langage » (LLM), un type de chatbot d'IA capable de discuter, d'écrire et de répondre à des questions en prédisant le mot suivant dans une phrase. Dans le monde de la médecine, ces bots deviennent populaires car ils peuvent rapidement résumer des problèmes de santé complexes et vous orienter vers les études qui soutiennent leurs conseils. Mais voici le piège : parfois, ces robots inventent des choses, ou « hallucinent », citant des études qui n'existent pas. Pire encore, ils pourraient passer à côté des études les plus importantes. Cet article pose une question simple mais cruciale : si un expert humain (comme un chercheur médical) a déjà fait le travail difficile de trouver la liste parfaite d'études pour une question médicale spécifique, dans quelle mesure ces robots d'IA parviennent-ils à trouver cette même liste ? Agissent-ils comme un patient curieux, un médecin pressé ou un chercheur sérieux ? Et la taille de l'étude importe-t-elle pour le robot ?
Les auteurs de cette étude ont décidé de mettre à l'épreuve trois des chatbots d'IA les plus récents et les plus puissants. Ils ont traité les chatbots comme des étudiants passant un examen très spécifique. Les « questions d'examen » étaient 20 sujets médicaux réels tirés de la base de données Cochrane de 2026, qui est comme la bibliothèque de référence où des équipes d'experts ont déjà rassemblé et validé les meilleures preuves pour des problèmes de santé spécifiques. Pour chacun de ces 20 sujets, les chercheurs ont demandé aux chatbots de trouver les études de recherche originales (les « sources primaires ») qui soutiennent les réponses. Pour voir si la personnalité du robot importait, ils ont posé les mêmes questions de trois manières différentes : une fois comme si un patient posait la question, une fois comme si un clinicien (médecin) la posait, et une fois comme si un chercheur en synthèse de preuves (un scientifique spécialisé dans la recherche de données) la posait. Ils ont répété toute cette expérience quatre fois pour chaque combinaison afin de s'assurer que les résultats n'étaient pas dus au hasard, aboutissant à un total de 720 réponses à analyser.
Les résultats étaient un mélange de « pas mal » et de « étonnamment biaisé ». En moyenne, une seule réponse de chatbot parvenait à trouver environ 39,2 % des études que les experts humains avaient déjà identifiées comme étant la liste « correcte ». Cela signifie que si les experts trouvaient 10 études parfaites, le robot n'en trouvait généralement qu'environ 4. Cependant, le type de robot comptait beaucoup. ChatGPT était le grand gagnant, trouvant 63,1 % des études des experts. Claude se situait au milieu avec 37,0 %, et Gemini était celui qui peinait le plus, ne trouvant que 17,3 %. Curieusement, la « personnalité » de l'utilisateur jouait aussi un petit rôle : lorsque la consigne était écrite du point de vue d'un chercheur, les bots trouvaient plus d'études (42,8 %) que lorsqu'elle était écrite du point de vue d'un patient (36,1 %) ou d'un clinicien (38,6 %).
Mais la découverte la plus fascinante concernait le choix des études par les bots. Les chercheurs ont examiné les caractéristiques des études que les bots ont réussi à récupérer par rapport à celles qu'ils ont manquées. Ils ont découvert que les bots avaient une préférence massive pour les études avec de grands échantillons (signifiant que les études ont testé le traitement sur plus de personnes). Même en contrôlant la nouveauté de l'étude, la fréquence à laquelle elle était citée par d'autres ou si elle était gratuite, la taille de l'étude était la seule chose qui prédisait de manière fiable si le bot la trouverait. Pour chaque unité d'augmentation du logarithme de la taille de l'échantillon, les chances que le bot trouve l'étude bondissaient de 1,80 fois. C'est comme si les chatbots avaient un biais intégré qui pense : « Si une étude a une foule immense de participants, elle doit être la plus importante », ignorant ainsi des études plus petites mais tout aussi valides.
L'étude a également vérifié si les bots inventaient de fausses études ou s'ils se trompaient sur les détails. Ils n'ont pas inventé beaucoup de fausses études (un bon signe grâce à leurs capacités de raisonnement avancées), mais ils ont commis des « erreurs de métadonnées » environ 3 % du temps. Cela signifie qu'ils peuvent citer une étude réelle mais se tromper sur le nom de l'auteur, l'année ou le titre de la revue. Claude a commis ces erreurs le plus souvent (5,9 % du temps), tandis que Gemini était le plus précis (0,2 %).
En fin de compte, l'article suggère que bien que ces chatbots d'IA deviennent meilleurs pour trouver des preuves médicales, ils ne sont pas encore des remplaçants parfaits pour les experts humains. Ils sont incomplets, ils changent leurs réponses selon la personne que vous prétendez être, et ils ont un fort biais envers les grandes études célèbres. Si vous utilisez un chatbot pour trouver de la recherche médicale, vous pourriez obtenir une liste des « grands succès », mais vous pourriez facilement passer à côté des études plus petites et plus discrètes que les experts savent être tout aussi importantes. Les auteurs concluent que ces outils doivent être considérés comme des assistants utiles qui peuvent vous orienter dans la bonne direction, mais pas comme l'autorité finale sur ce que disent réellement les preuves médicales.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.