Comparison of ChatGPT and Gemini in Providing Postoperative Information After Tonsillectomy: An Expert-Based Assessment
Une évaluation basée sur l'expertise comparant ChatGPT et Gemini pour l'éducation postopératoire après une amygdalectomie en turc n'a révélé aucune différence statistiquement significative quant à la qualité globale ou à la sécurité entre les deux modèles, soulignant la nécessité d'une révision par un clinicien avant d'utiliser des informations destinées aux patients générées par l'IA.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Chaque année, des millions de personnes subissent une amygdalectomie, une intervention courante consistant à retirer les amygdales au fond de la gorge. Bien que la procédure soit de routine, la convalescence est souvent difficile. Les patients se réveillent avec une douleur importante, des difficultés à avaler et une inquiétude constante concernant les saignements ou la déshydratation. Comme la majeure partie de cette convalescence se déroule à domicile, les familles comptent sur des instructions claires pour savoir ce qui est normal et ce qui nécessite l'aide d'un médecin. Ces dernières années, beaucoup se sont tournés vers des outils d'intelligence artificielle pour obtenir ces réponses instantanément. Ces programmes informatiques, connus sous le nom de modèles de langage étendus, peuvent tenir des conversations et générer du texte qui semble très humain. Ils promettent d'être disponibles vingt-quatre heures sur vingt-quatre pour expliquer des termes médicaux ou offrir des conseils. Cependant, parce que ces programmes génèrent des réponses basées sur des modèles de données plutôt que sur une compréhension profonde de la médecine, il existe un risque qu'ils donnent des conseils confus, obsolètes ou même dangereux. La question qui se pose aux médecins et aux patients est simple : pouvons-nous faire confiance à ces machines pour guider une famille à travers une convalescence difficile, ou ont-elles besoin qu'un expert humain vérifie leur travail ?
Pour répondre à cela, une équipe de chercheurs en Turquie a mis en place un test rigoureux impliquant deux des systèmes d'intelligence artificielle les plus avancés disponibles : ChatGPT et Gemini. Ils n'ont pas posé de questions aléatoires aux ordinateurs. Au lieu de cela, ils sont partis de personnes réelles. Les chercheurs ont recueilli les questions de quarante patients ayant récemment subi l'ablation de leurs amygdales. Ces patients ont écrit exactement ce qu'ils voulaient savoir sur leur convalescence, couvrant des sujets tels que la gestion de la douleur, l'alimentation et le moment où solliciter l'aide d'urgence. Un panel de dix médecins experts a ensuite affiné ces interrogations en quinze questions claires en turc. En une seule journée, les chercheurs ont demandé à ChatGPT et à Gemini de répondre à ces mêmes quinze questions. Les ordinateurs ont généré leurs réponses, et les chercheurs les ont sauvegardées exactement telles qu'elles apparaissaient, sans changer un seul mot.
Ensuite, les chercheurs ont fait appel à seize spécialistes de l'oto-rhino-laryngologie différents pour agir en tant que juges. Ces médecins ne savaient pas quel programme informatique avait écrit quelle réponse. Ils voyaient simplement deux ensembles de réponses, étiquetés uniquement comme « Réponse A » et « Réponse B ». Chaque médecin a lu les réponses aux quinze questions et les a évaluées selon quatre critères spécifiques : la précision scientifique de l'information, si le conseil était approprié pour un vrai patient, la facilité de compréhension et, surtout, si la réponse était sûre ou si elle contenait quelque chose qui pourrait induire un patient en erreur et lui causer du tort. Les médecins ont attribué un score de un à cinq pour chaque catégorie, cinq étant la meilleure note possible. Au total, l'équipe a recueilli près de deux mille évaluations individuelles pour comparer les deux systèmes côte à côte.
Les résultats ont montré que les deux programmes d'intelligence artificielle ont globalement bien performé. Ils ont fourni des informations généralement exactes et cliniquement appropriées, obtenant des notes élevées pour l'exactitude des faits médicaux. Lorsque les chercheurs ont examiné les scores totaux, ChatGPT a reçu une note moyenne légèrement supérieure à celle de Gemini, mais la différence était si faible qu'elle aurait pu être due au hasard. En fait, lorsque les experts ont examiné les catégories spécifiques, les deux programmes étaient presque identiques dans leur capacité à fournir des faits médicaux corrects. Aucun système ne s'est avéré nettement meilleur que l'autre d'une manière que les données pourraient confirmer avec certitude. L'étude n'a trouvé aucune preuve qu'un modèle soit supérieur à l'autre pour cette tâche spécifique.
Cependant, un examen plus approfondi a révélé une histoire plus importante concernant la sécurité. Les deux programmes ont reçu leurs scores les plus bas dans la catégorie de la sécurité du patient. Cela signifie que, bien que les réponses soient souvent factuellement correctes, les experts ont tout de même repéré des risques potentiels, tels que l'omission d'avertissements sur les saignements ou des conseils vagues sur la médication. Même si ChatGPT a obtenu un score légèrement supérieur à Gemini en matière de sécurité, la différence n'était pas assez significative pour le déclarer le choix le plus sûr. Les experts ont également noté que les médecins ne tombaient pas toujours d'accord entre eux lors de l'évaluation de la sécurité, suggérant que repérer un danger caché dans un paragraphe de texte est difficile, même pour des professionnels. Ce manque d'accord parfait souligne que la sécurité est un jugement complexe, et non un simple contrôle de faits.
L'étude conclut que, bien que ces outils d'intelligence artificielle soient impressionnants et puissent générer des informations utiles, ils ne sont pas encore prêts à remplacer les conseils d'un médecin. Le fait que les deux systèmes aient reçu des scores de sécurité plus bas suggère qu'un expert humain doit toujours réviser l'information avant qu'elle ne soit donnée à un patient. La recherche ne montre pas qu'un programme soit le grand gagnant, ni qu'ils soient parfaitement sûrs à utiliser seuls. Au contraire, elle suggère que ces outils fonctionnent mieux comme des assistants fournissant un brouillon d'information, qu'un professionnel de santé vérifie et corrige ensuite. Jusqu'à ce que la technologie s'améliore au point de pouvoir identifier et éviter systématiquement tous les risques potentiels sans l'aide humaine, la voie la plus sûre pour les patients reste la conversation avec leur propre médecin.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.