Large language models differ in patient education quality across the robot-assisted radical prostatectomy care pathway

Lorsqu'un homme reçoit un diagnostic de cancer de la prostate, le chemin à suivre implique souvent une décision majeure : s'il faut retirer l'intégralité de la glande prostatique en utilisant une technique chirurgicale assistée par robot. Cette procédure, connue sous le nom de prostatectomie radicale assistée par robot, est un traitement standard pour les maladies localisées, mais elle s'accompagne d'un réseau complexe d'informations que le patient doit comprendre. Il doit savoir comment fonctionne la chirurgie, à quoi ressemble la convalescence, comment elle pourrait affecter sa capacité à contrôler sa vessie ou à maintenir sa fonction sexuelle, et comment les médecins surveilleront le retour du cancer. Par le passé, les patients comptaient sur des brochures imprimées ou une seule conversation avec leur chirurgien pour naviguer parmi ces questions. Aujourd'hui, beaucoup se tournent vers des agents conversationnels d'intelligence artificielle pour obtenir des réponses instantanées. Ces modèles de langage de grande taille peuvent générer du texte qui ressemble et sonne comme un conseil humain, mais la question cruciale demeure : peut-on leur faire confiance pour expliquer un parcours médical aussi bouleversant de manière précise et claire ?

Une équipe de chercheurs de l'hôpital affilié de la faculté de médecine de North Sichuan s'est donné pour mission de tester précisément cette question. Ils se sont concentrés sur trois systèmes d'intelligence artificielle populaires : ChatGPT, DeepSeek et Doubao. L'équipe n'a pas demandé aux machines d'effectuer une chirurgie ou de diagnostiquer une personne spécifique ; elle les a plutôt traitées comme des fournisseurs d'informations. Ils ont compilé une liste de vingt-cinq questions distinctes qu'un patient pourrait poser à différentes étapes du processus de soins, du dépistage initial du cancer au suivi à long terme après la chirurgie. Ces questions couvraient tout, de l'interprétation des résultats de tests à la compréhension des risques de dommages nerveux. Les chercheurs ont ensuite soumis chacune de ces vingt-cinq questions aux trois modèles, générant un total de soixante-quinze réponses séparées. Pour garantir un test équitable, les questions ont été posées individuellement dans des conversations distinctes afin que les modèles ne puissent pas apprendre des réponses précédentes dans une même session de chat.

Une fois les réponses collectées, les chercheurs ont dû trouver un moyen d'en juger la qualité. Ils ont recruté trois experts médicaux qui ont agi en tant que réviseurs en aveugle, ce qui signifie qu'ils ne sava-ient pas quelle intelligence artificielle avait écrit quelle réponse. Ces experts ont évalué le texte à l'aide de plusieurs outils établis, conçus pour mesurer la qualité de l'éducation des patients. Ils ont examiné si l'information était complète, si elle offrait des conseils pratiques qu'un patient pourrait réellement utiliser, et si elle était écrite d'une manière facile à comprendre. Ils ont également vérifié la présence d'erreurs spécifiques, telles que des faits inventés ou des recommandations médicales obsolètes, et ont calculé la difficulté de lecture du texte pour une personne moyenne. L'objectif était de voir si une machine surpassait systématiquement les autres ou si elles luttaient toutes face aux mêmes problèmes.

Les résultats ont révélé que, bien que les trois modèles aient produit des informations généralement sûres et précises, ils possédaient des personnalités et des forces distinctes. Un modèle, ChatGPT, a systématiquement fourni les conseils les plus exploitables. Lorsqu'un patient demandait quoi faire ensuite, ce modèle était plus enclin à donner des instructions claires et par étapes qu'une personne pouvait suivre. Il a également obtenu des scores plus élevés sur les mesures de la manière dont l'information était structurée pour soutenir la prise de décision d'un patient. Un autre modèle, DeepSeek, a produit un texte nettement plus facile à lire. Ses phrases étaient légèrement moins complexes et son vocabulaire était quelque peu plus accessible que celui des autres. Cependant, même le texte plus « facile » de DeepSeek était toujours écrit à un niveau qui serait difficile à lire confortablement pour de nombreux adultes, dépassant le niveau de lecture typiquement recommandé pour les documents de santé publique. Le troisième modèle, Doubao, a performé de manière similaire aux autres en termes de précision, mais a davantage éprouvé de difficultés concernant la lisibilité et a parfois omis des détails clés.

Malgré ces différences, l'étude a révélé qu'aucun modèle n'était parfait et qu'aucun ne devrait remplacer l'avis d'un médecin. Les chercheurs ont découvert que, si les machines inventaient rarement des faits ou donna ne pas de conseils dangereusement obsolètes, elles omettaient parfois des informations importantes, particulièrement dans les réponses de DeepSeek et de Doubao. De plus, les experts humains qui ont noté les réponses ne sont pas toujours tombés d'accord entre eux. Ce manque d'accord suggère que juger la qualité d'un conseil médical est une tâche difficile, même pour des professionnels formés, et que de petites différences de scores entre les modèles pourraient ne pas être aussi significatives qu'elles le paraissent. L'étude a également mis en évidence un défi persistant : les trois modèles généraient des textes trop complexes. Les termes médicaux et les structures de phrases nécessitaient un niveau d'études secondaires ou supérieur pour être pleinement saisis, ce qui crée une barrière pour de nombreux patients qui ont pourtant le plus besoin de ces informations.

Les chercheurs ont conclu que ces outils d'intelligence artificielle montrent un potentiel en tant qu'aides pour les médecins, pouvant servir de premier jet pour les documents éducatifs qu'un urologue peut ensuite réviser et affiner. Ils peuvent générer rapidement des explications couvrant un large éventail de sujets, mais ils ne peuvent pas encore remplacer la conversation nuancée et personnalisée qui a lieu entre un chirurgien et un patient. Un robot peut énumérer les risques d'une chirurgie, mais il ne peut pas regarder un patient dans les yeux, comprendre ses peurs spécifiques, ou peser l'équilibre unique entre son historique médical et ses valeurs personnelles. Pour l'instant, la meilleure utilisation de ces machines puissantes est comme outil de soutien pour les cliniciens, et non comme source indépendante de guidance médicale. L'étude sert de rappel que, si la technologie peut rendre l'information plus disponible, l'élément humain du soin reste essentiel pour garantir que l'information est non seulement exacte, mais aussi véritablement comprise.