Performance of a domain-specific large language model in answering patient questions in psychiatry

Dans le paysage moderne des soins de santé, les patients se tournent de plus en plus vers Internet pour obtenir des réponses sur leurs médicaments, cherchant à comprendre comment un médicament fonctionne, quels effets secondaires attendre ou comment il pourrait interagir avec leur vie quotidienne. Bien que les modèles de langage de grande taille — des programmes informatiques puissants capables de générer du texte d'apparence humaine — aient montré des promesses pour répondre aux questions médicales, ils peinent souvent face aux exigences spécifiques des soins cliniques. Ces outils à usage général peuvent produire des réponses fluides et informatives, mais manquent parfois de la nuance nécessaire, omettent des avertissements de sécurité critiques ou inventent des faits qui pourraient induire en erreur une personne vulnérable. Dans le domaine de la psychiatrie, où l'information publique est déjà incohérente et où l'observance thérapeutique est un défi majeur, le risque de recevoir des conseils inexacts est particulièrement élevé. Les médecins n'ont souvent que quinze à vingt minutes par consultation, laissant peu de temps pour aborder chaque question du patient, ce qui pousse beaucoup d'entre eux à chercher des informations auprès de sources en ligne non vérifiées. La question centrale pour les chercheurs a été de savoir si un modèle informatique spécialisé, entraîné uniquement sur des sources médicales de confiance, pourrait fournir les conseils précis, sûrs et personnalisés dont les patients ont besoin, sans les erreurs communes aux chatbots généraux.

Pour mener cette investigation, une équipe de chercheurs du Lurie Children's Hospital de Chicago a développé un système d'intelligence artificielle spécialisé qu'ils ont nommé MIND. Contrairement aux chatbots généraux qui sont entraînés sur de vastes portions non contrôlées d'Internet, MIND a été construit selon une approche beaucoup plus étroite et sécurisée. Les chercheurs ont alimenté le système exclusivement avec une collection de matériels d'éducation des patients provenant de sept sources faisant autorité, incluant l'American Psychiatric Association, la Food and Drug Administration et la National Library of Medicine. Le système a été conçu avec des principes de sécurité stricts : il a été programmé pour extraire des réponses uniquement à partir de ces documents vérifiés, pour citer ses sources et pour déclarer clairement quand un patient doit consulter un médecin plutôt que de se fier à l'ordinateur. Les chercheurs ont testé ce nouvel outil contre deux autres systèmes bien connus : un chatbot généraliste largement utilisé et une plateforme de décision médicale conçue pour les médecins mais non pour le public. Ils ont posé aux trois systèmes cinquante questions courantes concernant un antidépresseur spécifique appelé escitalopram, couvrant des sujets allant du fonctionnement du médicament et de la manière de le prendre, jusqu'à ses effets secondaires et sa sécurité pour des groupes particuliers comme les femmes enceintes ou les personnes âgées.

Les résultats de la comparaison ont révélé un avantage distinct pour le modèle spécialisé en termes de fiabilité et d'exhaustivité. Lorsque les réponses ont été évaluées par une rubrique informatisée vérifiant l'exactitude, la clarté et la sécurité, le système MIND a surpassé à la fois le chatbot général et la plateforme axée sur les médecins dans toutes les catégories. Il a fourni des réponses plus complètes, a mieux reconnu l'incertitude et a été plus apte à savoir quand orienter un patient vers un médecin. Cependant, l'histoire est devenue plus nuancée lorsque les chercheurs ont demandé à dix psychiatres certifiés par un conseil d'administration d'examiner les réponses. Bien que les médecins aient convenu que le modèle spécialisé était plus sûr et plus complet, ils ont trouvé que le chatbot général était légèrement plus précis dans ses affirmations spécifiques. De manière plus surprenante, les psychiatres ont massivement préféré les réponses du chatbot général à celles du modèle spécialisé. Cette préférence était particulièrement marquée chez les jeunes médecins en début de carrière. Les chercheurs ont noté que le chatbot général avait tendance à donner des réponses plus courtes et percutantes qui semblaient plus directes, tandis que le modèle spécialisé fournissait des réponses plus longues et détaillées qui incluaient parfois des informations que les médecins jugeaient superflues ou légèrement inexactes dans le contexte d'un résumé bref.

L'étude met en lumière un arbitrage complexe dans la conception de l'intelligence artificielle médicale. Le modèle spécialisé a réussi son objectif principal consistant à être ancré dans des faits vérifiés et à éviter les hallucinations communes aux systèmes généraux, mais il a eu du mal à égaler la brièveté et le style que les experts humains trouvaient les plus attrayants. Les chercheurs ont observé qu'à mesure que les réponses devenaient plus détaillées et complètes, elles étaient parfois jugées moins précises, suggérant que l'ajout de contexte nécessaire peut rendre une réponse moins précise aux yeux d'un lecteur humain. De plus, le modèle spécialisé ne pouvait pas répondre à toutes les questions ; pour douze des cinquante requêtes, il a correctement admis qu'il ne possédait pas l'information, alors que les autres systèmes tentaient de répondre à tout. Ce refus de deviner était une caractéristique de sécurité délibérée, mais cela signifiait également que l'outil était moins polyvalent que ses concurrents. Les psychiatres ont également noté que les réponses du modèle spécialisé étaient écrites à un niveau de lecture plus élevé que celles du chatbot général, un reflet du fait que les documents sources eux-mêmes étaient écrits à un niveau complexe, bien au-dessus du niveau de lecture recommandé pour le matériel destiné aux patients.

En fin de compte, la recherche suggère que si un modèle spécialisé à corpus restreint peut fournir une base plus sûre et plus complète pour l'éducation des patients qu'un chatbot général, il n'est pas encore un remplacement parfait pour le jugement humain ou le style de communication privilégié des cliniciens. Le système spécialisé a démontré qu'il est possible de construire une intelligence artificielle qui adhère strictement aux preuves médicales et évite les erreurs dangereuses, mais il a aussi révélé que l'atteinte d'une grande exactitude et exhaustivité peut parfois se faire au détriment de la lisibilité et de la préférence de l'utilisateur. Les auteurs concluent que leur travail sert de modèle pour la construction de futurs outils capables d'améliorer les soins psychiatriques, mais ils soulignent que ces systèmes nécessitent une optimisation supplémentaire pour équilibrer la sécurité, l'exactitude et la manière dont les humains préfèrent réellement recevoir l'information. La voie à suivre consiste à affiner ces modèles pour qu'ils soient aussi fiables que le système spécialisé, mais aussi aussi clairs et engageants que les chatbots généraux, afin de garantir que les patients reçoivent les conseils de haute qualité, fondés sur des preuves, dont ils ont besoin sans confusion ni délai.