Quality of physicians responses using a conversational artificial intelligence system: a randomized vignette experiment in Latin America

Dans les cliniques animées d'Amérique latine, un médecin est souvent confronté à un moment d'incertitude silencieuse : un patient présente un ensemble de symptômes complexes, et la voie thérapeutique correcte n'est pas immédiatement évidente. Pendant des décennies, la solution a consisté à marquer une pause et à chercher des réponses, en feuilletant des manuels ou en saisissant des requêtes dans une base de données numérique. Ce processus repose sur la capacité du médecin à trouver, lire et interpréter rapidement de vastes quantités d'informations médicales. Aujourd'hui, un nouvel outil est entré dans ce paysage : l'intelligence artificielle conversationnelle. Ces systèmes, construits sur de vastes collections de connaissances humaines, peuvent tenir un dialogue, répondre à des questions et résumer des sujets complexes en quelques secondes. La promesse est qu'un tel outil pourrait agir comme un partenaire au chevet du patient, aidant les médecins à récupérer des preuves plus rapidement et plus précisément. Cependant, la plupart des tests de ces systèmes ont été menés dans des environaux contrôlés et statiques, loin de la réalité d'un hôpital chargé dans un pays à revenu faible ou intermédiaire. La question cruciale demeure de savoir si ces assistants numériques améliorent réellement la qualité des soins lorsqu'ils sont utilisés par de vrais médecins dans des contextes réels, ou s'ils ne sont que des chatbots sophistiqués qui semblent confiants mais n'offrent que peu d'aide pratique.

Pour trouver la réponse, des chercheurs en Amérique latine ont conçu une comparaison directe impliquant deux cents et deux médecins. Ils ont créé un scénario où les médecins devaient résoudre quatre cas de patients simulés, chacun nécessitant des réponses à quatre questions ouvertes. Les médecins ont été répartis de manière aléatoire en deux groupes. Un groupe utilisait ses méthodes habituelles pour trouver de l'information, effectuant des recherches dans les ressources standards comme ils le feraient normalement. L'autre groupe utilisait un système conversationnel spécifique conçu pour fournir des réponses pouvant être tracées jusqu'à des preuves médicales. Pour garantir l'équité, deux spécialistes indépendants, qui ne savaient pas quelle méthode chaque médecin avait utilisée, ont évalué chaque réponse. Ils ont évalué les réponses selon six dimensions de qualité différentes, créant un score composite qui reflétait la validité globale des conseils médicaux donnés.

Les résultats ont montré une différence claire entre les deux approches. Les médecins qui utilisaient le système conversationnel produisaient des réponses qui étaient, en moyenne, plus valides que celles de ceux qui s'appuyaient sur leurs pratiques de recherche habituelles. Les scores du groupe assisté étaient plus élevés, avec une médiane de 2,83 contre 2,46 pour le groupe de pratique habituelle. Lorsque les chercheurs ont ajusté les données en fonction de facteurs tels que les diplômes académiques des médecins, les données ont suggéré qu'un médecin utilisant le système était significativement plus susceptible de produire une réponse répondant à un haut standard de validité. Cet avantage s'est maintenu pour la plupart des critères spécifiques utilisés pour la notation, particulièrement ceux pour lesquels les juges experts étaient en accord le plus fort. Cependant, l'étude a également révélé une nuance : en regardant strictement l'exactitude des faits seuls, la différence entre les deux groupes n'a pas atteint un niveau de signification statistique. Cela a conduit les chercheurs à désigner la mesure composite plus large de la validité comme le résultat principal, une décision renforcée lorsqu'un évaluateur externe a répété l'analyse de l'exactitude seule et a trouvé la même absence de différence.

Au-delà de la qualité des réponses, l'étude a examiné le ressenti des médecins sur le processus et le temps qu'il leur a fallu. Les médecins qui utilisaient le système ont fait état de niveaux de satisfaction élevés, trouvant l'outil acceptable et facile à utiliser. Curieusement, le temps nécessaire pour accomplir les tâches et le nombre de recherches rapportées par les médecins n'ont pas montré de différence claire entre les deux groupes, bien que les chercheurs aient noté que l'absence de données rendait cette comparaison spécifique difficile à interpréter avec certitude. L'étude se conclut par un rappel important de sa portée : les participants étaient des volontaires qui ont choisi de participer à l'exercice, ce qui signifie que les conclusions sont exploratoires plutôt qu'une preuve définitive de la manière dont l'outil fonctionne pour chaque médecin dans chaque situation. Bien que le système n'ait pas agi comme une baguette magique résolvant instantanément chaque problème, les preuves suggèrent que, lorsqu'il est utilisé par des médecins en exercice dans cette région, il peut aider à élever la qualité de l'information médicale qu'ils fournissent à leurs patients.