Generative AI Responses to Patient-Presented Orthodontic Misinformation and Controversial Claims: A Comparative Cross-Sectional Evaluation of Safety, Accuracy, Evidence Concordance, Misinformation Correction, Uncertainty Communication, Transparency, and Actionability

Les gens se tournent de plus en plus vers les moteurs de recherche, les réseaux sociaux et les vidéos courtes pour obtenir des réponses sur leur santé. Ces canaux rendent l'information facile à trouver, mais ils rendent aussi difficile le fait de juger qui dit la vérité. Cela est particulièrement vrai pour l'orthodontie, le domaine de la dentisterie qui redresse les dents et aligne les mâchoires. Les conseils trouvés en ligne mélangent souvent des faits avec des exagérations, des récits personnels ou des arguments de vente. Un patient pourrait lire qu'un type spécifique de bague peut changer la forme de son visage, ou qu'il peut redresser ses propres dents à la maison avec des élastiques. Bien qu'une partie de ces informations soit inoffensive, d'autres affirmations peuvent conduire à des attentes irréalistes, à un retard de soins médicaux ou même à des blessures physiques. Lorsqu'une personne est confrontée à une affirmation déroutante ou dangereuse, elle a besoin d'une explication claire, sûre et précise pour l'aider à décider de la marche à suivre.

Ces dernières années, un nouvel outil est apparu pour aider les gens à organiser l'information : l'intelligence artificielle générative. Ces systèmes peuvent tenir des conversations et répondre à des questions dans un langage fluide et naturel. Ils deviennent courants dans la vie quotidienne, et beaucoup de gens les interrogent désormais pour obtenir des conseils de santé. Cependant, il reste incertain de savoir si ces systèmes peuvent gérer la tâche délicate consistant à corriger de fausses affirmations médicales sans donner accidentellement des instructions dangereuses. Un programme informatique peut paraître confiant et poli tout en omettant un avertissement critique ou en échouant à expliquer pourquoi une idée populaire est erronée. Pour comprendre comment ces outils performent dans un scénario réel, les chercheurs avaient besoin de les tester face aux types spécifiques de questions trompeuses que les patients posent réellement.

Une équipe de chercheurs issus d'hôpitaux chinois s'est donné pour mission de tester cinq des chatbots d'intelligence artificielle grand public les plus populaires. Ils voulaient voir comment ces systèmes réagissaient lorsque les utilisateurs leur présentaient des affirmations fausses ou controversées concernant le traitement orthodontique. L'étude s'est concentrée sur cinq systèmes spécifiques : ChatGPT, Gemini, Microsoft Copilot, DeepSeek et Doubao. Les chercheurs n'ont pas posé à ces systèmes des questions simples comme « qu'est-ce qu'une dent ? ». Au lieu de cela, ils ont créé soixante-huit prompts spécifiques basés sur de la désinformation du monde réel. Ces prompts comprenaient des idées fausses sur l'extraction de dents, le changement des traits du visage, l'utilisation d'aligneurs faits maison ou l'accélération du traitement par des méthodes non prouvées. Chaque prompt était conçu pour contenir un postulat faux que le chatbot devrait reconnaître et corriger.

Les chercheurs ont soumis chacune des soixante-huit questions aux cinq chatbots, générant un total de trois cent quarante réponses. Ils ont traité chaque question comme une conversation unique et ponctuelle pour garantir la cohérence des résultats. Pour évaluer les réponses, cinq orthodontistes expérimentés ont examiné le texte de manière indépendante. Ils ont recherché plusieurs qualités clés. Premièrement, ils ont vérifié la sécurité : la réponse encourageait-elle un comportement pouvant nuire au patient, comme essayer de déplacer des dents sans un examen professionnel ? Deuxièmement, ils ont mesuré l'exactitude : l'information était-elle factuellement correcte ? Troisièmement, ils ont évalué si la réponse correspondait aux preuves médicales établies. Ils ont également vérifié si le chatbot corrigeait activement le postulat faux présent dans la question, plutôt que de simplement l'ignorer pour donner une réponse générale. Enfin, ils ont évalué si la réponse communiquait l'incertitude de manière appropriée, si elle était transparente quant à ses sources, et si elle donnait au patient une prochaine étape claire et sûre à suivre.

Les résultats ont montré que les cinq chatbots étaient généralement bons pour éviter les dangers les plus évidents. Sur les trois cent quarante réponses, trois cent sept ont été classées comme sûres, ce qui signifie qu'elles ne contenaient pas de conseils pouvant mener à un préjudice physique immédiat. Cependant, les systèmes n'étaient pas également performants sur tous les points. Les chercheurs ont constaté des différences significatives dans la manière dont les chatbots géraient la qualité de leurs réponses. ChatGPT fournissait systématiquement les informations les plus précises et était le meilleur pour corriger les idées fausses présentées dans les questions. Il faisait également le meilleur travail pour expliquer les limites de ses connaissances et proposer des étapes claires et exploitables pour le patient. Gemini a bien performé dans certains domaines, égalant ChatGPT sur la proximité de ses réponses avec les preuves médicales, mais il était moins constant dans d'autres catégories. Les trois autres systèmes, incluant Copilot, DeepSeek et Doubao, obtenaient généralement des scores plus bas sur l'ensemble, échouant souvent à corriger la désinformation ou à fournir des conseils suffisamment détaillés.

Une conclusion cruciale de l'étude fut que le fait d'être « sûr » ne signifie pas qu'une réponse est suffisante pour être utilisée seule. De nombreuses réponses évitaient les conseils dangereux mais échouaient tout de même à corriger l'incompréhension du patient ou à fournir le contexte nécessaire. Par exemple, un chatbot pourrait affirmer correctement que les dents ont besoin de bagues, mais ne pas expliquer qu'une méthode spécifique faite maison mentionnée dans la question est dangereuse. L'étude a montré que si les systèmes évitaient rarement de donner des instructions qui causeraient une blessure immédiate, ils manquaient souvent de la profondeur et de la précision requises pour un conseil médical. Les chercheurs ont noté que les différences entre les systèmes n'étaient pas de simples variations mineures ; les modèles les plus performants étaient clairement supérieurs dans leur capacité à gérer des affirmations trompeuses complexes par rapport aux autres.

Les auteurs ont conclu que ces outils d'intelligence artificielle devraient être considérés comme des compléments utiles à l'éducation des patients, et non comme des remplacements d'une visite chez le dentiste. Ils peuvent aider à organiser l'information et à répondre à des questions générales, mais ils ne peuvent pas remplacer la nécessité d'un examen professionnel, de radiographies ou d'un plan de traitement personnalisé. L'étude souligne que les patients ne devraient pas compter sur ces chatbots pour valider des affirmations qu'ils ont vues en ligne, surtout lorsque ces affirmations concernent le changement de leurs dents ou de leur visage. Au lieu de cela, la meilleure utilisation de ces outils est de recueillir des informations initiales, puis de solliciter un professionnel qualifié pour vérifier les faits et discuter d'une démarche sûre. La recherche suggère que, bien que la technologie progresse, elle nécessite toujours une supervision humaine pour garantir que les conseils donnés sont non seulement sûrs, mais aussi précis, complets et véritablement utiles pour le patient individuel.