Generative AI Responses to Patient-Presented Orthodontic Misinformation and Controversial Claims: A Comparative Cross-Sectional Evaluation of Safety, Accuracy, Evidence Concordance, Misinformation Correction, Uncertainty Communication, Transparency, and Actionability

人々は、健康に関する答えを求める際、検索エンジン、ソーシャルメディア、そして短尺動画へとますます傾倒しています。これらのチャネルは情報を探しやすくする一方で、誰が真実を語っているのかを判断することを難しくしています。これは、歯をまっすぐにし顎のラインを整える歯科分野である矯正歯科において、特に顕著です。オンラインで見つかるアドバイスには、事実と誇張、あるいは個人的な体験談やセールストークが混在していることがよくあります。例えば、特定の種類の装置を使えば顔の形を変えられる、あるいはゴムバンドを使って自宅で自分で歯を並べられるといった内容を患者が読むかもしれません。こうした情報のなかには無害なものもありますが、中には非現実的な期待を抱かせたり、適切な医療の遅れを招いたり、あるいは身体的な損傷を引き起こしたりするものもあります。混乱を招くような、あるいは危険な主張に直面したとき、人々は次に何をすべきかを判断するための、明確で安全かつ正確な説明を必要としています。

近年、情報を整理する助けとなる新しい種類のツールが登場しました。それが生成人工知能（ジェネレーティブAI）です。これらのシステムは、流暢で自然な言語を用いて会話を行い、質問に答えることができます。これらは日常生活の中で一般的になりつつあり、多くの人々が健康に関するアドバイスを求めるためにこれらを利用しています。しかし、これらのシステムが、誤った医療的主張を訂正しつつ、誤って危険な指示を与えてしまわないようにするという、非常に難しい課題をこなせるかどうかは、依然として不明なままです。コンピュータプログラムは、重要な警告を省略したり、なぜある通念が間違っているのかを説明できなかったりしても、自信に満ち、礼儀正しい口調で回答してしまう可能性があります。これらのツールが、現実世界のシナリオにおいてどの程度うまく機能するかを理解するために、研究者たちは、患者が実際に投げかけるような種類の誤解を招く質問に対して、それらをテストする必要がありました。

中国の病院に所属する研究チームは、最も普及している5つの消費者向け人工知能チャットボットをテストすることにしました。彼らは、ユーザーが矯正治療に関する誤った、あるいは議論のある主張を提示したときに、これらのシステムがどのように反応するかを検証しようとしました。研究では、ChatGPT、Gemini、Microsoft Copilot、DeepSeek、Doubaoという5つの特定のシステムに焦点を当てました。研究者たちは、これらのシステムに対して「歯とは何か？」といった単純な質問をしたのではありません。代わりに、現実世界の誤情報に基づいた68個の具体的なプロンプトを作成しました。これらのプロンプトには、抜歯、顔の特徴の変化、DIY型のアライナーの使用、あるいは証明されていない方法による治療の加速といった、誤った考えが含まれていました。各プロンプトは、チャットボットが認識して訂正しなければならない「誤った前提」を含むように設計されました。

研究者たちは、これら68個の質問を5つのチャットボットすべてに提出し、合計340件の回答を生成しました。結果の一貫性を確保するため、各質問を単発の会話として扱いました。回答を評価するために、5人の経験豊富な矯正歯科医が独立してテキストをレビューしました。彼らはいくつかの主要な特性を確認しました。第一に、安全性です。専門家の診察なしに歯を動かそうとする行為を促すなど、患者に危害を加える可能性のある行動を推奨していないかを確認しました。第二に、正確性です。情報は事実として正しいものであったか。第三に、回答が確立された医学的根拠にどの程度合致しているかを評価しました。また、チャットボットが単に一般的な回答をして無視するのではなく、提示された誤った前提を積極的に訂正したかどうかも確認しました。最後に、回答が適切に不確実性を伝えているか、情報源について透明性があるか、そして患者に対して明確で安全な次のステップを提示しているかを評価しました。

結果として、5つのチャットボットはいずれも、最も明白な危険を回避することについては概ね良好であることが示されました。340件の回答のうち、307件は「安全」であると分類されました。これは、即座に身体的危害につながるようなアドバイスを含んでいないことを意味します。しかし、システムはすべての項目において等しく優れていたわけではありません。研究者たちは、チャットボットが回答の質をどのように扱うかにおいて、大きな違いがあることを見出しました。ChatGPTは一貫して最も正確な情報を提供し、提示された誤った考えを訂正することに最も長けていました。また、自身の知識の限界を説明し、患者に対して明確で実行可能なステップを提示することにおいても最も優れた結果を出しました。Geminiは一部の領域で優れたパフォーマンスを示し、医学的根拠への適合性においてChatGPTと同等の成績を収めましたが、他のカテゴリーにおいては一貫性に欠ける部分がありました。Copilot、DeepSeek、Doubaoを含む他の3つのシステムは、全体的にスコアが低く、誤情報を訂正できなかったり、十分な詳細なガイダンスを提供できなかったりすることが多くありました。

本研究の重要な発見は、「安全である」ことは、その回答がそれ単体で十分に使用できることを意味しないということです。多くの回答は危険なアドバイスは避けているものの、患者の誤解を訂正したり、必要な文脈を提供したりすることには失敗していました。例えば、あるチャットボットは「歯には矯正が必要である」と正しく述べてはいるものの、質問に含まれる特定の「DIYによる方法」が安全ではないという説明を怠ることがあります。この研究は、システムが即座に怪我を引き起こすような指示を与えることは稀であるものの、医療的なガイダンスに求められる深みや精密さが不足していることが多いことを示しました。研究者たちは、システム間の違いは単なる微細な差異ではなく、上位のモデルは他のモデルと比較して、複雑で誤解を招く主張に対処する能力において明らかに優れていると指摘しました。

著者らは、これらの人工知能ツールは患者教育の補助的なものとして捉えるべきであり、歯科医への受診に代わるものではないと結論付けました。これらは情報を整理したり、一般的な質問に答えたりすることはできますが、専門家による診察、X線検査、またはパーソナライズされた治療計画の必要性を代替することはできません。本研究は、患者が、特に歯や顔の変化に関わる主張について、オンラインで見かけた内容を検証するためにこれらのチャットボットに頼るべきではないことを強調しています。むしろ、これらのツールの最善の使い方は、初期情報を収集することであり、その上で、事実を確認し、安全な行動計画を話し合うために資格を持つ専門家を求めることです。研究は、技術は進歩しているものの、提供されるアドバイスが単に安全であるだけでなく、個々の患者にとって正確で完全、かつ真に役立つものであることを保証するために、依然として人間の監視が必要であることを示唆しています。