Large language models differ in patient education quality across the robot-assisted radical prostatectomy care pathway

男性が前立腺がんの診断を受けた際、その後の道のりにおいて、ロボット支援手術を用いて前立腺全体を摘出するかどうかという重大な決断を迫られることがよくあります。この術式は「ロボット支援根治的前立腺全摘除術」として知られ、局所的な疾患に対する標準的な治療法ですが、患者は理解しなければならない複雑な情報の網に直面することになります。患者は、手術がどのように行われるのか、回復過程がどのようなものか、さらには膀胱のコントロールや性的機能にどのような影響を与える可能性があるのか、そして医師がどのようにがんの再発を監視するのかを知る必要があります。かつて、患者は印刷されたパンフレットや、執刀医との一度きりの会話に頼ってこれらの疑問を解消してきました。今日では、多くの人が即座に答えを得るために人工知能チャットボットを利用しています。これらの大規模言語モデルは、人間のアドバイスのように見えるテキストを生成できますが、極めて重要な問いが残ります。果たして、人生を左右するような医療のプロセスを、正確かつ明快に説明することを、彼らは信頼できるのでしょうか。

四川医学専門学校附属病院の研究チームは、まさにこの問いを検証するために立ち上がりました。彼らは、ChatGPT、DeepSeek、Doubaoという3つの人気のある人工知能システムに焦点を当てました。研究チームは、これらのマシンに手術を行わせたり、特定の人物を診断させたりしたわけではなく、代わりにこれらを「情報提供者」として扱いました。彼らは、がんのスクリーニングから術後の長期的なフォローアップに至るまで、ケアの各段階で患者が尋ねる可能性のある25の明確な質問を作成しました。これらの質問は、検査結果の解釈から神経損傷のリスクの理解まで、あらゆる事項を網羅していました。その後、研究者はこれら25の質問をすべて3つのモデルに入力し、合計75の個別の回答を生成しました。公平なテストを行うため、モデルが同じチャットセッション内の以前の回答から学習できないよう、質問は個別の会話の中で一つずつ行われました。

回答が集められた後、研究者はその質を判断する方法を必要としました。彼らは、どの人工知能が書いた回答であるかを知らせない「ブラインド・レビュー（目隠し評価）」を行うために、3人の医学専門家をリクルートしました。専門家たちは、患者教育の質を測定するために設計されたいくつかの確立されたツールを用いて、テキストを評価しました。彼らは、情報が完全であるか、患者が実際に活用できる実用的なアドバイスを提供しているか、そして理解しやすい方法で書かれているかを検討しました。また、捏造された事実や時代遅れの医学的推奨事項といった特定の誤りがないかを確認し、そのテキストが平均的な読者にとってどの程度読みやすいかを算出しました。目的は、一つのマシンが他を常に上回るのか、あるいはすべてのマシンが同じ問題に直面しているのかを見極めることでした。

結果は、3つのモデルすべてが概して安全で正確な情報を提供している一方で、それぞれ異なる個性と強みを持っていることを明らかにしました。一つのモデルであるChatGPTは、一貫して最も実行可能なアドバイスを提供していました。患者が次に何をすべきかを尋ねたとき、このモデルは、人が従うことができる明確でステップバイステップの指示を提示する傾向がありました。また、患者の意思決定をサポートするための情報の構造化という点でも高いスコアを獲得しました。もう一つのモデルであるDeepSeekは、著しく読みやすいテキストを生成しました。その文章はやや複雑さが抑えられており、語彙も他のモデルよりいくらか親しみやすいものでした。しかし、たとえDeepSeekによるテキストが「容易」であったとしても、それは依然として多くの成人が快適に読むには難しいレベルであり、公衆衛生資料として推奨される読解レベルを超えていました。3番目のモデルであるDoubaoは、正確性の面では他のモデルと同様のパフォーマンスを示しましたが、読みやすさにおいては苦戦し、時折重要な詳細を落とすことがありました。

こうした違いはあるものの、本研究は単一のモデルが完璧であることはなく、また、医師のアドバイスの代わりとして使用すべきではないことも明らかにしました。研究者たちは、これらのマシンが事実を捏造したり、危険なほど時代遅れの助言を与えたりすることは稀であるものの、特にDeepSeekやDoubaoの回答において、重要な情報を省略してしまうことがあることを発見しました。さらに、回答を採点した人間の専門家たちの間でも、必ずしも意見が一致しないことがありました。この一致の欠如は、医学的なアドバイスの質を判断することが、訓練を受けた専門家にとっても困難な作業であることを示唆しており、モデル間のわずかなスコアの差は、見た目ほど意味のあるものではない可能性があります。また、研究は一つの持続的な課題を浮き彫りにしました。それは、3つのモデルすべてが、平均的な人々にとって複雑すぎるテキストを生成していたことです。医学用語や文章構造は、内容を完全に把握するために高校卒業以上の教育レベルを必要としており、これが情報を最も必要としている多くの患者にとっての障壁となっています。

研究者たちは、これらの人工知能ツールは医師の助手として有望であり、泌尿器科医がレビューし洗練させるための「教育資料の初稿」として機能する可能性があると結論付けました。これらは幅広いトピックをカバーする説明を迅速に生成できますが、外科医と患者の間で行われる、ニュアンスを含んだ個別化された対話に取って代わることはまだできません。ロボットは手術のリスクを列挙することはできますが、患者の目を見て、その具体的な恐怖を理解したり、その人の医学的履歴と個人的な価値観の独自のバランスを計ったりすることはできません。現時点では、これらの強力なマシンの最善の使い道は、独立した医学的指針としてではなく、臨床医をサポートするツールとしてです。本研究は、テクノロジーが情報をより利用可能にすることはできるものの、情報が単に正確であるだけでなく、真に理解されるためには、ケアにおける人間的な要素が不可欠であることを思い出させてくれます。