Comparison of ChatGPT and Gemini in Providing Postoperative Information After Tonsillectomy: An Expert-Based Assessment

毎年、何百万人もの人々が、喉の奥にある扁桃を切除する一般的な手術である扁桃摘出手術を受けています。この処置は定型的なものですが、その後の回復はしばしば困難を伴います。患者は激しい痛みや飲み込みにくさ、そして出血や脱水に対する絶え間ない不安を抱えて目を覚ますことになります。この回復の大部分は自宅で行われるため、家族は、何が正常で、いつ医師の助けを求めるべきかを知るための明確な指示に頼ることになります。近年、多くの人々がこれらの答えを得るために、人工知能ツールを利用するようになりました。大規模言語モデルとして知られるこれらのコンピュータプログラムは、会話を行い、非常に人間らしい文章を生成することができます。それらは、医学用語を説明したりアドバイスを提供したりするために、24時間いつでも利用可能であることを約束しています。しかし、これらのプログラムは医学への深い理解に基づいているのではなく、データ内のパターンに基づいて回答を生成するため、混乱を招いたり、時代遅れであったり、あるいは危険ですらあるアドバイスを与えるリスクがあります。医師や患者が直面している問いは単純です。私たちは、困難な回復期にある家族を導くために、これらの機械を信頼できるのでしょうか、それとも人間の専門家がその成果をチェックする必要があるのでしょうか。

これに答えるため、トルコの研究チームは、利用可能な最も高度な2つの人工知能システム、ChatGPTとGeminiを用いた注意深いテストを実施しました。彼らはコンピュータにランダムな質問をしたのではありません。代わりに、彼らは実在の人々からスタートしました。研究者たちは、最近扁桃を切除した40人の患者から質問を集めました。これらの患者は、痛み管理、食事、およびいつ救急要請を行うべきかといったトピックを網羅し、回復についてまさに知りたいと思ったことを書き留めました。その後、10人の専門医によるパネルが、これらをトルコ語による15の明確な質問へと精査しました。研究者たちは、ChatGPTとGeminiの両方に、これら15の質問すべてに対して回答するよう、単一の日に指示しました。コンピュータは回答を生成し、研究者たちは、一文字も変えることなく、そのままの形で保存しました。

次に、研究者たちは、16人の異なる耳鼻咽喉科の専門医を審査員として招きました。これらの医師は、どのコンピュータプログラムがどの回答を書いたのかを知りませんでした。彼らは単に、「回答A」および「回答B」とだけラベル付けされた2組の回答を見ました。各医師は、15の質問すべての回答を読み、以下の4つの特定の項目について評価しました。情報の科学的な正確さ、アドバイスが実際の患者にとって適切であるかどうか、理解のしやすさ、そして最も重要なこととして、その回答が安全であるか、あるいは患者を危害に導くような内容を含んでいないかという点です。医師は各カテゴリーについて、最高評価である5を最高とする1から5までのスコアを付けました。合計で、チームは両方のシステムを並べて比較するために、2,000近い個別の評価を集めました。

結果は、両方の人工知能プログラムが全体として非常によく機能していることを示しました。それらは一般的に正確で臨床的に適切な情報を提供し、医学的事実を正しく伝えるという点で高い評価を得ました。研究者が総スコアを見たとき、ChatGPTはGeminiよりもわずかに高い平均評価を得ましたが、その差は極めて小さく、偶然によるものである可能性が十分にありました。実際、専門家が特定のカテゴリーを検討した際、2つのプログラムは医学的事実を提供する能力においてほぼ同一でした。どちらのプログラムも、データによって確実に証明できるほど、もう一方より明らかに優れているということはありませんでした。この研究は、この特定のタスクにおいて、一方のモデルが他方よりも優れているという証拠は見いだせませんでした。

しかし、より詳細に調査すると、より重要な物語が明らかになりました。それは安全性に関するものです。両方のプログラムは、患者の安全性というカテゴリーにおいて最も低いスコアを獲得しました。これは、回答がしばしば事実として正しかったとしても、専門家たちが、出血に関する警告の欠落や、薬に関する曖昧なアドバイスといった潜在的なリスクを依然として指摘したことを意味します。ChatGPTは安全性においてGeminiよりもわずかに高いスコアを獲得しましたが、その差は、どちらがより安全な選択であるかを宣言できるほど有意なものではありませんでした。また、専門家たちは、安全性を評価する際に医師同士の意見が必ずしも一致しないことも指摘しており、これは、テキストの一節から隠れた危険を見つけ出すことが、専門家にとっても困難であることを示唆しています。この完全な一致の欠如は、安全性が単なる事実のチェックではなく、複雑な判断であることを浮き彫りにしています。

本研究は、これらの人工知能ツールは印象的であり、有用な情報を生成できるものの、医師のアドバイスに取って代わる準備はまだできていないと結論付けています。両方のシステムがより低い安全性スコアを獲得したという事実は、人間による専門的なレビューが、情報を患者に提供する前に必ず行われなければならないことを示唆しています。研究は、どちらのプログラムが明確な勝者であるかを示しておらず、また、それらが単独で使用するのに完全に安全であることも証明していません。むしろ、これらのツールは、医療専門家がチェックし修正を行うための、情報のドラフト（下書き）を提供する助手として機能する場合に最も効果的であることを示唆しています。技術が、人間の助けなしにすべての潜在的なリスクを一貫して特定し回避できるレベルまで向上するまでは、患者にとって最も安全な道は、自身の医師との対話であり続けるでしょう。