Performance of Large Language Models as Assistive Tools for Clinical Pharmacists in the Stomatological Hospital: A Multi-dimensional Comparative Study

歯科病院という専門的な世界において、臨床薬剤師は投薬の安全を守る守護者としての役割を担っています。彼らの仕事は、口腔疾患に対して処方されるすべての薬剤が、適切な選択であり、適切な用量であり、かつ患者固有の健康歴にとって安全であることを保証することです。この業務には、処方箋の確認、危険な相互作用のチェック、そして腎疾患や肝疾患などの複雑な状態にある患者に対する治療の調整などが含まれます。しかし、この役割はますます困難になりつつあります。医学情報の量は日々増大し、ガイドラインは絶えず変化しており、薬剤師は深い研究を行うための時間がほとんど取れないほどの重い業務量に直面することが多いのです。彼らは、口腔および全身の健康問題のために複数の薬剤を服用している可能性のある患者を管理しながら、迅速かつ正確な判断を下さなければなりません。

このプレッシャーを管理するために、多くの病院が人工知能、特に大規模言語モデル（LLM）に注目しています。これらは膨大な量のテキストで学習されたコンピュータプログラムであり、人間の言語を理解し、生成することができます。これらは、長年の専門的な研究を必要とするような質問に対して、情報を検索し、複雑なシナリオを分析し、回答を提供することを目的として設計されています。現在、医療界が直面している問いは、これらのデジタルツールが真に人間の専門家に対する信頼できる助手となり得るのか、それとも、自信満々に誤った助言を与える可能性のある、単なる精巧なチャットボットに過ぎないのか、ということです。中国の研究者による新しい研究は、一般的な質問を超えて、歯科病院という特定の、かつ極めて重要な環境において、これらのモデルがどの程度パフォーマンスを発揮できるかを直接テストすることによって、この問いに答えを出そうとしました。

研究者たちは、当時利用可能であった最も高度な3つの大規模言語モデル、ChatGPT-5.5 Instant、Gemini-3.5 Flash-Lite、およびDeepSeek-V3を選定しました。公平にテストするため、チームは臨床薬剤師が日常的に遭遇する現実的な30個の質問セットを作成しました。これらの質問は、投与量、薬物相互作用、禁忌（特定の患者が決して服用すべきではない薬）、同一の静脈内注射バッグに混合できない薬剤、投与方法、および腎機能や肝機能が低下している患者への用量調節という、6つの重要な領域を網羅していました。質問の内容は、単純な事実から、深い医学的推論を必要とする複雑なシナリオまで多岐にわたりました。

その後、5人のシニア臨床薬剤師が、各モデルによる回答のレビューを行いました。彼らは、どのモデルが回答を生成したのかを知らされない状態で、判断に偏りが出ないようにされました。薬剤師たちは、回答の正確性、完全性、および実際の現場での有用性に基づいてスコアを付けました。結果は、明確な性能の階層を示しました。ChatGPT-5.5 Instantは最も高品質な回答を生み出し、中央値のスコアで「良好」から「優秀」の範囲に位置づけられました。DeepSeek-V3が2位に続き、Gemini-3.5 Flash-Liteが3つの中で最も低いスコアとなりました。これらの差は統計的に有意であり、つまり、性能の差は偶然ではなく、実在するものであることを意味しています。

興味深いことに、質問の難易度はランキングに影響を与えませんでした。質問が単純であっても複雑であっても、ChatGPTは一貫して他を圧倒しました。研究では、質問が難しくなるにつれてモデルの性能が悪化するという証拠は見つからず、難易度に関わらず相対的な順位は維持されました。これは、モデルのパフォーマンスが単なる事実の想起能力ではなく、その根底にある推論能力や知識へのアクセス能力によって駆動されていることを示唆しています。しかし、本研究はまた、3つのモデルすべてに共通する重大な限界についても指摘しました。それは「読みやすさ」です。生成された回答は、非常に理解しにくいスタイルで書かれており、内容を理解するにはしばしば大学レベルの教育が必要でした。これは臨床現場においては極めて重要な点です。なぜなら、薬剤師はこれらの概念を患者に説明する必要があるからです。現在のモデルは、正確性を損なうことなく言語を簡略化することに苦慮しています。

もう一つの重要な発見は、情報のソースに関するものでした。研究では、モデルが提供する情報源の質を評価しましたが、3つのモデル間で信頼性スコアに統計的に有意な差は見られませんでした。しかし、著者らは、歯科および関連する医学分野のより広範な文献において、大規模言語モデルが、架空の書籍名、ジャーナル名、著者名を含む「捏造された参考文献」を頻繁に生成することが一貫して報告されていると強調しました。今回の研究ではソースの質を評価しましたが、捏造された引用という広範な問題があるため、現在、どのモデルも検証なしに単独の「真実の源」として使用することは安全ではありません。これらは、公式の医薬品データベースや免許を持つ薬剤師の判断に取って代わることはできないのです。

研究者たちは、これらの人工知能ツールが、歯科病院の臨床薬剤師にとって優れた助手となる大きな可能性を秘めていると結論付けました。これらは、専門的なサポートとして受け入れ可能なレベルの品質で、幅広い薬物情報タスクを処理することができます。しかし、これらは独立した意思決定者ではなく、人間の意思決定を支援するためのツールとして見なされなければなりません。情報を検証し、最新のガイドラインを確認し、患者の安全を確保するためには、人間の薬剤師が不可欠です。これらのモデルが進化し続けるにつれ、さらに有能になる可能性はありますが、現時点では、患者の安全を守る専門家にとっての「強力な第二の目」として活用するのが最適です。