Comparative evaluation of large language models for guideline-based oral cancer management: a standardized assessment of GPT-4o, DeepSeek-R1, and Grok-3

口腔がん（口がん）は、精密かつ連携の取れたケアを必要とする深刻な疾患です。患者が診断されると、医師は腫瘍の正確な位置や進行度に応じて、手術、放射線治療、あるいは薬物療法を含む治療方針を決定しなければなりません。これらの決定は、最新の科学に基づき、すべての患者が最善のケアを受けられるよう専門家によって作成された「臨床ガイドライン」と呼ばれる厳格な医学的規則に従って行われます。近年、大規模言語モデルと呼ばれる新しいタイプのコンピュータプログラムが登場しました。これらのプログラムは膨大な量のテキストを読み取り、質問に対して流暢な回答を書くことができるため、複雑な規則を要約したり、治療計画を提案したりする上で医師の助けになるのではないかと多くの人々が期待を寄せています。しかし、コンピュータが明快に話すからといって、その医学的助言が正しいとは限りません。生死を分ける口腔がん治療の世界において、自信満々でありながら誤った回答を出すことは危険を伴うため、これらのデジタルツールが真に医学的ガイドラインを理解し、適用できるかどうかを検証することが不可欠です。

中国の吉林大学の研究チームは、3つの最も高度な大規模言語モデルを口腔がんの症例に投入することで、このアイデアを検証することに乗り出しました。研究チームは、GPT-4o、DeepSeek-R1、Grok-3という特定の3つのモデルを選択しました。これらのプログラムがどの程度の性能を発揮するかを確認するため、研究者は頭頸部がんに関する公式の全米総合がんネットワーク（NCCN）ガイドラインに基づいた標準化されたテストを作成しました。テストは主に2つの部分で構成されています。第一に、モデルに対し、専門の外科医として振る舞い、医学知識のない人に対して口腔がんの治療ルールを説明することを求めました。これには、原因、疾患の発見方法、そして治療と回復のステップを含める必要があります。第二に、標準化された口腔がんのシナリオと臨床的なヴィネット（事例）をモデルに与え、診断名、病期分類（ステージング）、および適切な手術や放射線治療の内容を含む、完全な管理計画を提示することを求めました。

回答を判定するために、3人の経験豊富な口腔顎顔面外科医がアウトプットをレビューしました。彼らは、要約タスクについては0から10のスケールで、症例管理タスクについては0から100のスケールで回答を採点し、正確性、明快さ、および治療計画が公式の規則に従っているかといった要素を評価しました。結果は、モデルによってパフォーマンスが異なり、すべての面で完璧なプログラムは存在しないことを示しました。一般向けにガイドラインを要約するタスクでは、DeepSeek-R1が10点満点中8.8点という最高スコアを獲得し、次いでGPT-4oが8.3点、Grok-3が7.8点となりました。DeepSeek-R1は、明快さや論理的な流れといった特定の領域においても最高スコアを記録しました。

モデルがより困難な課題である具体的な患者症例の管理に移ると、全体的なスコアは高くなりましたが、モデル間の差はより顕著になりました。DeepSeek-R1は、再び87.44点（100点満点）という最高の総合スコアを達成しました。このモデルは、適切な治療計画の提案、手術範囲の計画、および患者の予後（予測される経過）の評価において特に優れた成績を収めました。Grok-3は77.77点で2位となり、GPT-4oは68.61点でした。興味深いことに、DeepSeek-R1がほとんどのカテゴリーでリードしていた一方で、Grok-3は適切な放射線線量の提案において最高スコアを獲得しました。また、研究者たちは、コンピュータの言葉が正解とどの程度一致しているかを測定する「テキスト類似度スコア」が、人間の専門家が判断した医学的正確性と必ずしも一致しないことも指摘しました。これは、コンピュータが正解に非常に似た言葉を書いていても、医学的な詳細については間違っている可能性があることを示唆しています。

最も優れた性能を示したモデルの高スコアにもかかわらず、本研究は、これらのツールが独立した意思決定者として使用されることを妨げる重大な欠陥があることを明らかにしました。3つのモデルすべてにおいて、口腔がんと咽頭がんを混同するという致命的なミスが時折見られました。これら2つの疾患は治療法が異なるため、これは極めて重大な誤りです。また、患者の症例や公式ガイドラインに基づかない、正確な手術切除縁や抗生物質の投与スケジュールといった具体的な詳細を、時として勝手に作り上げることもありました。研究者たちは、モデルが情報の整理には長けているものの、特定の患者固有の状況に合わせて計画を調整するために必要な、深い文脈的理解が欠けていると観察しました。本研究は、これらの人工知能ツールは、医師が計画のドラフトを作成したり情報を要約したりするのを助ける「アシスタント」として捉えられるべきであり、最終決定を下せる自律的な医師として扱うべきではないと結論付けています。著者らは、人間による専門的な検証が常に必要であることを強調し、これらの技術がいかに安全にがん治療をサポートできるかをさらに洗練させるための、より大規模な研究を求めています。