Performance, safety, and repeated-query stability of large language models versus early-career urologists in urological oncology: a source-masked vignette benchmark

技術要約：LLMと初期キャリア泌尿器科医の性能、安全性、および反復クエリにおける安定性の比較

問題提起
大規模言語モデル（LLM）は医療意思決定支援としてますます評価されているが、集計された精度指標は、重大なエラーや反復クエリによる変動性を覆い隠してしまうことが多い。疾患ステージ、リスクグループ、および患者固有の修飾因子の微細な統合に依存する泌尿器科腫瘍学において、標準化された知識問題に対する高いパフォーマンスは、信頼性の高い、文脈に即した臨床的意思決定を保証するものではない。既存の文献は、LLMが多職種による腫瘍ボード（マルチディシプリナリー・チューマ・ボード）に対する非劣性基準を満たさない可能性があり、全体的な性能が許容範囲内である場合でも、安全性に関わる重大なエラーが存続し得ることを示唆している。さらに、クエリを繰り返した際に同一の分類や推奨事項が得られるかどうかという、LLMの出力の安定性は、臨床的信頼性の独立した次元として十分に探索されていない。

方法論
本研究では、3つの消費者向けLLMと2名の固定された初期キャリア泌尿器科医の比較対象を用いて、クロスセクション的なビネット（症例提示）ベースのベンチマークを実施した。

• ベンチマーク設計： 本研究では、5種類の泌尿器がん（前立腺、膀胱、腎細胞、精巣、および上部尿路尿路上皮がん）と5つの意思決定カテゴリ（診断/病期分類、リスク分類、初期治療、シーケンシング、およびフォローアップ/安全性）を網羅する100件の合成臨床ビネットを用いた。
• 対象者：
  • LLM： GPT-5.2 Instant、Claude Sonnet 4.5、Gemini 3 Pro Preview。
  • 人間による比較対象： 2名の初期キャリア泌尿器科医（専門医取得後、それぞれ約1年および約3ヶ月の経験を持つ者）。
  • 評価者： 泌尿器腫瘍学の専門知識を持つ、ソース（情報源）を伏せられた2名の泌尿器科医（教授1名、准教授1名）が、500件すべての回答を独立してスコアリングした。
• 条件： すべての情報源は、外部リソース、ウェブブラウジング、または反復的な修正を行わず、同一の標準化された英語プロンプトを使用して100件のビネットに回答した。
• 評価フレームワーク： 回答は、2025年欧州泌尿器科学会（EAU）に準拠した既定のフレームワークに基づき、ガイドラインへの適合性、臨床的安全性、意思決定の完全性、およびリスク/病期精度の4つのドメインにわたってスコアリングされた。
  • 主要エンドポイント： 4つのドメインすべてでスコア2以上であり、かつ事前に定義された失格となる臨床的エラーが存在しないことを条件とする、バイナリ形式の「複合成功（composite success）」。
  • 安全性エンドポイント： 重篤な危害、重大な治療不足、または緊急性の認識失敗を招く可能性のあるエラーと定義される「安全性に関わる重大なエラー（safety-critical errors）」の別途評価。
• 安定性分析： 20件のビネットのサブセットに対して、プラットフォームごとに3回のクエリを行い、主要な分類、安全性ステータス、および完全な4ドメインのスコアプロファイルに関する正確な3回実行の安定性を評価した。
• 統計解析： 全体的な差異にはCochranのQ検定を用い、ペアごとの対比にはHolm調整を伴うMcNemar検定を用いた。効果量は非パラメトリックなブートストラップ再サンプリングを介して推定した。

主な結果

• 主要な複合成功率： 初期キャリアの泌尿器科医は、LLMを大幅に上回った。泌尿器科医Aは85.0%、泌尿器科医Bは89.0%の成功率を達成した。対照的に、LLMの成功率は、GPT-5.2が70.0%、Claudeが64.0%、Geminiが60.0%であった。泌尿器科医AとGPT-5.2の比較は、Holm調整後も有意性を維持しなかった（調整済み P = 0.095）が、それ以外の人間対LLMの対比はすべて有意であった。
• 安全性に関わる重大なエラー： 安全性において顕著な格差が観察された。LLMは、GPT-5.2で25.0%、Claudeで25.0%、Geminiで26.0%の回答において安全性に関わる重大なエラーを生じた。泌尿器科医の発生率は、それぞれ2.0%および1.0%であった。調整後のすべての人間対LLMの安全性対比は有意であった。
• エラーのフェノタイプ（表現型）： 最も頻繁に見られたLLMのエラーは、管理に影響を与える因子の欠落（CE-6）であり、次いで診断/病期分類の欠落、および治療不足であった。有害または禁忌とされる推奨（CE-9）は、LLMの回答においてそれぞれ1件、3件、3件（1%、3%、3%）発生したが、泌尿器科医の比較対象では発生しなかった。
• 反復クエリの安定性： 安定性は限定的であった。60件のビネット・プラットフォームの組み合わせにおいて、主要な分類に関する正確な3回実行の安定性は45.0%であり、安全性ステータスについては48.3%であった。フルセットの4ドメイン・スコアプロファイル全体で安定性を維持した組み合わせは、わずか28.3%であった。特筆すべきは、この安定性には、一貫して成功しているケースと、一貫して失敗（または不安全）なケースの両方が含まれていたことである。

主な貢献

1. 性能と信頼性の分離： 本研究は、集計された性能指標が、回答の信頼性を完全には捉えていないことを実証している。高い平均スコアは、高い安全性に関わる重大なエラーの負担や低い再現性と共存し得る。
2. 安全性ゲート付き評価： 安全性に関わる重大なエラーを一般的なガイドライン適合性と別途定義することで、本研究は、LLMが構造としては「概ね許容できる」ものの、特定の欠落や禁忌のために臨床的に危険な回答を頻繁に生成することを浮き彫りにした。
3. 臨床指標としての安定性： 本研究は、消費者向けLLMの不安定性を定量化しており、クエリを繰り返すと臨床的な分類や安全性ステータスが変わる可能性があることを示している。これは、相関ベースの再現性指標では捉えられない要素である。
4. ソースを伏せたベンチマーク： 専門家である泌尿器腫瘍学の評価者を用いた、バランスの取れたソース非公開設計により、現在の消費者向けAIと初期キャリアの臨床医との間の厳密な比較を実現した。

意義および主張
本論文は、消費者向けLLMは合成された泌尿器腫瘍学のビネットに対して概ね許容可能な回答を生成することが多いものの、現在においては臨床的に関連のある安全性に関わる重大なエラーと限定的な再現性を示していると結論付けている。これらの結果は、LLMが自律的な臨床使用にはまだ適していないことを示唆している。むしろ、結果は臨床医による監督下でのサポートというモデルを支持しており、そこではLLMの出力は、完全な臨床的文脈および最新のガイドラインに照らして検証されるべき「ドラフト案」として扱われるべきである。

著者らは、性能、重大なエラー、および再現性は、信頼性の独立した次元として評価されるべきであると強調している。彼らは、従来の精度指標とともに、安全性ゲート付きのエンドポイントと反復クエリの安定性指標を組み込むことを提唱している。本研究は、テストされた特定の泌尿器科医が集団レベルの優越性を主張することを明確に避けており、2名の個人ではより広範な泌尿器科医の集団を代表できないとしているが、結果の方向性は、LLMが複雑で文脈に敏感な腫瘍学の意思決定に苦慮することを示す他の研究と一致している。