Inconsistent and divergent large language model safety guidance during intraoperative crises: a guideline- anchored benchmark

技術要約：術中危機における大規模言語モデルの安全性ガイダンスの不一致と乖離

問題提起

大規模言語モデル（LLM）は臨床意思決定支援への活用が提案されているが、既存の評価フレームワークは主に外来カウンセリング、診断推論、または一般的な臨床的安全性を中心としている。これらのベンチマークは、生理学的状態の悪化、時間的圧力、そして外科的管理と麻酔管理の相互依存性が結果を左右する術中の危機という特有の要求に対処できていない。このような高リスク環境においては、単一の欠落や禁忌となる推奨事項が即座に危害をもたらす可能性がある。現在のベンチマークは、モデルの回答の全体的な質を評価することは多いが、モデルが特定のガイドラインに基づいた安全行動を実行しているか、不安全な操作を回避しているか、あるいは同一シナリオの繰り返し実行間で一貫性を維持しているかを厳密にテストしてはいない。

方法論

著者らは、10種類の異なる術中危機のアーキタイプ（例：大量出血、困難な気道、アナフィラキシー）にわたるLLMの挙動を評価するための、フェーズベースのベンチマークを開発した。研究のデザインと実行には、以下の構成要素が含まれる。

• シナリオ構築： 指導医（アテンディング・アネステシオロジスト）によって、初期の不安定状態から代償不全、そして戦略的転換点に至るまでの臨床経過を反映した10のシナリオが作成された。各シナリオは患者のデモグラフィックスと生理学的軌跡を提供するが、診断名を明示的には示さず、モデルに危機を推論させる形式をとっている。
• センチネル・フレームワーク： パフォーマンスは、臨床実践ガイドライン、蘇生標準、および公開されている危機チェックリストに紐付けられた150個のバイナリ（二値）「センチネル・アクション」に対してスコアリングされた。これらのアクションは、以下の6つのクロス・クライシス安全軸に分類された。
  1. 進行中の危害の停止。
  2. 正しいアルゴリズムの起動。
  3. 決定的な救命処置。
  4. グローバルな戦略とディスポジション（処置の方針）。
  5. 不安全なレッドフラッグ・アクション（禁忌とされる操作）。
  6. コミュニケーションとエスカレーション。
• 評価対象モデル： 3つの最先端の汎用LLMを、消費者向けウェブインターフェースを介してテストした（実世界のサンプリングの変動性を捉えるため）。ChatGPT 5.2 (OpenAI)、Claude Opus 4.6 (Anthropic)、Gemini 3.1 Pro (Google) である。
• 実験プロトコル： 各モデルは、2026年2月から3月にかけて、各シナリオにつき3回の独立した実行を行った。プロンプトは標準化され、モデルに対してモニタリングや網羅的なチェックリストよりも、決定的な管理アクションを優先するよう指示した。
• スコアリング： 出力は、ブラインド化された臨床医（麻酔科医および外科医）によって独立してダブルスコアリングされた。スコアリングはバイナリ形式（ポジティブなセンチネルの有無、および不安全なセンチネルのトリガー有無）で行われた。信頼性はCohen's kappaを用いて評価された。

主な結果

本研究は、モデルのパフォーマンス、一貫性、および失敗モードに関して、3つの主要な知見を得た。

1. 実行間の不安定性： 最も重要な知見は、再現性の欠如であった。30のモデル・シナリオの組み合わせのうち、29において、同一シナリオの繰り返し実行間での必須安全アクションの完了割合に差異が見られた。

   • 変動の大きさ： 同一モデルの2回の実行間で、完了率は平均14.7〜18.1パーセントポイント異なった。
   • 安定性のランキング： 不安定性の信頼区間は大きく重なり合っており、モデルを安定性によって確実にランク付けすることはできないことを意味した。あるモデルは、同一の入力に対して、実質的に異なる安全性ガイダンスを提供した。

2. 集計完了率と乖離： 集計された完了率には差が見られたが、ランキングよりも安定性の知見の方が重要であった。

   • パフォーマンス： Claude Opus 4.6が最も高いポジティブ・センチネル完了率（83.7%）を達成し、次いでChatGPT 5.2（69.0%）、Gemini 3.1 Pro（61.2%）となった。
   • 統計的有意性： ペア比較において、Claudeは両方の競合モデルを有意に上回った。ChatGPTとGeminiの間には統計的な区別は認められなかった。
   • 不安全なアクション： 不安全なアクションはすべてのモデルで稀であった（3.8%〜10.3%の範囲）が、信頼区間の重なりにより、決定的なランキングは不可能であった。

3. 失敗のタクソノミー（分類）： 欠落は安全軸に対して均等に分布していなかった。

   • コミュニケーションとエスカレーション： この軸は最も高い欠落率を示し、モデル間の乖離も最大であった。同一のプロンプトの下で、欠落率はClaude（24.6%）、ChatGPT（36.1%）、Gemini（72.6%）と、3倍近い差が生じた。
   • フェーズ感受性： 失敗は第1フェーズ（危機の認識）と第3フェーズ（エスカレーションの決定）に集中しており、Geminiの第1フェーズにおける欠落率は57.6%に達した。
   • アンカリング・ティア： モデルはコンセンサスに基づいたアクション（92.9%）では最も高いパフォーマンスを示したが、危機チェックリストおよびクルー・リソース・マネジメント（CRM）基準に基づいたアクション（全体で57.2%）では最も低いパフォーマンスを示した。ここで、Claude（77.1%）とGemini（35.3%）の差が最大となった。

主な貢献

本論文の主要な貢献は、評価時点のモデルの具体的なスコアではなく、再利用可能なガイドラインに基づいたベンチマーク・インストルメントの開発である。

• ベンチマーク設計： 本研究は、集計的な品質スコアや診断精度を超えて、特定の安全アクションと実行間の不安定性を測定するフレームワークを導入している。
• 再現性への焦点： 周術期の危機管理における役割において、再現性と一貫性が、精度と並んで重要な選択基準であることを確立した。
• オープン資産： シナリオ定義、センチネル・リスト、安全軸、スコアリング規則、およびプロンプト・テンプレートは、将来のモデルリリースに対する標準化されたテストを容易にするため、独立した評価者による制御された公開を目的として設計されている。

意義と主張

著者らは、本研究が、最先端のLLMを周術期の意思決定支援に導入する際の決定的な限界、すなわち「不一致」を明らかにしていると主張している。

• ランクよりも信頼性： 論文は、モデルは単なる集計的な精度ではなく、いかに信頼でき、再現性を持って行動できるかによって判断されるべきであると論じている。同一の危機の提示に対して異なる安全性ガイダンスを提供するツールは、一貫した意思決定支援として機能し得ない。
• 重要領域における乖離： コミュニケーションやエスカレーションといった、危機チェックリストが既に確立されている領域における鋭い乖離は、モデルの価値がスタンドアロンの集計スコアではなく、既存の安全ツールといかに組み合わされるかに依存することを示唆している。
• 評価基準： 著者らは、LLMが周術期の役割において評価される際には、精度と並んで再現性を測定し、報告しなければならないと断じている。本研究は、現在のモデルが展開の準備ができていると主張するものではなく、将来のイテレーションが術中の安全における安定性の要件を満たしているかどうかを判断するために必要な、インストルメント（道具）を提供することを目的としている。