Performance evaluation and benchmarking across 16 large language models on a comprehensive real-world emergency department triage data set

技術要約：実世界の救急外来トリアージデータにおける大規模言語モデルの性能評価およびベンチマーキング

問題提起
救急外来（ED）におけるトリアージは、時間的制圧の下で患者の優先順位付けとリソース配分を決定する、極めて重要度の高いプロセスである。大規模言語モデル（LLM）は意思決定支援ツールとしての活用が提案されているが、既存の評価は主にシミュレーションシナリオや精選されたデータセット（例：MIMIC-IV、NEJM Healer）に依存している。現在的なLLMを、包括的かつ非精選（uncurated）な実世界の臨床データに適用した場合の性能、キャリブレーション（較正）、および再現性に関するエビデンスは決定的に不足している。さらに、プロンプト戦略がモデルのアーキテクチャに対して与える影響についても依然として不明確である。

方法論
本研究は、統合された中央評価ポイント（CPA）を備えたドイツの三次救急センターにおいて実施された、回顧的横断的ベンチマーキング研究である。

• データセット： 本研究では、16,107件の連続した成人来院患者（2023年10月〜2024年2月）を利用した。データは、主訴（CEDIS-PCL）、バイタルサイン（ABCDEフレームワーク）、および専門看護師による最終的なトリアージ決定を記録した構造化臨床意思決定支援システム（CDSS）から抽出された。データは完全に匿名化されている。
• 評価対象モデル： 本研究では、16の構成（14種類の個別のLLM（プロプライエタリおよびオープンソース、サイズや推論能力が異なるもの）、一つのアンサンブル戦略（「Council of Models」）、および特定のステップバイステップ・プロンプティング手法を含む）を評価した。
• 評価プロトコル：
  • 入力： モデルには各受診時の構造化された臨床変数を受け取らせた。
  • 出力： モデルには、緊急度（ESI）レベル（1–5）の予測、部門割り当て（ED vs. 急病診療所/UCP）、および自己申告による信頼度レベル（0–100%）の提示を課した。
  • 戦略：
    • 標準的プロンプティング（Standard Prompting）： 利用可能なデータに基づく直接的な分類。
    • Council of Models： 9つのモデルによる予測の集約を行い、「議長（chairman）」モデルが最終的なESIを決定する。
    • ESIステップバイステップ（ESI Stepwise）： ESIアルゴリズム（救命介入の必要性、高リスク徴候、危険域のバイタル、リソース推定）をモデルに逐次的にガイドする、構造化された決定木アプローチ。
  • 再現性： 100人の患者のサブセットに対し、同一の入力を用いて100回ずつクエリを実行し（計10,000回の分類）、確率的な変動を測定した。
• 指標： 主要アウトカムには、二次重み付きコーヘン・カッパ（$\kappa_{qw}$）による一致度、誤分類パターン（過剰トリアージ／過少トリアージ）、期待較正誤差（ECE）、および出力の再現性が含まれる。

主な結果

• トリアージ精度（ESI分類）：
  • パフォーマンスはモデル間で極めて不均一であった。二次重み付き $\kappa$ 値は、0.18（GPT 5 Nano）から0.75まで分布した。
  • ESIステップバイステップ・アプローチのみが「実質的な（substantial）」一致（$\kappa_{qw} = 0.747$）を達成し、報告されている人間同士の検者間信頼度の下限に近づいた。
  • 他のほとんどのモデルは、「中程度（moderate）」から「良好（fair）」な一致（$\kappa_{qw}$ 0.18–0.52）にとどまった。
  • 最も一般的なエラーは、隣接するレベル間、特にESI 3とESI 4の間で発生した。
• 部門割り当て（ED vs. UCP）：
  • 部門割り当ての一致度は、すべてのモデルにおいて一様に低かった（$\kappa \leq 0.30$）。
  • 誤配分が頻発した。例えば、一部のモデルは、EDへの搬送を意図された患者の最大75%をUCPへ、あるいはその逆へと誤配分した。
• バイアスとキャリブレーション：
  • 過信（Overconfidence）： 個別に評価された14のモデルすべてが、系統的に過信を示した。過信指数は+5.2から+33.7（平均的な言語化信頼度と実際の正確度の差）の範囲であった。
  • キャリブレーション： 期待較正誤差（ECE）は高かった（0.099–0.355）。言語化された信頼度は正解と有意な関連を示さず（Confidence Accuracy $\approx$ 0）、モデルは自身の不確実性を信頼性高く示すことができないことを示した。
  • 方向性バイアス： 16モデル中13モデルが純粋な過剰トリアージ（看護師よりも高い緊急度を割り当てる）を示したが、ESIステップバイステップ・アプローチおよびGPT 5 Nanoのバリアントは、顕著な過少トリアージを示した。
• 再現性：
  • 出力は、かなりの割合で非決定的であった。再現性実験において、23%の患者が100回の試行のうち70回未満で最も頻出するESI分類となった。
  • 100回の多数決を行っても精度は有意に向上せず、この変動は単純なサンプリングノイズではなく、真の決定境界における不確実性に起因することを示唆している。

主要な貢献

1. 実世界でのベンチマーキング： 本研究は、架空のビネットや精選されたアーカイブを超えて、活動中の救急外来からの包括的かつ非精選な実世界のデータセットを用いて、1ダース以上の現代的なLLMを体系的に評価した初の研究である。
2. プロンプティング vs. アーキテクチャ： 本研究は、プロンプト戦略がモデルのサイズやアーキテクチャよりも影響力が大きいことを示している。構造化されたアルゴリズム誘導型のステップバイステップ・アプローチは、非構造化プロンプトを用いた高推論モデルを大幅に上回った。これは、臨床ロジックをプロンプトにエンコードすることが性能向上に不可欠であることを示唆している。
3. 安全性と信頼性の分析： 本論文は、臨床現場におけるLLM出力の変動性を経験的に定量化し、同一の入力であっても、かなりの割合のケースで一貫性のない分類が行われることを明らかにした。また、較正されていない言語化された信頼度スコアという重大な安全上の脆弱性を浮き彫りにした。

意義と主張
著者らは、現在の大型言語モデルは、実世界の救急トリアージ業務において、不均一かつ概して限定的な性能を示すと結論付けている。LLMは補助ツールとしての可能性を秘めているものの、現在の特性（具体的には、キャリブレーションの欠如、非決定的な出力、および部門割り当て精度の低さ）は、臨床トリアージ環境における自律的または安全性が重視される展開を支持するものではない。

本研究は、臨床実装のためには、キャリブレーション、信頼性、およびワークフローへの統合の向上が前提条件であることを強調している。また、今後の開発においては、単に大型で複雑なモデルを選択することよりも、構造化されたアルゴリズム誘導型プロンプティングや、規制に準拠した前向きな設定での検証を優先すべきであることを示唆している。これらの知見は、外部のキャリブレーションメカニズムの必要性を強調するとともに、自己申告された信頼度スコアを確率推定値として臨床医に提示することに対して警鐘を鳴らしている。