PSEBench: A Controllable and Verifiable Benchmark for Evaluating LLMs in Patient Safety Event Triage

技術要約: PSEBench

問題提起
患者安全イベント（PSE）のトリアージとは、特定の管轄区域のポリシー（例：ミネソタ州の29件の報告対象となる有害健康事象、MN29）に基づき、臨床的なインシデントが報告対象であるかどうかを判断することである。これは、専門家が法的ポリシーに基づいた判断を下し、不足している重要な事実を特定し、ポリシーが曖昧な場合には二値的な決定を控えることが求められる、極めて重要度の高いタスクである。大規模言語モデル（LLM）は自動化の可能性を秘めているが、既存のベンチマークはそれらを十分に評価できていない。従来の研究は、孤立した記述的な分類（例：イベントの種類、深刻度）に焦点を当てており、トリアージに必要とされる複雑でポリシーに基づいた推論を評価できていない。さらに、厳格なポリシーへの忠実性、マルチターンでの情報探索の必要性、そして高価な事後的人間によるアノテーションなしに、本質的に曖昧なケースを扱う必要性があるため、この領域で信頼性の高いベンチマークを生成することは困難である。

手法
著者らは、「句カード（clause cards）」を中心としたポリシーに基づいた手法を通じて構築された、制御可能かつ検証可能なベンチマークであるPSEBenchを提案する。

1. 句カードの構築:

   • コアとなる革新技術は「句カード」である。これは、規制テキストを監査可能な変数へと分解した構造化された意思決定仕様である。これには、イベントタイプ（$s$）、境界条件（$B$）、イベント要素（$E$）、条件から要素へのマッピング（$\rho$）、意図された判定（$y$）、法的根拠（$G$）、およびインスタンス化の制約（$\Phi$）が含まれる。
   • これらのカードは、LLM支援によるヒューマン・イン・ザ・ループのプロトコルを通じて作成される。LLMはポリシーテキストの「忠実な抽出（loyal extraction）」と候補カードの「構造化されたドラフト作成」を行い、その後、人間による専門家による厳格な監査が行われ、境界条件が必要かつ十分であることを確認する。

2. 制御可能かつ検証可能な生成パイプライン:

   • アンカー駆動型インスタンス化: 臨床的なリアリズムと多様性を注入するために、実際の匿名化されたインシデントレポート（日本医療機能評価機構からのもの）を「アンカー素材」として使用する。
   • フェーズI（事実のインスタンス化）: アンカー素材からLLMがイベント要素（$E$）を構造化された事実記録へとインスタンス化する。自動検証器が、これらの事実が句カードの境界条件（$B$）および制約（$\Phi$）を満たしているかを確認する。
   • フェーズII（ナラティブの言語化）: 第2のLLMが、検証された事実を自由形式の臨床ナラティブ（記述）に変換する。
   • クローズドループ検証: エクストラクター（抽出器）が生成されたナラティブを解析して基礎となる事実を復元し、ナラティブ検証器によって元の構造化記録と照合される。これにより、ナラティブが「サイレント・ラベル・ドリフト（判定を変更してしまうハルシネーション）」を起こすことなく、意図された事実を忠実にエンコードしていることが保証される。

3. ベンチマークのバリエーション:

   • 完全なケース（Complete Cases）: すべての意思決定に不可欠な事実が存在する。
   • 情報不足のケース（Missing-Information Cases）: 意思決定に不可欠な事実のサブセット（$E'$）がナラティブから除外されており、エージェントがそれらを積極的に尋ねる必要がある。グラウンドトゥルース（正解）は、どのフィールドが欠落しているかを明示的に追跡している。
   • 不確実な（グレーゾーンの）ケース（Uncertain/Gray-Zone Cases）: すべての事実は判明しているが、ポリシーが沈黙しているか矛盾しており、エージェントが二値の判定を強制するのではなく、エスカレーションを行う必要がある。

4. エージェント的評価環境:

   • 評価は、評価対象となるLLM（$A_{eval}$）と、自動化された情報提供者（$A_{info}$）との間のマルチターン・インタラクションをシミュレートする。
   • $A_{info}$ は、既知の事実に沿ったクエリにのみ回答し、それ以外については「不明」と宣言する、ステートレスなオラクルとして機能する。
   • $A_{eval}$ は、いつ質問すべきか（ASK）と、いつ判定を下すべきか（ANSWER）を判断しなければならない。

主な貢献

• PSEBenchデータセット: MN29ポリシーに基づいた5,074件のケース（完全なケース 3,455件、情報不足のケース 1,362件、不確実なケース 257件）を含むデータセット。各ケースには、構築プロセスによって導出された多次元のグラウンドトゥルース（判定、句、法的根拠、境界条件、および欠落フィールド）が含まれており、手動のアノテーションを不要にしている。
• 方法論的フレームワーク: 句カードとクローズドループ検証を用いた、スケーラブルでポリシーに基づいた、高忠実度で監査可能なベンチマーク構築パイプライン。
• エージェント的評価: 静的な分類メトリクスを超え、積極的な情報探索と、不確実性下での原則に基づいた棄却（abstention）を評価するために特別に設計された、二役割の環境。

結果
著者らは、15の代表的なLLM（クローズドソースの最先端モデル、オープンソースの最先端モデル、小型モデル、および医療専門モデル）を評価した。

• 判定精度 vs エージェントとしての準備態勢: 最先端のクローズドソースモデル（例：GPT-5.5、Gemini 3.1 Pro）は、完全なケースにおいて高い判定精度（>90%）を達成したが、インタラクティブな挙動においては顕著な性能差が現れた。
• 情報探索: モデル間で挙動が分かれた。一部のモデル（例：GPT-5.5）は、欠落している事実を特定し、的を絞った質問を行った。他のモデル（例：Llama-3.1-8B）は無差別に質問を行い、医療専門モデル（例：HuatuoGPT-o1）はほとんど質問を行わず、「質問なしでの判定確定」に陥った。
• 不確実性の処理: 曖昧なケースを正しくエスカレーションする能力は、最も二極化した能力であった。強力なモデル（GPT-5.5、Gemini 3.1 Pro）のみが、意味のある不確実性の認識を示した。ほとんどのモデル、医療専門モデルを含め、不確実なケースに対して「報告すべき」という判定を強制する「過剰報告」のバイアスを示した（例：MedGemmaは不確実なケースの98.4%を「報告対象」にルーティングした）。
• エビデンスへの接地（Evidence Grounding）: 高い判定精度は、しばしばエビデンスの接地における失敗を隠蔽していた。モデルは、証拠の引用や境界条件の的中率が低いことから分かるように、誤った、あるいはハルシネーションに基づいた理由で正しい判定を「推測」していることが頻繁に認められた。

意義と主張
本論文は、PSEBenchが、判定、法的エビデンスの接地、的を絞った情報探索、および不確実性の認識を統合して評価する、最初の包括的なポリシーに基づいたPSEトリアージ用ベンチマークであることを主張している。結果は、現在のLLMは、たとえ最先端モデルであっても、現実世界の患者安全トリアージへの自律的な展開にはまだ準備ができていないことを示唆している。静的な分類性能と、インタラクティブでポリシーに沿った推論（特に、情報の欠落やポリシーの曖昧さの取り扱い）という厳格な要求との間のギャップは依然として大きい。著者らは、PSEBenchを、臨床安全ワークフローにおける、より安全でポリシーに適合したLLMアプリケーションの開発を導くための、スケーラブルで検証可能なテストベッドとして位置づけている。

認められた限界
著者らは、アンカー素材によってリアリズムは向上しているものの、ナラティブは合成的に生成されたものであり、生の電子カルテ（EHR）ノートの構造的な乱れを完全には捉えきれていない可能性があると述べている。さらに、評価は情報探索を会話プロトコルへと抽象化しており、エージェントがライブで非構造化されたEHRシステムを操作する能力をテストするものではない。最後に、ベンチマークは現在MN29ポリシーに基づいているが、その構築手法は他の規制フレームワークにも汎用可能であると主張されている。