技術概要：HealthCraft

問題提起

最先端の大規模言語モデル（LLM）は、それらを安全に評価するためのインフラが整備されるよりも速いペースで臨床ワークフローに導入されつつある。既存の静的な医療 QA ベンチマークは、救急医療に特有の重要な失敗モード、すなわち、軌道レベルでの安全性の崩壊、患者記録に対するツールの誤用、および持続的な臨床的圧力下での屈服を捉えきれていない。静的ベンチマークはガイドラインテキストの想起率を測定するが、モデルが緊急搬送の必要性を正しく特定した後に自宅療養を推奨するかどうか、あるいは臨床データシステムと対話する際に致命的な指示（疑わしい大動脈解離に対する抗凝固薬の処方など）を下すかどうかを検出することはできない。

手法

HealthCraft は、Corecraft アーキテクチャを適応させた公開の強化学習（RL）環境であり、特に救急医療向けに設計されている。これは、PostgreSQL の世界状態ストア、FastMCP ツールサーバー、タスクエンジンの 3 つのサービスから構成される Docker バンドルシステムとして機能する。

環境設計

• 世界状態: 本環境は、14 種類の 3,987 個のシードエンティティ（患者、エピソード、病状、薬剤など）で構成されたFHIR R4スキーマに基づいている。状態は決定論的（シード=42）であり、OpenEM 臨床知識コーパスから派生しており、実際の臨床統合との直接的な対応関係を確保している。
• アクション空間: エージェントは、4 つのウェーブに整理された24 個の MCP ツールを介して対話する。これらは、読み取り専用検索/取得、計算、変異（注文の作成、記録の更新など）、複合ワークフロー（退院、搬送）に分類される。ツール呼び出しは決定論的であり、追記専用の監査ログに記録される。
• ノイズ注入: 現実的な臨床データの問題をシミュレートするため、環境には構造化されたノイズが注入される。これには、ページネーション制限、時計のズレ、不完全な記録、古くなったデータ、曖昧なドキュメント、そして誤魔化しの所見が含まれる。

報酬関数と評価基準

中核的な革新は、ハードな安全性ゲートを備えた二層構造の評価基準である。

• 基準: ベンチマークはタスクあたり 2,255 個の二値基準を使用し、そのうち 515 個が安全性クリティカルである。
• ハード安全性ゲート: 報酬関数（式 1）は、他の基準でのパフォーマンスに関係なく、安全性クリティカルな基準がいかなる場合でも違反された場合、報酬をゼロにする。これは、単一の致命的なエラーが有能なパフォーマンスを無効にするという、臨床的安全性の不可避性を反映している。
• 検証: 基準は以下の 3 つの方法で検証される。
  1. world_state: 監査ログに対する決定論的チェック（安全性に推奨）。
  2. llm_judge: 複雑な軌道分析のためのベンダー間 LLM ジャッジ（例：GPT による Claude の評価）。
  3. pattern: 提示チェックのための正規表現マッチ。

タススー

公開ベンチマークは、6 つのカテゴリーにまたがる195 個のタスク（ネガティブクラスのスレートを含めると 205 個）で構成される。

1. 臨床推論（重複する病状の曖昧さ除去）。
2. 多段階ワークフロー（エピソードにわたる調整されたアクション）。
3. 臨床コミュニケーション（退院、コンサルト）。
4. 安全性クリティカルな判断（EMTALA、容量）。
5. 情報検索。
6. 時間的推論。

タスクは、OpenEM の混同ペア、決定ルール、評価特性から生成されており、著者の直感ではなく、査読付きソースへの追跡可能性を確保している。

主要な貢献

1. 救急医療における最初の公開 RL 環境: FHIR-R4 世界状態と 24 ツールの MCP 表面を備える。
2. ハード安全性ゲート報酬: 安全性クリティカルな違反が発生した場合にパフォーマンスをゼロにする報酬関数であり、臨床安全性のための制約付き MDP を実用化する。
3. 追跡可能なベンチマーク: OpenEM 臨床ソースに基づき、2,255 個の二値基準で評価される 195 個のタスクのスート。
4. 透明な評価: パイロット版（v2 から v8）の間で修正された 6 つのインフラバグの詳細な記録。これらはモデルのランキングを大幅に変更し、インフラの忠実度が測定の一部であることを示している。
5. 監査オーバーレイ: 評価者ノイズを定量化する決定論的 LLM ジャッジ監査オーバーレイ。ジャッジ間の不一致の 73% はオーバーレイの欠陥ではなく、ハルシネーションに起因することが判明した。

結果（V8 リリース）

195 個のタスクで 3 試行ずつ行われた、2 つの最先端モデル（Claude Opus 4.6 および GPT-5.4）の評価結果：

• 全体的なパフォーマンス:
  • Claude Opus 4.6: Pass@1 24.8%（安全性失敗率：27.5%）。
  • GPT-5.4: Pass@1 12.6%（安全性失敗率：34.0%）。
• 多段階ワークフローの崩壊: 複雑な多段階ワークフローにおけるパフォーマンスは、ほぼゼロに崩壊した（Claude: 1.0%, GPT-5.4: 0.0%）。エージェントは非安全性基準を満たすことが多かったが、ワークフロー内の単一の安全性クリティカルなミス（例：搬送チェックの欠落）が報酬をゼロにした。
• インフラの影響: v7 から v8 への 6 つのインフラバグの修正により、モデルのパフォーマンスが質的に再順序付けられた。GPT-5.4 の平均報酬は v7 に対して約 107% 増加したが、Claude は約 13% 減少した。これは、ツール使用ベンチマークがスキーマと評価の忠実度に極めて敏感であることを浮き彫りにしている。
• ネガティブクラススレート: 事後の 10 タスクのネガティブクラススレート（拘束に焦点を当てたもの）は、拘束基準がスモークパイロットで高い頻度（0.929）で満たされていることを明らかにした。これは、現在の報酬シグナルをトレーニングに使用すると、一般的な臨床判断ではなく、特定の過剰行動のパターンマッチングにつながる可能性を示唆している。

意義と主張

本論文は、HealthCraft を即座の導入承認のためのツールではなく、失敗モードを可視化する誠実な評価ハarnessとして位置づけている。

• 現実の測定: この環境は、現在の最先端モデルが自律的な救急医療の導入に準備できていないことを示している。Pass@1 で、Claude は 4 つに 1 つ、GPT は 8 つに 1 つのタスクで失敗し、安全性違反は約 3 つに 1 つの試行で発生している。
• インフラの忠実度: 著者は、ツール使用ベンチマークにおいて、インフラの忠実度はモデル評価とは別の軸ではなく、測定されているものの不可欠な一部であると主張する。バグ修正によるモデルの再順序付けは、「より強力な」モデルのランキングがハarnessの不完全さのアーティファクトになり得ることを示す証拠である。
• トレーニングと評価の境界: 本論文は、現在の報酬シグナル（式 1）がそのままのトレーニングには安全ではないと明確に述べている。ネガティブクラスタスクにおける拘束基準の満たされた高い頻度は、アブレーションなしでこのシグナルに基づいてトレーニングすると、報酬ハッキングにつながる可能性を示唆している。
• オープンサイエンス: 環境、タスク、評価基準、ハarnessのすべてのコンポーネントは、コミュニティが環境を破壊し、タスクスートを拡張し、結果を報告することを奨励するため、Apache 2.0 ライセンスで公開されている。

著者は結論として、HealthCraft の役割は、即座の臨床統合のための栄光ある指標を提供することではなく、導入に関する対話を誠実なものにするために、信頼区間と可視化された失敗率を提供することであると述べている。