技術的サマリー：LLM エージェントによる臨床スコアリングシステムの自動構築

問題定義

現代の臨床実践は、少数の解釈可能な決定規則から構成される、コンパクトでエビデンスに基づくスコアリングシステム（例：CURB-65、SOFA）に依存している。これらのシステムは、ベッドサイドでの実行を意図して設計されており、記憶のしやすさ、監査可能性、計算支援なしでの運用が求められる。しかし、多くの高性能な機械学習（ML）モデルは、これらのワークフロー制約と整合しないため、日常臨床への転換に失敗している。これらはしばしば一貫して利用できない入力に依存し、複雑な前処理を必要とするか、あるいは手動での実行が困難な連続重みの計算を生成する。

既存の臨床スコアの自動学習手法は、一般的に「生成 - 選択のギャップ」に直面している。RiskSLIM や Optimal Checklists などのアプローチは、固定された事前構築された特徴行列上で最適化する。これらは、生データから生理学的比率、時間的傾向、浅い論理構成などの臨床的に意味のある派生規則を自動的に発見することができない。その結果、仮説空間の構築負担は手動の特徴量エンジニアリングに依存し、臨床ガイドラインが日常的に考慮する組み合わせ規則空間の網羅性が制限される。

核心的な課題は、指数関数的に大きな離散探索空間（網羅的列挙や標準的な勾配ベースの最適化では扱いが困難）を navig しながら、制約付きモデルクラス（単一重み、順序なしのチェックリスト）内で規則構築とチェックリストの互換性を同時に最適化することである。

手法：AgentScore

著者らは、大規模言語モデル（LLM）と離散最適化を橋渡しし、展開可能な臨床スコアリングシステムを自動的に構築するフレームワーク AgentScore を紹介する。このシステムは、LLM を自律的な意思決定者としてではなく、決定論的かつデータに根ざした検証ループに組み込まれた構造化された意味提案メカニズムとして扱う。

1. 規則言語と制約

AgentScore は、以下の機能をサポートする、制限された臨床動機付けの規則言語 $\mathcal{R}$ の中で動作する：

• 数値しきい値と範囲： 標準的なカットポイント（例：$HR > 100$）。
• カテゴリカルおよびバイナリ存在規則： 診断または併存疾患。
• 生理学的比率と対比： 派生指標（例：$HR/BP$）。
• カウントベースの規則： M-of-N 基準（例：SIRS 基準）。
• 浅い論理構成： 記憶のしやすさを維持するための制限された深さの AND/OR 演算。
• 時間的および分布則： 縦断データから導出された傾向、デルタ、および分位数ベースのしきい値。

対象モデルは、単一重みの N-of-M チェックリストである。これは、スコアが満たされた規則の数を表す ($S(\tilde{x}) = \sum r_j(\tilde{x})$) 疎な二値規則の集合 $S$ であり、スコアがしきい値 $\tau$ を超えた場合に決定が下される。

2. AgentScore パイプライン

学習手順は、問題を 3 つの段階（図 2）に分解する：

• 規則提案（LLM エージェント）： LLM は、ツールインターフェースを介して提供されるデータセットの説明と集計統計に基づき、候補規則を提案する。重要なのは、LLM が患者レベルの生記録を一度も観察しないことであり、プライバシーリスクと幻覚を軽減している。これは文法に準拠した構造化された JSON 規則を生成する。
• 決定論的検証とフィルタリング：
  • 統計的スクリーニング： 提案された規則は、保持されたデータ上で評価される。規則は、最小識別閾値（例：AUROC $\ge 0.60$）を満たし、現在のプールに対する正クラスのカバレッジにおけるジャッカード類似性による冗長性チェックをパスした場合にのみ保持される。
  • 臨床的妥当性チェック： 2 番目の LLM エージェントが「自己チェック」として機能し、統計的に有効だが臨床的に無意味または意味的に不整合な規則を拒否する。
• スコア構成（LLM エージェント）： 3 番目のエージェントは、保持されたプールからコンパクトな規則のサブセットを選択して、最終的なチェックリストを形成する。このエージェントは、単に統計的に類似した代理変数を選ぶのではなく、呼吸、心血管、腎臓などのドメインにまたがる意味的に多様な組み合わせを提案するように誘導される。
• 反復的洗練： 構成エージェントは、識別度とカバレッジ指標に関するフィードバックを受け取りながら、停止基準が満たされるまでチェックリストを反復的に洗練できる。最終的な決定閾値 $\tau$ は自動的に最適化される（例：Youden 指数の最大化）。

3. 最適化目的

このシステムは、ハード制約 subject に経験的臨床有用性（例：AUROC、ネットベネフィット）を最大化することを目指す：
$$\max_{S \subseteq \mathcal{R}} U(S(\tilde{x}), y; D_{val}) \quad \text{s.t.} \quad |S| \le m, \text{Depth}(r) \le d$$
これは NP 困難で微分不可能な組み合わせ問題である。AgentScore は、LLM を用いて規則空間の意味的構造を navig することで、疎なランドスケープで高有用性の規則を見つける「コールドスタート」問題を緩和し、決定論的ツールが統計的妥当性と展開可能性を確保することで、これに対処する。

主要な貢献

1. 概念的： 本論文は、展開可能な臨床チェックリスト学習を、固定された特徴上での選択だけでなく、規則構築と部分集合選択にわたる結合組み合わせ最適化問題として形式化する。それは、記憶のしやすさ、監査可能性、算術なしでの使用といったベッドサイドの認知的および運用上の制約を明示的に仮説クラスにエンコードする。
2. アルゴリズム的： AgentScore は、LLM が制限された文法内で意味的に構造化された候補を提案し、決定論的ツールが文法の妥当性、統計的スクリーニング、および冗長性制御を強制するフレームワークを導入する。この分離により、最終的なスコアが解釈可能かつ経験的に裏付けられたものになることを保証する。
3. 経験的： この手法は、8 つの臨床予測タスク（MIMIC-IV、eICU）と 2 つの外部検証タスクで評価された。

実験結果

• 予測性能： 8 つのタスク全体で、AgentScore は既存のスコア生成ベースライン（RiskSLIM、FasterRisk、Optimal Checklists、AutoScore）を大幅に上回り、より厳格な構造的制約（単一重み、少数の規則数）の下で動作しているにもかかわらず、柔軟な解釈可能モデル（ロジスティック回帰、決定木）と同等かそれ以上の性能を示した。
• ガイドラインとの競争力： 外部検証設定（PhysioNet 2012 ICU 死亡率および英国/カナダの嚢胞性線維症コホート）において、AgentScore は確立された臨床ガイドライン（SOFA、SAPS-I、CF 移植ガイドライン）よりも高い識別力（AUROC）を達成しながら、手動実行に適したままであった。
• 展開可能性： 18 人の臨床医による構造化レビューにより、ガイドラインスタイルの推論との整合性（85%）、ベッドサイドでの適用の容易さ（71%）、展開の好ましさ（81%）に関して、整数重みのベースライン（FasterRisk）よりも AgentScore 生成のチェックリストが有意に好まれた。
• アブレーション研究： 制約付き提案 - 検証ループを除去し（制約のない LLM 生成に置き換える）た場合、性能が大幅に低下した（Cohen's $d \approx 2.8$）ことは、決定論的検証ループの必要性を確認した。

意義と主張

本論文は、ML の性能と臨床導入の間のギャップは、不十分な予測能力によるものではなく、ガイドライン展開と互換性のないモデルクラスを最適化することに起因すると主張している。AgentScore は、仮説クラス設計、展開可能性、検証を第一級のモデル化課題として扱う制約付き意味最適化が、非常に高精度でありながらベッドサイドで直接実行可能なモデルを生み出し得ることを示している。

著者らは、彼らのアプローチが臨床ガイドラインを置き換えるものではなく、ガイドラインスタイルの使用と整合し、前向き検証に適した候補スコアリングシステムを自動的に構築する道筋を提供すると強調している。このフレームワークは、データガバナンス（LLM と生データアクセスの分離による）や規則発見における「生成 - 選択」のギャップなど、臨床 ML 導入の主要な障壁に対処する。

限界： 著者らは、AgentScore は柔軟なブラックボックスモデルよりも表現力が低く、LLM にとって意味的にアクセスできない予測関係を見逃す可能性があることを指摘している。これは形式的な最適化保証よりも展開可能性を優先し、内在的に公平性制約を強制しないため、外部監査が必要である。スコアリングシステムは即座の臨床展開用ではなく、検証を意図した研究アーティファクトである。