技術的概要：集合値方策学習

問題定義

精密医療における従来の治療方策学習は、通常、患者の共変量を単一の推奨介入にマッピングし、期待される臨床結果を最大化する。しかし、この点値アプローチには重大な限界が存在する：

1. 不確実性への感受性: 推奨は、推定不確実性、モデルの仕様、および有限サンプルの変動に対して極めて敏感である。
2. 信頼性の指針の欠如: 標準的な方策は、推奨された行動に対してどの程度の信頼を置くべきかを示す手がかりをほとんど提供しない。
3. 曖昧さの無視: 複数の治療が同程度の結果をもたらす場合、点値方策はこの曖昧さを捉えられず、定量化されていないコストや有害事象に関する実務者の選好と矛盾する可能性がある。
4. 真実の非観測性: 因果推論において、観測されるのは投与された治療の結果のみであり、反事実的結果（したがって真の最適治療）は観測されない。これにより、形式的な保証を持つ方策の構築が複雑化する。

著者らは、多治療設定（$K > 1$）における集合値方策学習のパラダイムを提案する。単一の推奨の代わりに、方策は妥当な治療の部分集合を出力する。主な目的は、少なくとも一つの最適治療を高確率で含むような方策 $C$ を構築することである：
$$P(\Pi^\star(X) \cap C(X) \neq \emptyset) \geq 1 - \alpha$$
ここで、$\Pi^\star(X)$ は共変量 $X$ に対する最適治療の集合であり、$\alpha$ はユーザーが指定する誤差レベルである。これは、モデルの役割を「決定を処方する」ことから「集合を通じて選択肢をフィルタリングし、決定を支援する」ことへと転換させ、集合の基数を通じて不確実性を自然に定量化する。

手法

本論文は、形式的なカバレッジ保証を備えた集合値方策を学習するための 2 つの主要な枠組みを導入する：

1. 最大下限（GLB）法

このアプローチは、条件付き平均結果推定量を用いて、「遅延学習（learning-to-defer）」の枠組みを多治療に拡張する。

• メカニズム: 条件付き平均結果 $\mu(x, a)$ に対する信頼できる下限（$\ell_n$）と上限（$u_n$）に依存する。
• 構築:
  1. 下限を最大化する治療 $a_{maxmin}$ を特定する：$a_{maxmin}(x) \in \arg\max_a \ell_n(x, a)$。
  2. 上限が最大下限ベンチマークを超えるすべての治療を含めることで集合 $C_\alpha(x)$ を構築する：
     $$C_\alpha(x) = \{a \in A : u_n(x, a) \geq \ell_n(x, a_{maxmin}(x))\}$$
• 保証: 有効な信頼区間が存在するという仮定の下、この方法は条件付きカバレッジを達成し、これは周辺カバレッジを意味する。
• 限界: 有効な境界の非自明な構築が必要であり、推定の不正確さに敏感である。

2. 適合集合値方策学習（ノイズラベル体制）

最適治療が観測されないことを踏まえ、著者らは方策学習をノイズラベル体制下の分類タスクとして定式化する。ここで、推定された最適治療は真実の代理として機能する。

• メタアルゴリズム:

  1. ブラックボックスラベル生成: データのサブセット上で方策学習器（例：Q-learning、方策木）を訓練し、ノイズラベル $\hat{A}^*$（最適治療の推定値）を生成する。
  2. 非適合スコア: 訓練サブセットを用いてスコア関数 $s_n(x, a)$（例：マージンベース）を学習し、候補治療が較正データに対してどの程度整合しているかを定量化する。
  3. ノイズ較正: ノイズラベル $\hat{A}^*$ を用いて較正セット上でスコアを計算し、分位点閾値 $\hat{q}_{1-\alpha}$ を導出する。
  4. 予測集合: $C_\alpha(x) = \{a : s_n(x, a) < \hat{q}_{1-\alpha}\}$ と定義する。

• カバレッジギャップへの対応: ノイズラベルに対する標準的な適合予測は、仮定なしには真の最適治療に対するカバレッジを保証しない。著者らは、周辺カバレッジを確保するための 2 つの戦略を提案する：

  1. 順位保存仮定: 推定量が治療平均の順序を保存すると仮定する。これが満たされれば、カバレッジは保証される。
  2. ランダム性の注入: 厳密な構造的仮定なしに確率的優位性を強制するための新規アプローチ。
     • ノイズラベルを確率 $r$ で純粋なランダムラベルと混合して攪乱する：$\hat{A}^*_{r,i} = R_i \cdot A^{rd}_i + (1-R_i) \cdot \hat{A}^*_i$。
     • この制御されたランダム性は、非適合スコアを確率的に増加させ、予測集合が真の最適治療をカバレッジするのに十分な保守的なものになることを保証する。定理 1 は、カバレッジを保証するための $r$ の条件を提供する。

評価指標

本論文は、標準的な方策価値指標が集合には不十分であるため、これらの方策を評価するための集合方策価値を導入する。

• 選択関数（$\delta$）: 集合から単一の治療を選択するマッピング。
• 一様集合方策価値（$\bar{V}_P(C)$）: 集合から治療を一様にランダムに選択した場合の期待結果。これは、ランダム選択よりも優れた判断を行う意思決定者が達成する価値の下限として機能する。

主要な結果

合成実験

• カバレッジ: 実験は、ランダム性の注入なし（$r=0$）では、推定誤差によりカバレッジ保証がしばしば違反されることを示している。中程度のランダム性（例：$r=0.2$）を導入することで、周辺カバレッジが正常に回復する。
• トレードオフ: $r$ を増加させると、カバレッジを確保するために予測集合の平均基数が増加し（より大きく、より保守的になる）。GLB 法もカバレッジを達成するが、推定誤差への感受性により過剰カバレッジする傾向がある。
• 価値: 高い集合方策価値を維持するには、より高い信頼レベル（低い $\alpha$）またはより高いランダム性レベルが必要であり、集合のサイズ（情報量）とカバレッジの信頼性の間のトレードオフをバランスさせる必要がある。

実世界応用：体外受精（IVF）

• データセット: 順序性のあるゴナドトロピン投与量と結果（卵胞収量およびエストラジオールレベル）を有する 18,538 件の卵巣刺激サイクル。
• 知見:
  • 集合値方策は極端な投与量を効果的にフィルタリングし、治療の順序構造を保持する。
  • 意思決定支援: この枠組みは、二次的な目的の統合を可能にする。例えば、集合値出力に適用された「最小投与量」戦略（$\delta_{lower}$）は、一様サンプリングと比較して卵胞収量のわずかな減少のみでエストラジオールレベルを効果的に制御し（OHSS リスクを低減）、
  • 基数: 合成設定と同様に、より高いランダム性レベルはより大きな集合をもたらすため、より安全だが潜在的に負担の大きい意思決定空間を提供する。

意義と主張

本論文は、因果方策学習の枠組み内で形式的なカバレッジ保証を備えた集合値方策を学習する最初の試みであると主張する。その意義は以下の点にある：

1. パラダイムシフト: 単一の決定を「処方する」ことから、妥当な選択肢の集合を用いて意思決定者を「支援する」ことへの転換。これにより、「遅延学習」の枠組みが多治療設定に一般化される。
2. 内在的不確実性の定量化: 予測された集合のサイズは、決定の曖昧さの程度を自然に反映し、臨床医に実行可能な信頼レベルを提供する。
3. モデル非依存性: 適合アプローチはモデル非依存であり、特別な頑健性修正を必要とせずに、任意のブラックボックス方策学習手法と組み合わせることができる。
4. 非観測の真実への対応: ノイズラベル文献からの洞察を活用し、ランダム性の注入を導入することで、観測されない最適治療と推定された規則の間のギャップを埋め、基礎となる推定量の頑健性の性質に依存することなく、厳密なカバレッジ保証を提供する。
5. 臨床的関連性: IVF 応用は、これらの手法が臨床的制約（例：投与量の段階的削減）を取り入れ、性能と安全性のバランスを取る、堅牢で実行可能な方策を生成することを示している。

著者らは、信頼性の高い個別化意思決定には、統計的不確実性とモデリング誤差が存在する状況下でも信頼できる手法が必要であると結論づけている。彼らの枠組みは、人間の意思決定者を代替するのではなく支援し、二次的な目的や臨床的判断を取り入れた文脈を考慮した選択を容易にする。