技術要約：反事実的方策を用いた安全なベイズ最適化

問題定義

本論文は、安全性に関する制約が反事実的な結果に依存する設定において、**安全なベイズ最適化（SafeOpt）**を行う際の課題に対処している。臨床試験などの多くの逐次的意思決定シナリオでは、新しい介入 $x_t$ が安全であると見なされるためには、その結果 $Y(x_t)$ が、確立された標準治療（standard-of-care）の方策による結果 $Y(x_{soc,t})$ を大幅に下回らないことが条件となる。

核心となる困難は、$x_{soc,t}$ が反事実的であるという点にある。すなわち、標準治療の方策は時刻 $t$ においては適用されていないため、$Y(x_{soc,t})$ は観測されない。従来のSafeOpt手法は、観測された制約値に基づいて安全なアクションの集合を維持するが、制約 $q(x_t)$ が観測不可能な反事実的結果 $Y(x_{soc,t})$ に依存する場合、単純な点推定値としての $Y(x_{soc,t})$ では不十分であり、ユーザーが指定した許容誤差率 $\alpha$ を超える安全制約の違反を引き起こす可能性がある。

手法：SafeOpt-CPC

著者らは、観測不可能な反事実を扱うために、**分割コンフォーマル予測（split conformal prediction）をSafeOptのループに統合したフレームメントであるSafeOpt with Counterfactual Policy Constraints (SafeOpt-CPC)**を提案している。

1. 反事実のコンフォーマル推定

反事実的な結果に対して点推定を用いる代わりに、本手法は分割コンフォーマル予測を用いて、有効な不確実性区間（具体的には、片側上界 $\hat{U}^{soc}_t$ または下界 $\hat{L}^{soc}_t$）を構築する。

• データの分割: 事前収集されたデータを、点予測器 $\hat{Y}$ を学習するための訓練セット $D_{train}$ と、較正（キャリブレーション）セット $D_{cal}$ に分割する。
• スコアリング: スコア関数 $S(x, Y(x))$ を、真の結果と予測値の差として定義する（例：最大化問題の場合は $Y(x) - \hat{Y}(x)$）。
• 区間の構築: 上界は以下のように計算される：
  $$\hat{U}^{soc}_t(x_{soc,t}) = \hat{Y}(x_{soc,t}) + Q_{soc}\left(1 - \epsilon; \sum \tilde{w}_i \delta_{S_i} + \tilde{w}_t \delta_{+\infty}\right)$$
  ここで、$Q_{soc}$ はスコアの分位点、$\epsilon$ はユーザー指定の失敗率、$\tilde{w}$ は正規化された重みである。

2. 共変量シフトへの対応

本手法は、重み付きコンフォーマル予測を用いて、較正データとテスト環境（SafeOptが展開される環境）の間の分布シフトを考慮する。

• シナリオ1（異なる方策）: 較正データが標準治療とは異なる方策の下で収集された場合、**逆傾向スコア（IPS）**による重みを使用する：$w_i = \pi_{soc}(x_i) / \pi_{cal}(x_i)$。
• シナリオ2（共変量シフト）: テスト集団が較正集団と異なる場合（例：異なる病院のデモグラフィクス）、重みはテストと較正の共変量密度の比から導出される：$w_i = P_{test}(x_i) / P_{cal}(x_i)$。
• 非定常性: 本論文では、重みの再計算や時間減衰重みの適用により、変化点（changepoints）（突然の変化）やドリフト（drift）（緩やかな変化）を扱うアルゴリズム（アルゴリズム3および4）について述べている。

3. 安全保証の調整

コンフォーマル予測をSafeOptの中にネストさせているため、目標とする違反率は調整する必要がある。$\epsilon'$ を（複数の推定項に対する和集合境界によって導出される）コンフォーマル推定の結合失敗確率とし、全体的な違反率がユーザー指定の $\alpha$ を下回るように、より厳格な内部違反率 $\alpha'$ を目標とする：
$$\alpha' \leq \frac{\alpha - \epsilon'}{1 - \epsilon'}$$
この調整は、真の反事実的結果がコンフォーマル区間の外側に出る確率を考慮したものである。

4. SafeOptへの統合

各タイムステップ $t$ において：

1. 提案されたアクション $x_t$ が標準治療である場合、制約は自明に満たされる。
2. それ以外の場合、アルゴリズムは反事実的結果に対するコンフォーマル上界 $\hat{U}^{soc}_t$ を計算する。
3. 安全制約は $q(x_t) = Y(x_t) - \hat{U}^{soc}_t(x_{soc,t}) + \omega \geq 0$ として評価される（ここで $\omega$ は許容パラメータである）。
4. ガウス過程とオンライン・コンフォーマル更新（$\beta_t$ 用）を用いた標準的なSafeOptのロジックにより、安全な集合を維持しながら目的関数を最大化する次のアクションを選択する。

主な貢献

1. SafeOpt-CPCフレームワーク: 反事実的結果が観測されない場合でも、既知の安全な方策よりも性能が低下しないことを、サンプル数の $100(1-\alpha)\%$ において保証する新しい手法。
2. 共変量シフトへの堅牢性: 重み付けメカニズムを通じて、コンフォーマル推定を異なる共変量シフトのシナリオ（方策の不一致および集団のドリフト）に適応させる方法を示す。
3. 形式的な安全性の証明: 本手法が**重み付き交換可能性（weighted exchangeability）**の仮定の下で安全制約を満たすことを証明している（定理 4.1）。また、この仮定が崩れた場合の被覆ギャップについても境界を示している（付録 B）。
4. 実証的検証: 真の反事実が既知である化学反応シミュレータ、および反事実がシミュレートされたMovieLensデータセットを用いた実験により、本手法が違反率を $\alpha$ 以下に抑えつつ目的関数を最適化できることを検証している。

結果

• 違反率: 実験において、SafeOpt-CPCは一貫して真の違反率を指定された閾値 $\alpha$（例：0.1）以下に維持している。対照的に、安全制約のない標準的なベイズ最適化は、閾値を大幅に超える違反を起こしている。
• オラクルとの比較: SafeOpt-CPCは「オラクル」（真の反事実を知っている）のベースラインよりもわずかに保守的であり、その結果、最大目的関数値はわずかに低くなるが、オラクルが保証できない場面でも安全性を保証する。
• 許容度の感度: 許容パラメータ $\omega$ が増加するにつれ、アルゴリズムは標準治療の方策に戻る頻度が減り、より高い目的関数値を得る。
• 非定常性: 重みが正しく再計算されている場合、手法は変化点やドリフトに正常に適応する。これらのシフトを無視すると、被覆保証が崩壊する。
• 感度: 本手法はノイズの多いデータや推定器のバイアス・分散に対して堅牢であるが、これらの要因は標準治療へのフォールバックステップの数を増加させる。

意義と主張

本論文は、安全性が絶対的な閾値ではなく標準治療との比較によって定義される、高リスクなアプリケーション（医療治療など）に対する厳密な解決策を提供すると主張している。著者らは以下の点を強調している：

• 違反率の制御は安全性にとって極めて重要であるが、本手法は安全制約の観測に関して**分布フリー（distribution-free）**である。
• このアプローチは、推定された量が必要なあらゆる制約に一般化可能である。
• 手法は最小限の仮定（重み付き交換可能性）の下で動作し、安全違反に関する形式的な境界を提供する。

著者らは、限界についても謙虚に述べている。コンフォーマル分位点が広すぎる場合、あるいは許容度 $\omega$ が低すぎる場合、アルゴologyは過度に保守的になり、標準治療の方策へ頻繁に戻ってしまう可能性がある。また、制約内に複数の推定項が存在する場合、有効な違反率 $\alpha'$ が非常に小さくなり、探索が制限される可能性がある。結論として、本手法は違反率の制御に焦点を当てているが、このフレームワークは他の制約関数にも拡張可能であり、それは今後の研究課題であるとしている。