技術的概要：オフポリシー評価のためのログポリシー設計

問題定義

オフポリシー評価（OPE）は、異なる「ログ」ポリシーによって収集されたデータを用いて、ターゲット治療ポリシー（例えば、新しいレコメンデーションシステム）の価値を推定するための重要なメカニズムである。OPE は、ライブ展開なしで高リスクの実験を可能にするが、その精度はデータを生成するログポリシーに大きく依存する。既存の文献では、ログポリシーは固定された、あるいは未知の行動ポリシーとして扱われることが多く、代わりに推定量（例えば、逆傾向重み付け、二重頑健性）の改善に焦点が当てられている。しかし、実際には、ログポリシーの選択は、特に大きな行動空間と希薄な報酬を伴う有限サンプル領域において、OPE 推定量のバイアスと分散に劇的な影響を与える。

本稿で扱われる核心的な問題は、与えられたターゲットポリシー $\pi_t$ に対する逆傾向重み付け（IPW）推定量の平均二乗誤差（MSE）を最小化するために、ログポリシー（具体的には、行動の傾向 $\pi_l(a|x)$）をどのように設計するかである。この設計は、根本的な報酬－カバレッジのトレードオフを navig する必要がある：高報酬の行動に確率質量を集中させることは、報酬実現からの分散を減少させるが、ターゲットポリシーが選択する可能性のある行動全体をカバレッジすることは、行動サンプリングに起因するバイアスと分散を制御するために必要である。

手法

著者らは、文脈 $X$ が分布 $p_X$ から到来し、行動 $A$ がログポリシー $\pi_l$ によって選択される文脈バンドット設定（遷移ダイナミクスを伴わないマルコフ決定過程）において、この問題を定式化する。報酬 $R$ は、$Bernoulli(\mu(a, x))$ から引き出される二値である。

1. 目的関数

主要な目的は、IPW 推定量 $\hat{V}_{IPW}(\pi_t | \pi_l)$ の MSE を最小化することである：
$$MSE = E[(\hat{V}_{IPW} - V(\pi_t))^2] = Bias^2 + Variance$$
著者らは、バイアスと分散の分解を、ログポリシー $\pi_l$ の関数として明示的に導出した。彼らは、オーバーラップ（すべての $a$ において $\pi_t(a|x) > 0$ となる場合、$\pi_l(a|x) > 0$ となることを保証すること）がバイアスを排除するが、サンプルサイズが小さい場合などには必ずしも MSE を最小化するわけではないことを確立した。

2. 情報領域

本論文は、ターゲットポリシー（$\pi_t$）と報酬分布（$\mu$）の知識の有無によって分類される、情報制約のスペクトル全体にわたる最適なログポリシーを分析する：

• 未知の $\pi_t$ と未知の $\mu$：情報が存在しない場合、ミニマックス最適な戦略は一様ランダム化である。これは、推定量が未知である場合、無情報な事前分布が最適であるという直感と一致する。
• 既知の $\mu$、未知の $\pi_t$：最適なポリシーは、$\frac{\mu(a,x)}{c + \mu(a,x)^2}$ に比例する質量を割り当て、高報酬の行動を優先しつつ、安全マージンを維持する。
• 未知の $\mu$、既知の $\pi_t$：最適な戦略は、ターゲットポリシー $\pi_t$ 自体の下で直接データをログすることである。
• 既知の $\pi_t$ と既知の $\mu$：これが理想的なケースである。最適なログポリシーは、ターゲットポリシーに向かうネイマン割り当てに従う：
  $$\pi_l^*(a|x) \propto \pi_t(a|x)\sqrt{\mu(a,x)}$$
  この解は、ターゲットポリシーの質量と報酬確率の平方根の積によって行動に重み付けを行う。

3. 中間的な設定と実用的な制約

完全な情報がめったに利用可能ではないことを認識し、本論文はフレームワークを中間的な設定に拡張する：

• ターゲットポリシーの分布：正確なターゲットが未知であるが分布 $Pr(\pi_t)$ が既知である場合、最適なログポリシーは「2 次モーメントの疑似ターゲット」$\tilde{\pi}_t(a|x) = \sqrt{E[\pi_t(a|x)^2]}$ を対象とする。
• ノイズのある報酬推定：$\mu$ がノイズを伴うモデル $\hat{\mu}$ によって推定される場合、$\hat{\mu}$ を直接代入すると分散が膨張する。著者らは、事後収縮を提案し、ノイズのある推定値を文脈ごとの平均に向かって収縮させる。ガウス階層事前分布の下では、最適な収縮重みが導出され、収縮パラメータがホールドアウトデータから推定される「経験的ベイズ」解釈に至る。
• ソフト・グリーディ・クラス：理論的な最適解がエンジニアリング的または組織的な制約により実行不可能な設定に対して、本論文は「貪欲さ」パラメータで索引付けられた 3 つのポリシークラスを提案する：Top-k、Softmax、およびPower-normalizedである。これらのクラスは、一様ランダム化と決定論的貪欲選択の間を補間し、企業に単一のハイパーパラメータを通じて報酬－カバレッジのトレードオフをバランスさせることを可能にする。

主要な結果

1. 修正されたログの最適性：$\pi_t$ と $\mu$ の両方が既知の場合、最適なログポリシー $\pi_l^*$（ネイマン割り当て）は、ターゲットポリシー $\pi_t$ を直接実行する場合（オンポリシー評価）よりも、IPW 推定量に対して低い MSE をもたらす。さらに、$\pi_l^*$ は、ログ期間中に $\pi_t$ 自体よりも高い期待報酬を獲得する。これは、最適化された OPE が、ライブ A/B テストと比較して、統計的精度とユーザー体験の両方を同時に改善し得ることを示している。
2. 報酬－カバレッジのトレードオフ：本論文は、最適なログポリシーがターゲットポリシーと同一であることは稀であることを形式化している。ターゲットポリシーが既知であっても、ログポリシーは、高報酬のアイテムをサンプリングすること（報酬分散の減少のため）と、ターゲットポリシーが選択するアイテムをサンプリングすること（サンプリング分散の減少のため）とのバランスを取る必要がある。
3. ノイズの影響：収縮なしでノイズのある報酬予測を使用すると、一様ランダム化よりも性能が劣る可能性のある、最適ではないログポリシーにつながる。事後収縮はこのリスクを大幅に軽減し、不完全な報酬モデルであっても、最適化されたログがオンポリシー評価を上回ることを可能にする場合が多い。
4. ヒューリスティクスの性能：シミュレーションは、単純な「ソフト・グリーディ」ポリシー（特に Top-k と Power-normalized）が、理論的最適値の MSE に近づき得ることを示している。小サンプル領域では、行動サポートを意図的に切り詰めること（わずかなバイアスを誘発すること）は、厳密なオーバーラップを強制するポリシーと比較して、全体の MSE を減少させることができる。

意義と貢献

本論文は、アドホックなヒューリスティクスや安全性のみの制約を超えて、ログポリシー設計のための統合フレームワークを提供すると主張している。その意義は以下の点にある：

• 理論的基盤：ログポリシー設計を、最適実験設計（ネイマン割り当て）と重要度サンプリングの古典的問題と結びつけ、様々な情報制約の下で扱いやすい最適解を提供する。
• 実行可能なガイダンス：ターゲットポリシーが未知である場合や報酬推定がノイズを伴う場合など、候補システムを選択する企業に対して具体的な戦略を提供する。提案された収縮手法とソフト・グリーディ・クラスは、実装のための実用的なツールを提供する。
• 二重の利益：評価のためのデータ収集がユーザー体験を犠牲にしなければならないという考え方に挑戦する。結果は、理論的に最適なログポリシーが、評価対象のポリシーよりもより精密なオフライン評価と、より高い即時的報酬の両方をもたらすことを示している。
• トレードオフの明確化：ログ設計の文脈における報酬－カバレッジのトレードオフとバイアス－分散の分解を明示的に特徴づけることで、いつ、なぜ異なるログ戦略（例えば、一様対貪欲対ネイマン）が適切であるかを明確にする。

著者らは結論として、彼らの理論的結果は（IPW の使用や弱いオーバーラップなどの）仮定に依存しているが、それらは企業がオフライン実験の取り組みを改善するための原理的な基盤を提供し、一様ランダム化のような保守的なフォールバックを、データ駆動型で理論的に最適化されたログ戦略に置き換えるものであると述べている。