技術要約：非定常性下における切断型方策勾配推定法による処置効果の推定

1. 問題提起

ランダム化実験（A/Bテスト）は、レコメンデーション・プラットフォーム、マーケットプレイス、デジタルヘルスなどの動的なシステムにおいて、介入を評価するための標準的なツールである。しかし、これらの環境では、介入がキャリーオーバー効果（または時間的干渉）を引き起こすことがよくある。これは、時刻 $t$ におけるアクションが、将来の時刻 $t' > t$ におけるシステムの状態や結果に影響を与える現象である。これは、ユニットレベルの独立性という標準的な仮定を損なうものである。

この課題は、非定常性によってさらに深刻化する。ユーザーの嗜好の変化、季節的なトレンド、あるいは外部からのショックなどにより、システムのダイナミクス（遷移カーネルおよび報酬分布）は時間の経過とともに変化する。このような非定常なマルコフ的な設定において、既存の推定手法は重大な限界に直面している。

• ナイーブな推定法（例：差の平均法 / Difference-in-Means）は、時間的依存性を無視するため、大幅なバイアスが生じる。
• 定常的なオフポリシー評価（OPE）手法（例：Difference-in-Q's や DQ 推定法）は、定常な環境を前提としている。非定常なデータに適用した場合、これらは（定常な観測可能性や複数の独立した軌跡といった）仮定が成立しないため、高いバイアスと分散に悩まされる。
• 複雑な実験デザイン（例：スイッチバック実験）は、干渉を軽減できる可能性があるが、実装が困難であり、インターバルの長さの慎重なチューニングを必要とする。

本稿で対処する中心的な問題は、状態空間に関する知識を必要とせず、かつ複数の独立した実行を必要とせずに、ベルヌーイ・ランダム化方策に基づく**単一の軌跡（single trajectory）から、非定常システムにおけるグローバル平均処置効果（GATE）**を推定することである。

2. 手法：切断型方策勾配（TPG）推定法

著者らは、標準的な差の平均法（DM）を、即時報酬ではなく短い固定ホライゾン $k$ にわたって結果を集計するように修正した**切断型方策勾配（Truncated Policy Gradient: TPG）**推定法を提案している。

2.1 形式的フレームワーク

システムは、有限ホライゾン $T$ を持つ非定常マルコフ決定過程（MDP）としてモデル化される。

• 状態/アクション: $X_t \in \mathcal{X}$（状態）、$Z_t \in \{0, 1\}$（コントロール/トリートメント）。
• ダイナミクス: 遷移は時間依存的なカーネル $P^t_z$ によって支配される。システムは、過去のアクションの影響が指数関数的なレート $\gamma \in (0, 1)$ で減衰するという混合時間仮定（Assumption 1）を満たす。
• ターゲット: GATE $\tau = \frac{1}{T} \sum_{t=1}^T (\mathbb{E}[Y_t | \pi_1] - \mathbb{E}[Y_t | \pi_0])$。ここで $\pi_1$ は常にトリートメントを行う方策、$\pi_0$ は常にコントロールを行う方策である。
• データ: ベルヌーイ・ランダム化方策 $\pi_{1/2}$ の下で生成された単一の軌跡。

2.2 推定式

TPG推定量 $\hat{\tau}_k$ は、以下のように定義される。
$$\hat{\tau}_k := \frac{1}{T} \sum_{u=1}^T \left( \frac{\mathbb{I}\{Z_u = 1\}}{1/2} - \frac{\mathbb{I}\{Z_u = 0\}}{1/2} \right) \sum_{t=u}^{\min(u+k, T)} Y_t$$
ここで $k=0$ のとき、これはナイーブなDM推定法に帰着する。$k \ge 1$ の場合、窓のサイズ $k$ にわたって報酬を合計する。

2.3 理論的解釈

本論文は、$\hat{\tau}_k$ が切断型方策勾配 $\nabla J_k(1/2)$ の不偏推定量であることを確立している。

• 方策勾配の視点: 標準的な方策勾配 $\nabla J(1/2)$ は、GATEの一次テイラー近似である。非定常な設定では、フル・グラディエント推定量（$k=T$ の場合）は、$T$ に対して二次的にスケールする $O(T^2)$ のバイアスを受ける。
• 切断（Truncation）: ホライゾンを $k$ に切断することで、この推定量は、最後の $k$ ステップの間だけトリートメントまたはコントロールに切り替わる仮想的な方策の勾配を近似する。
• バイアスの分解: 真のGATEに対する $\hat{\tau}_k$ のバイアスは、以下の2つに分解される：
  1. テイラー誤差: GATEを勾配で近似することによる誤差。これは $O(k^2)$ でスケールする（$O(T^2)$ よりも遥かに小さい）。
  2. 混合バイアス: 切断された方策の値と真のGATEとの差による誤差。これは混合時間の仮定により、 $k$ に対して幾何級数的に減衰する。

2.4 分散推定と推論

本論文は、非定常性下におけるTPG推定量の中心極限定理（CLT）を導出している。統計的推論をサポートするために、著者らは一貫性のある非定常HAC（不均一分散および自己相関修正）分散推定法を開発した。この推定法により、単一の軌跡データを用いて信頼区間を構築することが可能となり、非定常環境における標準的なOPE手法を悩ませる「ホライゾンの呪い」を克服している。

3. 主な貢献

1. 新しい推定法: 報酬ホライゾンを切断することでバイアスと分散のバランスを取る、TPG推定量の導入。これは状態の観測可能性を必要とせず、単一の軌跡で動作する。
2. 理論的保証:
   • バイアス・分散のトレードオフ: 定理1は、$k \ge 1$ の場合にTPG推定量が有利なトレードオフを実現することを示す境界を提供している。バイアスは混合率 $\gamma$ とカーネルの偏差 $\delta$ によって制御され、分散は $T$ とともに爆発することなく（未切断の推定量とは異なり）有界である。
   • 漸近正規性: 定理2は、$\hat{\tau}_k$ に対するCLTを確立し、緩やかな正則条件（Cesàro-$L^2$ 平均安定性）の下で提案されたHAC分散推定量の整合性を証明している。
3. 実用的なヒューリスティック: 実験後に、分散に対する推定値の安定性をモニタリングすることで、切断サイズ $k$ を選択するためのデータ駆動型アルゴリズム（付録B）を提案している。
4. 実証的検証: 以下の2つの現実的なケーススタディを用いて手法を検証した：
   • 非定常な患者到着データに基づくキューイング・シミュレータ。
   • 実データのタクシーデータを用いた大規模なNYCライドシェア・シミュレータ。

4. 結果

• 2状態MDP: シミュレーションにおいて、ナイーブなDM推定器（$k=0$）は〜50%の平均絶対誤差（MAE）を示した。未切断の方策勾配（$k=T$）は、符号が誤っており、極めて大きな分散を持っていた。小さな $k$（例：$k=1$ から $5$）を用いたTPG推定法は、低分散を維持しながらバイアスを大幅に減少させた。
• キューイング・ケーススタディ: 定常的なDQ、LSTD-OPE、およびバイアス補正されたスイッチバック推定法と比較して、TPG推定法（$k=4$ または $5$）は真のGATEに密接に近似した。提案されたHAC分散推定法は、ほぼ公称通りの95%のカバレッジを達成した。
• ライドシェア・ケーススタディ: 実データのNYCデータを含む複雑で非定常な環境において、TPG推定法は様々なスイッチバック・インターバル（10分から60分）にわたって一貫してバイアスを減少させた。それは、インターバルの選択に敏感な最先端のスイッチバック推定法や、信頼できるQ値を学習できなかった定常的なOPE手法を上回った。$k=2$ または $3$ のTPG推定法は、真のGATEに非常に近い推定値を生み出した。

5. 意義と主張

本論文は、TPG推定法が、複雑で非定常なダイナミクスを持つシステムにおける因果推論のための、シンプルで実用的かつ理論的根拠に基づいた解決策を提供すると主張している。その主な意義は以下の通りである：

• 堅牢性: 既存の手法（ナイーブなDM、定常的なOPE）が失敗する設定において、バイアスと分散の良好なバランスを実現する。
• 実現可能性: 状態空間の知識を必要とせず、単一の軌跡データで動作するため、完全な状態の観測可能性がしば_しば不可能である現実世界のプラットフォームに適用可能である。
• 推論: 単一の軌跡を持つ非定常マルコフ設定における、一貫した分散推定法とCLTを提供する初めての手法であり、有効な統計的推論を可能にする。
• 柔軟性: 標準的なベルヌーイA/Bテスト、あるいはスイッチバックのようなより複雑な設計からの推定値を改善するための、ポストプロセッシング・ツールとして適用できる。

著者らは、方策勾配の視点、特に「切断」を通じたアプローチが、複雑で非定常なダイナミクス下での効果的な推定量を設計するための強力なフレームワークを提供すると結論付けている。