技術要約：差分Q関数の直交推定による決定中心のアブストラクション

1. 問題提起

オフライン強化学習（RL）は、安全性やコストの制約によりオンラインでの実験が不可能な場合に、過去のデータを用いて逐次的な意思決定方策を評価および最適化することを目的としている。現代のデータソースは、テキストや画像などの豊かで高次元な状態情報を提供するが、標準的なオフライン強化学習アルゴリズムは、報酬や行動に関係のない情報を含む完全な状態ダイナミクスや価値関数（$Q$ および $V$）を学習しようとするため、困難に直面することが多い。この「次元の呪い」は、統計的学習を遅らせ、最適な行動選択に影響を与えない将来の状態を予測するために、希少なデータを浪費させる。

対処すべき核心的な問題は、決定中心のアブストラクション（decision-centered abstractions）、すなわち、最適な行動を決定するために必要な情報のみを保持する、状態空間からより単純な空間へのマッピングの特定と学習である。具体的には、著者らは、異なる行動に対する$Q$関数の差（$\tau = Q(\cdot, a) - Q(\cdot, a')$）を保持することは、意思決定には十分であるが、絶対的な$Q$値を保持するには、無関係なダイナミクスのモデリングが必要になる場合が多いと主張している。

2. 手法

2.1 決定中心のアブストラクション

本論文では、決定中心のアブストラクションの形式的な定義を導入している。完全な$Q$関数を保持したり遷移をモデル化したりする従来のステート・アブストラクションとは異なり、決定中心のアブストラクション $\phi_t$ は、2つの状態が同じ抽象状態に写像される場合、それらの$Q$値の差が一定であることを保証する。

• 座標サポート（Coordinate Support）: 著者らは、この差を保持するために必要な最小限の状態座標（$K_{\Delta, t}$）を特徴付けている。彼らは、加法的な報酬構造を組み込むことで、既存のグラフィカルな基準（例：IFactor）を洗練させている。彼らは、加法的な報酬の下では、報酬に影響を与えるものの、行動の差をとる際に相殺される座標（例：制御不能な外生変数）は、絶対的な状態値を予測するために必要であったとしても、破棄できることを示している。
• 限界: 本論文は、これらのアブストラクションは後悔（regret）（劣最適な行動を選択することによるコスト）を保持するが、必ずしも抽象化された空間上で標準的な動的計画法（ベルマン・プランニング）を実行して、直接最適な方策を復元することをサポートするわけではないことを注記している。代わりに、これらは方策最適化のためにコントラスト関数 $\tau$ を学習するために使用される。

2.2 差分Qの直交推定

差分$Q$関数（$\tau$）を効率的に推定するために、著者らはR-learnerフレームワーク（Nie et al., 2021; Lewis and Syrgkanis, 2021）に基づいた動的直交エスティメータを提案している。

• 疑似アウトカム（Pseudo-outcomes）: この手法は、ベルマン方程式を再帰的に展開することで疑似アウトカムを構築する。著者らは、展開の深さ $L \in \{0, \dots, T-t\}$ によってパラメータ化された一連のエスティメータを定義している：
  • $L=0$ (One-step): 即時報酬と推定された継続価値 $V_{t+1}$ を使用する。このバリアントは、将来の$Q$関数の推定に依存するが、疑似アウトカムの分散が低い。
  • $L=T-t$ (Full unrolling): 将来の$Q$関数を報酬と将来のコントラストで再帰的に代入することで、将来の価値推定の必要性を排除するが、分散が増大する可能性がある。
• 直交性: 損失関数は、妨げとなるパラメータ（行動方策 $\pi_b$ および疑似アウトカムの条件付き平均）に対してネイマン直交（Neyman-orthogonal）となるように構成されている。これにより、妨げとなる推定器（行動方策や$Q$関数近似器など）の収束速度が遅い場合でも（具体的には $L_4$ ノルムにおいて $o_p(n^{-1/4})$）、エスティメータが $\sqrt{n}$-一致性を達成することを可能にしている。
• クロスフィッティング: 妨げとなる関数とターゲットとなるコントラスト $\tau$ を推定する際の過学習を防ぐために、手法は $K$-fold クロスフィッティングを採用している。

2.3 アブストラクション復元のためのスパース学習

決定中心のアブストラクションを自動的に発見するために、手法はスパース統計学習（具体的には閾値付きLASSO）を直交エスティメータと統合している。

• アルゴリズムは、$\tau$ の線形モデルにおける係数ベクトル $\beta$ のサポートを特定するために、正則化された損失（L1ペナルティ）を最小化する。
• 理論的な保証（Proposition 6）によれば、制限付き固有値条件および「ベータ最小（beta-min）」条件の下で、本手法は高い確率で真の決定関連座標のスーパーセットを復元し、選択された集合の基数は真のサポートサイズの2倍に抑えられる。
• ロバスト性を高めるために、サポートを時間ステップ間で集約する**ホライゾン・ユニオン・スクリーニング（horizon-union screening）**ルールが提案されている。

3. 主な貢献

1. 決定中心のアブストラクションの定義と特徴付け: 本論文は、差分$Q$関数のみを保持するアブストラクションを形式的に定義している。加法的な報酬の下でのグラフィカルな基準を提供し、いつこれらのアブストラクションが、モデル保存型または$Q$保存型のアブストラクションよりも厳密に単純になるかを特定し、行動に無関係な状態ダイナミクスを効果的にフィルタリングできることを示している。
2. 動的直交エスティメータ: 著者らは、逐次的意思決定のためのR-learnerの一般化を開発した。分散低減と将来の価値推定誤差への感受性のトレードオフとなる2つのバリアント（$L=0$ と $L=T-t$）を導入している。彼らは、緩やかな条件下で、このエスティメータが方策評価に対して最適な収束率を達成することを証明している。
3. 構造適応型方策学習: 直交推定をスパース学習（閾値付きLASSO）と組み合わせることで、本論文は、方策最適化の保証が周囲の次元ではなく、決定に関連する状態空間の次元に依存することを示す。これにより、真の決定信号がスパースである高次元の設定において、効率的な学習が可能となる。
4. 理論的保証: 論文は、方策の価値の収束率が、全状態次元ではなく、マージン条件（低ノイズ仮定）と決定中心のサポートの複雑さに依存するという非漸近的境界を提供している。

4. 実験結果

著者らは、シミュレーションデータおよびシミュレータ拡張された実世界のデータ（ライドシェアリング）を用いて、提案手法を検証している：

• 構造への適応: 様々なデータ生成プロセス（報酬フィルタリング、外生・内生、および非線形主効果）を用いた実験において、提案された閾値付きLASSO 差分$Q$エスティメータは、標準的なFitted-Q Evaluation (FQE) および報酬フィルタリングのベースラインを一貫して上回った。提案手法は、全状態ダイナミクスが密または誤設定されている場合でも、スパースな決定構造にうまく適応した。
• スパースサポートの復元: 120個の状態座標（うち3個のみが行動に関連）を持つ線形ガウスMDPにおいて、提案手法は、フル$Q$リッジ回帰と比較して、真の活性座標の復元および方策学習において優れた小サンプル性能を達成した。
• 分散低減: $L=0$ と $L=T-t$ のバリアントを比較すると、$L=0$ (one-step) エスティメータは、より低い分散と方策改善タスクにおける優れた全体的パフォーマンスを示し、理論的なトレードオフ分析を裏付けた。
• ライドシェアリングへの応用: マルコフ的な干渉設定（ライドシェアリング）において、本手法は、コントロール変数を伴わないベースラインと比較して差分$Q$のRMSEを64%、Truncated Policy Gradient (TPG) と比較して34%削減した。また、状態依存の方策改善をより迅速に学習することを可能にした。

5. 意義と主張

本論文は、決定中心のアブストラクションが、環境ダイナミクス全体をモデル化するのではなく、行動を区別するために必要な特定の情報に統計的学習リソースを集中させることで、オフライン強化学習の最適化へのより効率的な経路を提供すると主張している。

• 因果機械学習と強化学習の架け橋: 本研究は、差分$Q$関数を、因果推論における条件付き平均処置効果（CATE）の逐次的アナロジーとして位置づけている。因果機械学習からの直交推定技術を活用することで、逐次的な意思決定問題も、同様の分散低減とロバスト性の特性を享受できることを著者らは示している。
• 実用的な効率性: 本手法は、妨げとなるパラメータ（行動方策や$Q$関数など）に対してブラックボックスのエスティメータを使用しながら、決定に関連する構造がスパースであれば、方策価値に対して高速な収束率を達成することを可能にする。
• 限定的な範囲: 著者らは、決定中心のアブストラクションが、モデルベースのアブストラクションとは異なり、抽象化された空間上での標準的な動的計画法が最適方策を復元することを保証するものではないことを認めている。代わりに、彼らのアプローチは、方策最適化（例：貪欲なステップや局所的な改善を通じて）を駆動するために、コントラスト関数 $\tau$ を直接学習するように設計されている。

要約すると、本論文は、多くの運用上の意思決定問題において、「重要な差」は完全な状態表現よりも大幅に単純であり、直交推定は、限られたオフラインデータからこの差を効率的に学習するための統計的メカニズムを提供すると主張している。