Proximal Action Replacement for Behavior Cloning Actor-Critic in Offline Reinforcement Learning

技術的概要：オフライン強化学習における行動模倣アクター・クリティックのための近接行動置換

1. 問題定義

オフライン強化学習（RL）は、環境とのさらなる相互作用なしに、静的に収集された過去データセットから最適方策を学習することを目的としている。オフライン RL における安定性を確保するための支配的なアプローチは、学習された方策をデータセット内に存在する行動方策に近接させるように制約する行動模倣（BC）正則化である。これは分布シフトの問題を緩和し、エージェントが分布外（OOD）の行動を利用することを防ぐ。

しかし、著者らは根本的な限界を特定している：BC 正則化は性能の天井を課す。オフラインデータセットに最適でない行動が含まれている場合、無差別な模倣は、クリティック（価値関数）がより良い行動を特定している場合であっても、アクターをこれらの最適でない領域へと収束させる。著者らは、これが構造的なトレードオフを生み出していると主張する。つまり、方策は価値関数の改善提案を完全に活用できず、特にトレーニングの後半段階において、主要なボトルネックが「現実性」から「最適性」へと移行する際に顕著となる。

2. 手法：近接行動置換（PAR）

この性能の天井を破りつつトレーニングの安定性を維持するために、著者らは**近接行動置換（PAR）**を提案する。これはプラグ＆プレイ型のトレーニングサンプル置換器である。PAR は、アクターの行動模倣損失に対する監督目標を動的に修正する。ログされたデータセットの行動を盲目的に模倣する代わりに、PAR は安定したターゲット方策によって生成されたより良い行動を選択的に置き換える。この置換は以下の 2 つの主要な制約に従う。

A. 勾配方向認識型行動置換（GDAAR）
このコンポーネントは、いつ行動を置換するかを決定する。

• メカニズム: 与えられた状態 $s$ に対して、ログされた行動 $a$ と、ターゲットアクター $\pi'$ によって生成された候補行動 $\hat{a}$ を、クリティックの行動価値関数 $Q(s, a)$ の局所上昇方向と比較する。
• 指標: 変位ベクトル（$v = a - \pi_\theta(s)$ および $v' = \hat{a} - \pi_\theta(s)$）とクリティックの勾配 $g = \nabla_a Q(s, a)|_{a=\pi_\theta(s)}$ との間のコサイン類似度を計算する。
• 決定ルール: ターゲット行動 $\hat{a}$ がログされた行動 $a$ よりもクリティックの局所上昇方向と一致している場合（すなわち $\cos(g, v') > \cos(g, v)$）、BC 監督目標を $\hat{a}$ に置き換える。それ以外の場合、元の行動 $a$ を保持する。
• 理論的保証: 著者らは、滑らかさの仮定の下で、この選択ルールが 2 次までの誤差において、ワンステップの価値改善がバニラ BC より劣らないことを証明している。

B. ガウス型 OOD 行動重み付け（GSOAW）
このコンポーネントは、どの程度置換を信頼するかを決定し、分布シフトに対する安定性を確保する。

• 動機: 行動を置換すると、方策が行動方策から大きく逸脱し、外挿エラーに起因するクリティックの崩壊（不安定化）を引き起こす可能性がある。
• メカニズム: PAR は補助的な状態価値関数 $V(s)$ を導入し、行動に対する $Q(s, a)$ の不確実性をモデル化するための標準偏差 $\sigma(s)$ を学習する。
• 重み付け: 置換行動には、その Q 値が期待値 $V(s)$ からどれだけ逸脱しているかを、不確実性 $\sigma(s)$ で正規化した重み $w$ が割り当てられる：
  $$w = \exp\left(-\frac{|Q(s, \hat{a}) - V(s)|}{\tau \sigma(s) + \epsilon}\right)$$
• 効果: 生成された行動がデータセットで観測された値の分布から遠い場合（不確実性が高い、または逸脱が大きい）、$w$ は 0 に近づき、実質的に置換を抑制して保守的な行動のアンカーに戻す。これにより、ハードな制約なしに方策の発散を適応的に制限する。

3. 主要な貢献

1. 最適性の理論的特徴付け: 著者らは（定理 3.1）、BC 正則化された目的関数（MSE、KL、MLE 形式を含む）において、データセットに最適でない行動が含まれている場合、最適化の定常点は真の最適方策と一致できないことを形式的に証明した。方策は構造的に模倣と最適性の間で妥協を強いられている。
2. 近接行動置換（PAR）: 既存の BC 正則化アクター・クリティックアルゴリズムと統合可能な、新規のプラグ＆プレイ型モジュール。方策の改善をより高価値の領域へ導く GDAAR と、リスクのある OOD 行動にペナルティを課すことで安定性を維持する GSOAW を組み合わせている。
3. 広範な実証的検証: 多様なオフライン RL ベンチマーク（MuJoCo、AntMaze、FrankaKitchen）で本手法をテストし、複数のベースラインアルゴリズム（BCQ、TD3+BC、IQL、EDP、SSAR）と統合した。

4. 実験結果

• 性能向上: PAR は、テストされたすべてのアルゴリズムとドメインで一貫して性能を向上させた。
  • MuJoCoタスクにおいて、PAR を TD3+BC と組み合わせることで、平均正規化スコアが 75.3 から 87.7 へ（+12.4）向上した。
  • AntMazeにおいて、PAR は IQL を 57.1 から 70.8 へ（+13.7）改善させ、TD3+BC をほぼゼロの性能（0.2 から 2.0）から救い出した。
  • FrankaKitchenにおいて、PAR は TD3+BC を 0.0 から 20.0 へ、IQL を 48.7 から 61.5 へ改善させた。
• 最先端との比較: SSAR + PARの組み合わせは、MuJoCo タスクで最高平均スコア（90.9）を達成し、QIPO（87.4）や他の軌道計画アプローチなどの複雑な最先端手法を上回った。
• アブレーション研究:
  • 行動置換を除去すること（フィルタリングのみ）は、より小さな利益しか生み出さず、より良い行動を導入することが重要であることを確認した。
  • GSOAW を除去すること（「No GSOAW」）は、OOD 不安定性によりミディアム・エキスパートデータセットで深刻な性能低下を引き起こし、不確実性認識型重み付けの必要性を浮き彫りにした。
• 効率性: PAR は既存の勾配計算を再利用し、軽量なベクトル演算のみを追加するため、計算オーバーヘッドは最小限（トレーニング時間の約 3-8% 増加）である。

5. 意義と主張

本論文は、PAR がオフライン RL の構造的限界を克服するための新しい、データ中心の視点を提供すると主張している。純粋な模倣から誘導された方策改善へとパラダイムをシフトさせることで、PAR はエージェントが標準的な行動模倣によって課された性能の天井を超越することを可能にする。

著者らは、PAR のスコープが控えめであることを強調している。

• 現在、局所上昇勾配が計算可能な連続行動空間向けに設計されている。
• 単一ステップ遷移レベルで動作し、本質的に長期的な依存関係を捉えるものではない（ただし、これは将来の課題として記載されている）。
• 既存のアルゴリズムを強化するプラグ＆プレイ型モジュールとして提示されており、オフライン RL フレームワーク全体を置き換えるものではない。

究極的に、この研究は、監督信号そのものを動的に最適化すること、すなわち最適でないデータポイントを、より良く不確実性が制限された代替案に置き換えることで、オフライン RL アルゴリズムは行動模倣が提供する安定性を犠牲にすることなく、著しく高い性能を達成できることを実証している。