技術的サマリー：SPAR（Support-Preserving Action Rectification）

問題定義

オフライン強化学習（Offline RL）は、環境とのさらなる相互作用なしに固定されたデータセットから最適方策を学習することを目的とする。この分野における根本的な課題は、データセットの有限のカバレッジであり、これにより状態 - 行動空間の広大な領域が制約されないまま残される。既存の方策改善手法は、価値の最大化とデータ分布への適合との間に本質的な矛盾を抱えており、限定的なカバレッジ下では主に 2 つの失敗モードに陥る：

1. インサンプル（インサポート）学習: AWAC や IQL などの手法は、データセット内の行動に対する重み付き回帰として改善を扱う。分布外（OOD）のクエリに対して頑健である一方、その最尤推定のバイアスは高密度領域を強調し、分布の尾部にある稀だが高価値の行動を体系的に抑制する。幾何学的には、これは連続的な行動多様体を破砕し、方策を亜最適領域に閉じ込める可能性がある。
2. 価値誘導最適化: 学習されたクリティックの勾配を昇降させる手法（CQL、Diff-QL など）は、しばしば適合 - 最適化勾配の矛盾に悩まされる。オフライン環境下では、クリティックはデータ近傍を超えて外挿する必要があり、これにより偽の高価値ピークが生じる。価値勾配にはしばしば大きな法線成分が含まれており、これが行動をデータ多様体から外れて実行不可能な敵対領域へと押しやることで、壊滅的な忘却や OOD 崩壊を引き起こす。

手法：SPAR フレームワーク

著者らは、Support-Preserving Action Rectification（SPAR）を提案する。これは、グローバルな方策改善を、凍結された純粋な行動模倣（BC）方策にアンカーされた局所的な残差補正として再定義するフレームワークである。このアプローチは、適合と改善の目的を異なる段階に分離する。

1. 3 段階パイプライン

• ステージ I：保守的アンカー。ベース方策（$\pi_{base}$）を、利得重み付け目的関数を避け、データセット $D$ 上の純粋な行動模倣（Behavior Cloning）で訓練し、グローバルな多様体のトポロジーを捉えるようにする。同時に、厳密なインサンプル期待値回帰と過大評価バイアスを防ぐための下限信頼区間（LCB）を用いて、保守的なクリティックアンサンブル（$Q_{rob}$）を訓練する。この段階の後に、$\pi_{base}$と$Q_{rob}$は凍結される。
• ステージ II：サポート保持残差学習。最終的な方策は$\pi(s) = \pi_{base}(s) + \Delta_\theta(s, \pi_{base}(s))$としてパラメータ化され、ここで$\Delta_\theta$は残差方策である。これにより、最適化が全行動空間からアンカー周辺の局所領域へと分解され、仮説空間の体積が収束する。
  • 残差モデリング: 単峰性残差の場合、決定論的リグレータ（SPAR-MLP）を使用する。多峰性残差の場合、条件付き変分オートエンコーダ（SPAR-CVAE）が分布をモデル化する。
  • 潜在自己模倣（LSI）: 適合 - 改善勾配の矛盾を解決するため、SPAR は導関数不要のメカニズムを導入する。クリティックに対する勾配降下ではなく、残差方策から潜在候補をサンプリングし、それらを行動にデコードし、保守的な価値推定値で重み付けを行い、その重み付き経験分布に向けて方策を回帰させる。これにより、更新が残差多様体内に留まり、多様体外へのドリフトを回避する。
• ステージ III：デプロイ時補正。推論時、ベースラインを超える予測改善が特定の絶対値および相対値しきい値を超えた場合のみ残差行動を適用し、保守的な安全フィルターとして機能する。

2. 理論的洞察

本論文は以下のことを示す理論的証明を提供する：

• 探索空間の収束: 残差の大きさの$(1-\rho)$-quantile によって定義される局所近傍に改善を制限することで、探索空間のカバリング数を多項式 - 対数的に減少させ、サンプル効率を向上させる。
• 勾配矛盾の排除: 理論的分析（命題 3.3）は、潜在自己模倣が更新を残差多様体内の弦に制限することを示している。これは、標準的な勾配降下による線形ドリフトと比較して、2 次ドリフト抑制を実現し、標準的な価値勾配による多様体法線方向のドリフトを実質的に排除する。

主な貢献

1. 理論的定量化: 著者らは、残差学習によって達成される方策探索空間の減少を定量化し、クリティック誘導と適合目的間の勾配矛盾を形式的に特徴づけた。
2. SPAR フレームワーク: 適合と改善を分離する新規フレームワーク。構造的安定性のために凍結された BC アンカーを利用し、潜在自己模倣を用いて潜在空間における重み付き回帰を通じて局所方策改善を行うことで、多様体制約と探索のバランスを取る。
3. 実証的検証: D4RL ベンチマークにおける広範な評価により、SPAR が亜最適ベースラインから有意な改善を抽出し、多様な領域（移動、操作、スパース報酬ナビゲーション）において最先端のパフォーマンスを達成することが示された。

実験結果

本論文は、MuJoCo 移動、AntMaze ナビゲーション、Adroit 操作の 3 つの領域における D4RL ベンチマークで SPAR を評価した。

• 性能: SPAR のバリアント（単峰性用 SPAR-MLP、多峰性用 SPAR-PROJ）は、勾配ベース手法（TD3+BC、CQL、Diff-QL）やインサンプル手法（IQL、AWAC）を含む強力なベースラインを一貫して上回った。
  • MuJoCo Medium-Replayでは、SPAR-MLP はインサンプル手法を大幅に上回り、計算オーバーヘッドが低いにもかかわらず複雑な生成モデルと同等かそれ以上の性能を達成した。
  • MuJoCo Medium-ExpertおよびAdroitタスクでは、SPAR-PROJ は多峰性の複雑さにより決定論的手法が失敗する状況でも、最適性能を回復することに成功した。
  • AntMaze（スパース報酬）では、SPAR-PROJ は頑健な回復能力を示し、方策勾配誘導やインサンプル手法を上回った。
• メカニズム分析:
  • 勾配矛盾: 指標は、SPAR-PROJ が勾配ベースのベースラインと比較して、適合勾配への更新ベクトルの方向射影（$D_D$）および適合性能の実際の劣化（$V_{SD}$）を数桁減少させることを示している。
  • サポート保持: 可視化は、SPAR-PROJ の行動が経験的データサポートの近くに留まること（q95 kNN サポート距離比 0.98）を確認し、一方勾配ベース手法は大幅に逸脱している（比 6.32）ことを示した。
  • アブレーション研究: 潜在自己模倣またはステージ III の補正を除去すると性能が低下し、完全なパイプラインの必要性が確認された。この手法は、特にスパース報酬環境において、誘導重みの変動に対して頑健であることを示した。

意義と主張

本論文は、SPAR が適合と改善の矛盾する目的を分離することで、既存のオフライン RL パラダイムの核心的な幾何学的失敗モードに対処すると主張する。凍結された行動模倣方策に最適化をアンカーし、収束した残差空間における潜在自己模倣を通じて改善を行うことで、SPAR は以下の点を実現する：

1. 壊滅的な忘却と OOD 崩壊を防止する。
2. 価値勾配が方策をデータ多様体から押しやる「法線ドリフト」の病理を排除する。
3. 複雑な生成バックボーンを全タスクに必要とせず、単峰性および多峰性の両方の残差幾何学に適応する統合アプローチを提供する。

著者らは、SPAR の有効性が凍結アンカーと保守的な価値推定の品質に依存するものの、多様なタスク複雑性において最先端の結果を達成する、頑健で理論的に裏付けられたオフライン方策改善メカニズムを提供すると結論づけている。