Adaptive Scaling of Policy Constraints for Offline Reinforcement Learning

以下は、ICLR 2026 で会議論文として発表された「Adaptive Scaling of Policy Constraints for Offline Reinforcement Learning（ASPC）」に関する詳細な技術的サマリーです。

1. 問題定義

オフライン強化学習（RL）は、環境とのさらなる相互作用なしに、固定された事前収集データセットから最適な方策を学習することを目指します。この設定における主要な課題は分布シフトです。学習された方策がデータセットに存在しない状態 - 行動対を訪問することで、Q 値の過大評価や方策の崩壊を引き起こします。

これを緩和するため、既存の手法は学習された方策を行動方策（Behavior Cloning, BC）に近づけるために方策制約（例：TD3+BC における制約）を課します。しかし、これらの手法は RL 目的と BC 目的のバランスを取る制約スケール因子（$\alpha$ と表記）に依存しています。

• 核心的な課題: $\alpha$ の最適値は、タスクやデータセットの品質（例：ランダムデータ対エキスパートデータ）によって大きく異なります。
• 現在の限界:
  • 静的なチューニング: 最先端の手法は、多くの場合、データセットごとの微細なハイパーパラメータチューニングを必要とし、これは時間がかかり、実世界での展開には非現実的です。
  • 固定された適応手法: 既存の適応アプローチは、しばしば局所的に行動を再重み付けするか、グローバルなトレードオフを捉えられない固定設定を使用するため、細かく調整されたベースラインと比較して最適ではない性能に留まります。

本論文は、単一のハイパーパラメータ設定を用いて多様なデータセットにわたって堅牢かつ最先端の性能を達成する手法の必要性に対処します。

2. 手法：方策制約の適応的スケーリング（ASPC）

ASPC は、制約スケール因子 $\alpha$ を学習可能なパラメータとして扱い、バイレベル最適化プロセスを通じてトレーニング中に動的に調整する2 階微分可能なフレームワークです。

A. コアフレームワーク

この手法は、TD3+BC の目的関数に基づいており、総損失 $L$ は以下の通りです：
$$L = \alpha L_{RL} + L_{BC}$$
$\alpha$ を静的に保つ代わりに、ASPC はメタ学習の原理を用いてこれを最適化します：

1. 内部更新（方策最適化）:
   方策パラメータ $\theta$ は、固定された $\alpha$ に対して内部目的 $L_{inner}$ を最小化するように勾配降下法で更新されます。
   $$L_{inner}(\theta; \alpha) = \mathbb{E}[-\lambda(\alpha) Q(s, \pi_\theta(s)) + \|\pi_\theta(s) - a\|^2]$$
   ここで、$\lambda(\alpha)$ は BC 損失のスケールに基づいて RL 項を正規化します。

2. 外部更新（スケール因子最適化）:
   スケール因子 $\alpha$ は、安定したトレーニングと性能向上を保証する外部損失 $L_{outer}$ を最小化するように更新されます。外部損失は、3 つの協調的な成分で構成されます：

   • $L_1$（バランス項）: 標準的な TD3+BC の目的関数を反映し、Q 値の最大化と BC 損失の最小化のバランスに向けて $\alpha$ を誘導します。
   • $L_2$（Q 値の安定性）: 過剰に楽観的な更新を防ぐために、期待 Q 値の急激な増加（$\Delta Q^2$）にペナルティを課します。
   • $L_3$（BC 変動制約）: BC 損失の変動（$\Delta L_{BC}$）を制約します。この項は、Q 値の変動が大きい場合に方策が行動方策から過度に逸脱するのを防ぐために重要です。

   $\alpha$ の更新には、内部更新パラメータの $\alpha$ に関する勾配である2 階微分が利用されます：
   $$\alpha \leftarrow \alpha - \eta_\alpha \frac{\partial L_{outer}(\tilde{\theta}(\alpha))}{\partial \tilde{\theta}} \frac{\partial \tilde{\theta}(\alpha)}{\partial \alpha}$$

B. 理論的保証

著者らは以下の理論的解析を提供し、証明しています：

• 相互制約: BC 損失の変化（$\Delta L_{BC}$）と Q 値の二乗変化（$(\Delta Q)^2$）は、互いに制約し合います。
• 性能下限: 特定の仮定（リプシッツ連続性）の下では、Q 値の増加が BC 損失の変動を補償する場合、ASPC 更新は方策性能の非減少（$J(\pi_{t+1}) \geq J(\pi_t)$）を保証します。
• 収束性: この手法は漸進的に最適性のギャップを減少させ、残りのギャップは行動方策と最適方策の不一致によって制御されます。

C. 実装詳細

• バックボーン: TD3+BC の上に実装されています。
• アーキテクチャ: Q 値の過大評価を軽減するために、3 つの隠れ層と LayerNorm を備えた「ロバストなクリティック」を使用します。
• 効率性: 2 階勾配は計算コストが高いものの、ASPC は $\alpha$ の更新頻度（$k_\alpha$）をアクターの更新頻度（$k_\pi$）よりもはるかに低く設定することで、実行時間のオーバーヘッドを最小限に抑えています。

3. 主要な貢献

1. 新規フレームワーク: 2 階微分最適化を用いて方策制約のスケールを動的に調整する最初の手法である ASPC の導入。これにより、データセットごとのハイパーパラメータチューニングの必要性が排除されました。
2. 理論的解析: 性能向上の保証と、Q 値の安定性と方策の逸脱との間の相互制約関係の厳密な証明。
3. 汎用性: ASPC が TD3+BC に限定されず、他のオフライン RL アルゴリズム（IQL, CQL, Diffusion-QL, FQL）にも統合可能であり、それらの性能を向上させることを実証しました。
4. 最先端の結果: 単一のハイパーパラメータ設定を用いて、4 つの D4RL ドメイン（MuJoCo, Maze2d, AntMaze, Adroit）の 39 のデータセットと OGBench ベンチマークにおいて優れた性能を達成しました。

4. 実験結果

• ベンチマーク性能: D4RL ベンチマークにおいて、ASPC は平均正規化スコア77.9を達成し、すべてのベースラインを上回りました。
  • データセットごとのチューニングを必要とする手法（例：IQL, ReBRAC）や他の適応手法（wPC, A2PR）を凌駕しました。
  • ベースライン（固定 $\alpha$ の TD3+BC）に対して平均 35% の改善を示しました。
• 適応性:
  • データセット品質: ASPC は、高品質なエキスパートデータセットでは $\alpha$ を低下させ（BC を優先）、低品質なランダムデータセットでは $\alpha$ を上昇させます（RL 探索を優先）。
  • タスクダイナミクス: タスクの特性に基づいて $\alpha$ を適応させます（例：AntMaze のスパースな報酬対 MuJoCo の密な報酬）。
• アブレーション研究:
  • 動的調整を除去し（$\alpha$ を最終収束値に固定）、性能が大幅に低下したことから、単に良い固定値を見つけることではなく、動的調整が不可欠であることが証明されました。
  • 3 つの損失成分（$L_1, L_2, L_3$）は、異なるドメインでの最適性能のためにすべて必要でした。
• 効率性: ASPC は標準的な TD3+BC に対して計算オーバーヘッドを最小限にしか増大させず、$\alpha$ の更新間隔を 30 ステップに設定した場合、実行時間はベースラインと同等でした。

5. 意義

本論文は、ハイパーパラメータ感度問題を解決することで、オフライン RL の分野に重要な貢献をしています。

• 実用性: 広範なハイパーパラメータチューニングの障壁を取り除き、データセットの品質が変動し、チューニングリソースが限られている実世界的应用（例：医療、ロボティクス）においてオフライン RL をより実行可能にします。
• 堅牢性: 実時間のトレーニングシグナルに基づいて探索（RL）と活用（BC）を動的にバランスさせることで、ASPC は静的な手法よりも安定した信頼性の高い学習経路を提供します。
• 一般化可能性: このフレームワークが価値ベースから拡散ベースまで多様なアルゴリズムを強化できる能力は、オフライン方策制約を安定化させるための普遍的なメカニズムを示唆しています。

結論として、ASPC は「静的な制約チューニング」から「適応的制約学習」への転換を表しており、多様で困難な環境におけるオフライン強化学習のための堅牢かつ高性能な解決策を提供します。