When Policies Cannot Be Retrained: A Unified Closed-Form View of Post-Training Steering in Offline Reinforcement Learning

論文要約：再学習不可能なポリシーのための、オフライン強化学習におけるポストトレーニング・ステアリングの統一的閉形式ビュー

1. 背景と問題設定 (Problem)

オフライン強化学習（Offline RL）において、学習済みのポリシー（アクター）をデプロイした後に、目的関数（報酬設定）が変更されるケースは実用上頻繁に発生します。しかし、現実のアプリケーション（ガバナンス、データアクセスの制限、再学習コストの高さなど）では、**「学習済みのポリシーを一切変更（再学習）できない」**という制約（Frozen-actor setting）が存在します。

既存のオフラインRL手法は学習時に保守性を担保しますが、デプロイ後の目的変更には対応できません。本論文は、**「検証済みのポリシーの振る舞いを維持しつつ、新しい目的に向けていかに安全に（保守的に）舵取り（Steering）を行うか」**という問題を扱います。

2. 手法 (Methodology)

著者らは、固定されたオフライン・アクター $\pi_\theta(a|s)$ と、新しい目標 $g$ に条件付けられたデプロイ用事前分布 $\rho_\phi(a|s, g)$ を組み合わせる**「Product-of-Experts (PoE)」**によるリファインメント手法を提案しています。

• PoEリファインメント:
  新しいポリシー $\pi_{\text{ref}}$ を、アクターと事前分布の積として定義します：
  $$\pi_{\text{ref}}(a | s, g) \propto \pi_\theta(a | s)^\alpha \rho_\phi(a | s, g)^{1-\alpha}$$
  ここで $\alpha \in [0, 1]$ は、アクターへの忠実度（保守性）と事前分布への適応度のトレードオフを制御する係数です。
• 閉形式の統一 (Closed-form Unification):
  本論文の重要な理論的貢献として、ガウス分布（Diagonal-Gaussian）を仮定した場合、このPoEによる更新は、KL正則化を用いた更新（$\text{arg min}_\pi \mathbb{E}_\pi[-\log \rho_\phi] + \beta \text{KL}(\pi\|\pi_\theta)$）と、$\beta = \alpha/(1-\alpha)$ という関係において数学的に同一の決定論的ポリシーになることを証明しました。これまで別個のメカニズムとして扱われてきたこれら二つを、一つの統一的な視点で整理しました。

3. 主な貢献 (Key Contributions)

1. 理論的統一: PoEとKL正則化更新が、ガウス分布において決定論的なアクション選択においては等価であることを明示しました。
2. 頑健性の実証 (Graceful Degradation): 事前分布（Prior）が不正確であったり、ノイズが混じっていたりする場合でも、PoEはアクターの分布に「アンカー（固定）」されるため、加法的な混合（Additive Mix）や事前分布のみの適応に比べて、パフォーマンスが急激に崩壊せず、緩やかに劣化する特性（Graceful Degradation）を持つことを示しました。
3. 境界条件の特定 (Actor-Competence Ceiling): ステアリングの成否は、調整パラメータ $\alpha$ よりも、**「元の学習済みアクターがどれだけ有能か」**に依存することを明らかにしました。

4. 実験結果 (Results)

D4RL（MuJoCo環境）を用いた大規模な実験により、以下の結果が得られました。

• HELP/FROZEN/HURT の分類: デプロイ時の目標変更に対し、リファインメントが「役立つ（HELP）」「変化なし（FROZEN）」「かえって悪化する（HURT）」の3パターンに分かれることを示しました。
• アクターの能力限界:
  • medium-replay データセットでは、$\alpha$ を調整することでパフォーマンスが改善するケースが見られました。
  • 一方で、medium-expert のような高性能なデータセットでは、アクターが既に報酬の天井に達しているため、いかなる $\alpha$ を選んでもステアリングは「HURT（悪化）」となる傾向がありました。
  • AntMaze のような探索が必要なタスクでは、Behavior Cloning (BC) で学習したアクターはそもそも成功率がゼロであり、リファインメントを用いても成功率はゼロのままでした。
• 頑健性: 事前分布がランダムなノイズに汚染されても、PoEはアクターのサポート（行動範囲）を逸脱しないため、安全な「セーフティ・レイヤー」として機能することが確認されました。

5. 意義 (Significance)

本研究は、実用的なAIデプロイメントにおける**「安全な適応」の指針を与えています。
「新しい目標に合わせてポリシーを最適化しよう」とするのではなく、「検証済みの安全なポリシーを核（アンカー）として、その範囲内でいかに目的を反映させるか」**というアプローチの有効性を、理論と実験の両面から証明しました。これは、再学習が許されない厳格な規制環境下での強化学習の適用可能性を大きく広げるものです。