技術概要：ISEP – オフライン強化学習のための暗黙的サポート拡張

1. 問題定義

オフライン強化学習（RL）は、オンライン相互作用なしに静的データセットから効果的な方策を学習することを目的としており、ロボット工学や医療などの高リスク分野において重要な能力です。この設定における根本的な課題は、保守性（有効な価値推定を確保するためにデータセットのサポート内に留まること）と楽観性（劣ったデータを超えて一般化し、改善された行動を発見すること）の間の緊張関係です。

既存の手法は通常、厳格なサポート制約を課すことでこれを解決します。具体的には、インサンプル遷移に更新を制限したり、行動を行動方策のサポートに制限したり、過大評価されたクリティック値にペナルティを課したりします。これらの制約は安全性を確保しますが、データセットに疎に表現されている高報酬行動を抑制することが多く、その結果、最適軌道が十分なデータ密度を持たない場合、特に最適方策の発見が妨げられます。さらに、保守的なデータと楽観的な提案との間の標準的な決定論的補間は、しばしばモード崩壊（mode collapse）を引き起こします。これは、方策が異なる有効な行動を平均化し、データ多様体から外れた低価値かつ無効な行動へと収束してしまう現象です。

2. 手法

著者らは、静的データセットを超えて安全に外挿するためのフレームワークである**ISEP（Stochastic Policy optimization による暗黙的サポート拡張）**を提案します。ISEP は、3 つの連動する革新によって機能します。

2.1 補間された価値推定（暗黙的サポート拡張）

データセット分布を硬い境界として扱うのではなく、ISEP は、有効だが疎に表現されている高価値行動を含めるように、価値関数の有効サポートを暗黙的に拡張します。これは、価値ネットワーク $V_\psi$ に対するハイブリッド目的関数によって達成されます。

$$L_V(\psi) = (1 - p)\mathbb{E}_{(s,a)\sim D} [L_\tau^2(\hat{Q}_\theta(s, a) - V_\psi(s))] + p\mathbb{E}_{s\sim D, \hat{a}\sim \pi_\phi} [(\hat{Q}_\theta(s, \hat{a}) - V_\psi(s))^2]$$

• 第 1 項: 非対称期待損失（標準的な IQL 手法）を用いて、実際の遷移に価値推定を固定します。
• 第 2 項: 現在の方策 $\hat{a} \sim \pi_\phi$ からサンプリングされた行動で Q 関数を問い合わせることで、拡張を推進します。
• パラメータ $p$: 安全性（分布内）と探索（方策生成）のバランスを制御するスカラーです。このメカニズムは高報酬領域を「高密度化」し、方策改善のための navigable な経路を作成します。

2.2 確率的行動選択

結果として生じる目的関数の多峰性に対処するため、ISEP は確率的行動選択戦略を採用します。標準的な決定論的補間（勾配の平均化）は、方策を保守的行動と楽観的行動の算術平均へと強制し、しばしば低価値の「多様体外」行動をもたらします。

ISEP は、ベルヌーイゲート $B \sim \text{Bernoulli}(p)$ を用いて各更新ステップでターゲットを確率的に切り替えることでこれを回避します。

$$L_\pi(\phi) = (1 - B) \cdot \mathbb{E}_{(s,a)\sim D}[\omega(s, a) \log \pi_\phi(a|s)] + B \cdot \mathbb{E}_{s\sim D, \hat{a}\sim \pi_\phi}[\omega(s, \hat{a}) \log \pi_\phi(\hat{a}|s)]$$

これにより、方策はそれらの間の低価値の谷へと崩壊するのではなく、明確な有効モード（保守的なデータサンプルまたは楽観的な提案のいずれか）へと押しやられることが保証されます。

2.3 具体化：ISEP-FM

確率的戦略は、複雑な多峰性分布を表現可能な方策を必要とするため、著者らは**条件付きフローマッチング（CFM）とクラスターフリーガイダンス（CFG）**を用いてこのフレームワークを具体化しました。

• フローモデルは最適性トークン $o \in \{\emptyset, 1\}$ に条件付けられます。
• 推論時、行動はガイダンススケール $w$ を用いて速度場を積分することで生成され、ベースの行動分布と高価値の最適性条件との間で動的な制御を可能にします。

3. 理論的保証

本論文は、ISEP が有界な価値誤差を保証することを示す理論分析を提供します。有限サンプルサイズ（期待ギャップ）とデータセットの非最適性という仮定の下、著者らは補間パラメータ $p$ がデータセット特性から導出された特定の境界を満たす場合、以下のことが証明されます。

$$p \leq \frac{\delta_\tau + \delta_{sub}}{V_{max} - V^*(s) + \delta_\tau + \delta_{sub}}$$

このとき、確率 $\eta$（データセットの品質によって制御される）において、学習された価値関数 $\hat{V}(s)$ は最適状態価値 $V^*(s)$ によって上から抑えられます。これにより、$p$ は制御された外挿を可能にしながら破局的な発散を防ぐ厳密な安全性メカニズムとして確立されます。

4. 実験結果

著者らは、Gym-MuJoCo 移動、Adroit ロボットハンド操作、およびキッチンにおける逐次物体操作を網羅するD4RL ベンチマーク上で、ISEP およびそのフローマッチング変種（ISEP-FM）を評価しました。

• 性能: ISEP-FM は複数の環境で最先端の結果を達成しました。例えば、hopper-med-rep において正規化スコア104.5を達成し、QIPO（101.2）や IDQL（82.4）などの強力なベースラインを上回りました。halfcheetah-med においては59.9を記録し、以前の最高値 54.1 を凌駕しました。
• アブレーション研究:
  • パラメータ $p$: 中程度の値（$p \in \{0.3, 0.5\}$）が一貫して最高スコアをもたらしました。過激な値（$p \geq 0.9$）は破局的な発散を引き起こし、「中間的」アプローチの必要性を確認しました。
  • 確率的 vs 決定論的: 確率的選択を決定論的補間に置き換えると、性能が大幅に低下しました。これは、非凸な行動空間において単純な平均化が失敗することを裏付けています。
  • サポート拡張: 可視化（t-SNE）により、ISEP が疎な高報酬領域へと行動サポートを拡張することに成功し、厳密な分布内手法（$p=0$ の IQL など）が密度バイアスにより到達できない領域をカバーしていることが確認されました。

5. 意義と主張

本論文は、データセット分布を硬い境界として扱うオフライン RL 手法の重要な限界を ISEP が克服することを主張しています。分布内データと方策サンプルの間で補間された価値関数を通じて実行可能な行動サポートを暗黙的に拡張することで、ISEP は明示的な制約や複雑な 2 段階パイプラインを必要とせずに高報酬領域を「高密度化」します。

この研究の意義は、以下の点にあります。

1. 安全性と楽観性の間のギャップを埋める: 状態 - 行動空間の疎に表現された領域において、エージェントが優れた行動を発見することを可能にします。
2. モード崩壊の防止: 多峰性方策学習に不可欠な、新しい確率的行動選択戦略を通じて、非凸空間におけるモード崩壊を防ぎます。
3. 理論的安全性保証の提供: 補間パラメータをデータセットの品質に応じて調整する場合、分布外行動を探索しても価値推定が有界に留まることを示します。

著者らは、サポート拡張と現代の生成モデル（フローマッチング）の表現力を組み合わせることで、安全性を犠牲にすることなく、オフライン RL エージェントが優れた行動を効果的に発見できることを結論付けています。