技術的サマリー：BiTrajDiff

問題定義

オフライン強化学習（RL）は、さらなる環境との相互作用なしに、静的で事前に収集されたデータセットから効果的な方策を学習することを目的としています。この分野における主要な課題は、学習された方策がログデータに存在しない状態 - 行動のペアに遭遇する「分布外（OOD）」問題であり、これにより外挿誤差や価値の過大評価が生じます。これを緩和するため、既存の手法はしばしば保守的な制約を課しますが、これは意図せずデータセットの構造的バイアスに学習を制限し、行動の多様性と一般化を制限してしまいます。

最近のデータ拡張（DA）アプローチは、特に拡散モデルを用いた生成モデルによって新しい遷移を合成することで、この問題に対処しようと試みています。しかし、現在の DA 手法は、主にデータセット内の状態に条件付けられた単一ロールアウトパラダイム（前方 - 未来または後方 - 歴史のいずれか）内で動作しています。その結果、これらの手法はデータセットの元の軌道レベルの接続性を維持する傾向にあります。既存の行動パターン内での局所的な変異を生成しますが、元のデータに交差するドアの軌道が存在しないナビゲーションタスクなど、2 つの独立した部屋を繋ぐような、異なる非接続の行動パターン間の接続を回復することはできません。

手法

著者は、以前に非接続であった行動パターンを繋ぐ軌道を合成することにより、明示的にグローバルな軌道レベルの接続性を回復するように設計された、新しい DA フレームワークBiTrajDiff（双方向軌道拡散）を提案します。

コアフレームワーク

BiTrajDiff は、軌道の合成を 2 つの独立しながら相補的な拡散プロセスに分解します：

1. 前方 - 未来拡散：中間状態から開始する未来の状態系列の生成をモデル化します。
2. 後方 - 歴史拡散：同じ中間状態で終了する過去の状態系列の再構成をモデル化します。

両方のプロセスは、オフラインデータセットからサンプリングされた同じ中間アンカー状態（$s_t$）と、目標累積リターン信号に条件付けられます。

主要コンポーネント

1. 双方向拡散学習：

   • 2 つの独立した拡散モデル（前方用$\epsilon_{\theta_f}$、後方用$\epsilon_{\theta_b}$）がオフラインデータセット上で学習されます。
   • 前方モデルは、初期状態$s_t$と目標リターン$R_f$に条件付けられて、軌道$\{s_t, \dots, s_{t+H-1}\}$を生成します。
   • 後方モデルは、終端状態$s_t$と目標リターン$R_b$に条件付けられて、軌道$\{s_{t-H+1}, \dots, s_t\}$を生成します。
   • 学習には、条件付きおよび無条件生成を処理するための Classifier-Free Guidance（CFG）が利用され、累積リターンが主要な条件として機能します。

2. 双方向軌道生成と継ぎ接ぎ：

   • 推論中、アンカー状態$s_t$がデータセットからサンプリングされます。
   • 前方モデルが未来セグメントを生成し、後方モデルが歴史セグメントを生成します。
   • これらのセグメントは、共有されたアンカー状態$s_t$で継ぎ接ぎされ、完全な双方向軌道を形成します：$\hat{\tau}_s(s_t) = \{ \hat{s}_{t-H+1}, \dots, \hat{s}_{t-1}, s_t, \hat{s}_{t+1}, \dots, \hat{s}_{t+H-1} \}$。
   • この継ぎ接ぎメカニズムにより、元のデータセットでは到達不可能または非接続であった状態を繋ぐ軌道の合成が可能になります。

3. 軌道完成：

   • 拡散モデルは状態系列を生成するため、状態遷移（$s_t, s_{t+1}$）が与えられた際に行動（$a_t$）を予測するために逆ダイナミクスモデル（IDM）が使用されます。
   • リワードモデル（RM）は、状態 - 行動ペアに対してリワード（$r_t$）を予測します。
   • これにより、行動とリワード信号で軌道が完成し、完全な遷移タプルが形成されます。

4. 双方向軌道フィルタリング：
   拡張データの品質を確保するため、2 段階のフィルタリングメカニズムが適用されます：

   • OOD フィルタ：Isolation Forest を使用して、元のデータ分布から著しく逸脱する軌道（新奇性検出）を検出・除去します。
   • Greedy フィルタ：最高累積リターンに基づいて上位の軌道を選択し、拡張データが方策を高パフォーマンスな行動へと導くことを保証します。

主要な貢献

1. 限界の特定：著者は、単一ロールアウト DA 手法が元の軌道レベルの接続性を維持し、異なる行動パターン間の接続の探索に失敗していることを特定しました。
2. 双方向合成：共有アンカーに条件付けられた前方および後方プロセスに生成を明示的に分解する BiTrajDiff の提案により、非接続の行動モードを繋ぐ軌道の合成が可能になりました。
3. 実証的検証：D4RL ベンチマークにおける広範な実験により、BiTrajDiff が、IQL、TD3BC、CQL、DT などの様々なオフライン RL バックボーンにおいて、Synther、DiffStitch、RTDiff などの高度な DA ベースラインを一貫して上回ることが示されました。

実験結果

本論文は、Locomotion、ナビゲーション（Maze2D、AntMaze）、操作（Kitchen）タスクを網羅する D4RL ベンチマーク上で BiTrajDiff を評価しました。

• 性能向上：BiTrajDiff は、ほとんどのタスクとアルゴリズムで最高平均リターンを達成しました。例えば、Locomotion タスクでは、一方向のベースラインを一貫して上回ります。Maze や Kitchen のようなスパースリワード環境では、データの品質が重要であり、BiTrajDiff は安定性と性能において顕著な改善を示しました。
• アブレーション研究：
  • 方向性：BiTrajDiff（双方向）は、前方のみおよび後方みのバリアントを常に上回り、グローバルな接続性を回復するために過去と未来のセグメントの両方を継ぎ接ぎする必要性を裏付けました。
  • フィルタリング：OOD フィルタと Greedy フィルタの組み合わせは、単独で使用する場合やフィルタを使用しない場合に優れており、多様性と信頼性のバランスが取れていることが示されました。
  • 拡張比率：元のデータに対する拡張データの比率が 30%（$\sigma=30\%$）の場合、最適な安定性と性能が得られます。過度の拡張（100%）はノイズを導入し、性能を低下させます。
• n-step TD 推定量：BiTrajDiff は、n-step ホライズンが増加してもベースラインに対する性能優位性を維持しており、生成された軌道は他の DA 手法からのものよりも高品質で、基礎となるダイナミクスとより整合的であることを示唆しています。
• 多様性対精度：可視化指標（Dynamic Error および L2 距離）は、BiTrajDiff が元のデータからの L2 距離が大きい（つまり、元の分布に過剰適合する単一方向手法とは異なり）軌道を生成し、競争力のある動的精度を維持しながら、著しく高い多様性を生み出していることを示しています。

意義と主張

本論文は、BiTrajDiff がオフライン RL データ拡張における根本的な限界、すなわち単一プロセスのロールアウトが非接続の行動パターンを繋ぐことができないという問題を解決していると主張しています。共有アンカー状態を中心に前方 - 未来および後方 - 歴史の軌道を明示的にモデル化し継ぎ接ぎすることにより、BiTrajDiff は元のデータセットに欠けていたグローバルな軌道レベルの接続性を回復します。

著者は、このアプローチにより、物理的な整合性を犠牲にすることなく、オフライン RL アルゴリズムが多様な行動パターンセットから学習できるようになり、幅広いタスクとアルゴリズムで大幅な性能向上がもたらされると主張しています。この研究は、生成データ拡張を通じて保守的なオフライン学習の構造的バイアスを克服する一歩として提示されています。今後の研究としては、より広範な行動パターンを持つマルチタスク設定における双方向生成の探求が予定されています。