技術要約: RS-Diffuser

問題提起

オフライン強化学習（RL）は、固定されたデータセットから意思決定ポリシーを学習することを目指しており、これは、オンラインでの探索がコストの高い、あるいは危険を伴う医療やロボティクスのような安全性が極めて重要な領域において不可欠な能力である。しかし、既存のオフラインRL手法は、主に2つの主要な課題に直面している：

1. 分布シフト（Distributional Shift）: ポリシーが行動データのサポート範囲外で行動してしまい、価値推定が信頼できなくなる現象。
2. リスク中立性（Risk Neutrality）: 現在の拡散ベースのプランナーやオフラインRL手法の多くは、期待リターンを最適化する。これらはリターンの裾（テイル）の挙動を明示的にモデル化できておらず、稀に発生するが壊滅的な結果に対して脆弱である。安全性に敏感な設定において、期待リターンが同等であっても、ダウンサイドのリスクが劇的に異なる2つの行動が存在する場合があるが、標準的な手法はこの区別を見落としている。

分布型RL（Distributional RL）は、リターンの完全な分布をモデル化するための原理的な手法（Value-at-RiskやConditional Value-at-Riskなどの指標を可能にする）を提供するが、既存のリスク感受性を持つオフライン手法は、主にアクター・クリティック構造に基づいている。拡散ベースのプランナーに、明示的かつ制御可能なリスク感受性を組み込む方法を探索した研究は不足している。

手法: RS-Diffuser

著者らは、拡散ベースの軌跡生成と分布型価値学習を統合した、リスク感受性を持つオフライン拡散プランニングフレームワークであるRS-Diffuserを提案する。このフレームワークは、オフラインデータセット上で学習される3つのコアコンポーネントで構成されている：

1. 状態軌跡拡散プランナー（State Trajectory Diffusion Planner）:
   状態と行動のペアを直接生成する代わりに、このプランナーは将来の状態の条件付き分布 $p_\theta(x_0 | s_t)$ をモデル化する。ここで、$x_0$ は将来の状態のシーケンス $(s_{t+1}, \dots, s_{t+H})$ を表す。これにより、長期的なプランニングと低レベルの行動生成を分離している。このモデルは、標準的なデノイジング目的関数（DDPM）を用いて、状態シーケンスに対するノイズ汚染の逆転プロセスを学習する。

2. 逆ダイナミクス行動デコーダー（Inverse Dynamics Action Decoder）:
   計画された状態遷移を実行可能な行動へとマッピングするために、決定論的なデコーダー $f_\psi$ が教師あり回帰を通じて別途学習される（$a_t = f_\psi(s_t, \hat{s}_{t+1})$）。これにより、拡散モデルは実行可能な状態進化に集中でき、デコーダーが行動の復元を担う。

3. モンテカルロ分布型価値クリティック（Monte Carlo Distributional Value Critic）:
   これがリスク感受性のための核心的な革新である。単一の期待リターンを予測する標準的なクリティックとは異なり、このクリティックは候補となるプランのフルリターン分布をモデル化する。

   • 学習: このクリティックは、ベルマン・ブートストラップではなく、モンテカルロ・スーパービジョンを用いた**分位点回帰（Quantile Regression）**を使用して、与えられたノイズを含むプラン $x_k$、現在の状態 $s_t$、および拡散ステップ $k$ に対するリターンの $N$ 個の分位点を予測する。
   • 損失: クリティックは、リターン分布を正確に近似するために分位点Huber損失を用いて最適化される。

リスク誘導推論（Risk-Guided Inference）:
RS-Diffuserの主要な運用上の特徴は、再学習なしに推論時にリスク嗜好を制御できる能力である。

• リスク感受的な目的関数 $\rho_\alpha$（例：リスク回避のためのCVaR、またはリスク追求のための上側テイル平均）が、予測された分布型クリティックの分位点から計算される。
• 拡散デノイジングプロセス中に、ガイダンス信号が注入される。ノイズを含む軌跡に対するリスク目的関数の勾配 ($g_k = \nabla_{x_k} \rho_\alpha$) が、望ましいリスクプロファイルを満たすように生成を誘導するために使用される。
• リスクパラメータ $\alpha$ または選択する関数（CVaR vs. VaR）を調整することで、単一の学習済みモデルを用いて、リスク回避的、リスク中立的、またはリスク追求的な振る舞いをシームレスに切り替えることができる。

主な貢献

本論文は、以下の3つの主要な貢献を述べている：

1. フレームワークの統合: 分布型価値モデリングを組み込むことで、テイルを考慮した意思決定を可能にする、拡散プランニングを用いたオフラインRLフレームワークの導入。
2. 柔軟なガイダンス: 分布型クリティックを誘導型拡散サンプリングに統合する方法を示し、モデルの再学習を必要とせずに、推論時に柔軟なリスク嗜好の制御を提供することのデモンストレーション。
3. 経験的な優位性: RS-Diffuserが既存の最先端モデルをリスク感受性ベンチマークにおいて上回り、全体的なリターンと最悪ケースの堅牢性の両方において優れた性能を達成したという実験的証拠。

実験結果

著者らは、Risk-Sensitive D4RL（確率的なペナルティを伴うMuJoCoタスク）とRisky Robot Navigation（PointMassおよびAnt環境における危険ゾーン）の2つのベンチマークでRS-Diffuserを評価した。

• Risk-Sensitive D4RL: RS-Diffuserは、Half-Cheetah、Walker2D、HopperのMedium、Expert、Mixedデータセットにおいて最高の全体的パフォーマンスを達成した。これは、リスク中立的なベースライン（CQL, Diffusion-QL）およびリスク感受性のあるベースライン（OWCPG, ORAAC, CODAC, UDAC）の両方を上回った。特筆すべきは、平均リターンとConditional Value-at-Risk (CVaR$_{0.1}$) の両方を改善したことであり、これは平均的なシナリオと最悪のシナリオの両方において優れた性能を示している。
• Risky Robot Navigation: Risky AntおよびRisky PointMassタスクにおいて、RS-Diffuserは安全違反をゼロまたはほぼゼロに抑えつつ、最高のリターンを達成した。本手法は、危険なショートカットを取る（リスク中立的）、あるいはリターンの最適化に失敗する（他の手法）といった問題に対し、安全性とパフォーマンスのバランスをうまく取ることができた。
• アブレーション研究: リスクパラメータ $\alpha$ およびリスク尺度（VaR vs. CVaR）を変化させた実験により、本手法が平均リターンと堅牢性の間のスムーズなトレードオフを可能にすることが確認された。デフォルトの設定においては、CVaRベースのガイダンスが最良のトレードオフを提供することが判明した。

意義と主張

本論文は、RS-Diffuserが、生成的な拡散パラダイム内で制御可能なリスク感受性を可能にすることで、オフラインRLにおける重要なギャップを埋めるものであると主張している。異なるリスクプロファイルのために個別のモデルを訓練したり、固定されたリスク目的関数に依存したりする必要がある従来の手法とは異なり、RS-Diffuserは単一のモデルで、推論時に多様な安全要件に適応できる。

著者らは、この研究を、柔軟で信頼性の高い意思決定を実現するためのステップとして位置づけている。拡散モデルの表現力（複雑でマルチモーダルな軌跡のモデリング）と、分布型価値ガイダンス（テイルを考慮した評価）を組み合わせることで、平均報酬の最大化と同じくらい壊滅的な結果を避けることが重要となる実世界の展開において、堅牢なフレームワークを構築できると論じている。今後の展望として、このアプローチを高次元のロボティクスタスクや多目的の安全制約へと拡張することが示唆されている。