🤖 machine learning

Offline Reinforcement Learning with Generative Trajectory Policies

本論文は、連続時間 ODE ベースの軌道解マップを学習することで、遅い拡散モデルと高速な整合性モデルの間のギャップを埋める統合されたオフライン強化学習フレームワークである生成軌道方策（GTPs）を導入し、D4RL ベンチマークにおいて最先端の性能を達成し、特に AntMaze タスクにおいて完璧なスコアを記録した。

原著者： Xinsong Feng, Leshu Tang, Chenan Wang, Haipeng Chen

公開日 2026-05-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xinsong Feng, Leshu Tang, Chenan Wang, Haipeng Chen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

複雑な迷路を歩く方法をロボットに教えることを想像してみてください。他のロボットがこのタスクに挑戦する巨大なビデオライブラリは手元にあるものの、新しいロボットを実際に世界で練習させることはできません。このロボットは、これらの古いビデオを見ることだけで完全に学習しなければならないのです。これがオフライン強化学習の課題です。

問題は、これらのビデオには移動のさまざまな方法が映し出されていることです。ロボットが左に曲がることもあれば、右に曲がることもあり、つまずくこともあれば、完璧に滑らかに動くこともあります。単純なロボット脳は混乱し、これらの動きを「平均化」しようとして、結果としてロボットがその場でくるくると回るだけの状態になってしまうかもしれません。ロボットには、これらすべての異なる可能性を同時に理解できる脳が必要です。

古いジレンマ：遅い vs 愚か

過去、研究者たちはこれらの「賢い脳」を構築するために主に 2 種類のツールを使用しようとしましたが、苛立たしいトレードオフに直面しました。

遅い芸術家（拡散モデル）： 空白のキャンバスに静的なノイズが覆いかぶさった状態から始め、一歩一歩、徐々に洗練させて完璧な画像が現れるまで描き上げる芸術家を想像してください。この方法は、複雑な詳細や多様なスタイル（マルチモーダルな行動）を捉えるのに非常に優れています。しかし、1 枚の絵を描くのに非常に時間がかかります。ロボットが 1 秒ごとに意思決定を行う必要がある場合、この遅いプロセスは実用的すぎるほど遅すぎます。
速いスケッチャー（一貫性モデル）： 次に、最終的な絵を 1 回か 2 回の素早いストロークで描こうとするスケッチャーを想像してください。これは信じられないほど速いですが、洗練のステップをスキップするため、描画はしばしばぼやけていたり、間違っていたりします。ロボットは素早く動きますが、世界の理解が単純すぎるため、壁に衝突してしまいます。

新しい解決策：「生成軌道方策（GTP）」

この論文の著者であるフェン・シンソン氏と共同研究者たちは言います。「なぜ遅いものと速いものの間で選ばなければならないのでしょうか？両方であるロボット脳を構築しましょう。」

彼らは生成軌道方策（Generative Trajectory Policies: GTP）と呼ばれる新しい手法を導入しました。その仕組みを理解するために、ロボット的运动を点 A から点 B への単一のジャンプではなく、その旅の連続した映画として想像してみてください。

統合された視点： 著者たちは、「遅い芸術家」と「速いスケッチャー」の両方が、実際には異なる角度から同じ映画を見ていることに気づきました。彼らはどちらも、ロボットが混沌（ノイズ）から秩序（完璧な行動）へと移動する方法を記述する数学的方程式（常微分方程式、ODE）を解こうとしています。
マジックトリック： 映画をフレームごとに視聴する（遅い）か、即座に結末を推測する（速い）のではなく、GTP は映画全体のマップを一度に学習します。それは「解のマップ」を学習し、何ステップかかろうとも、ノイズのどの点から完璧な行動へ至るかを正確に示すのです。

どのように機能させたか（2 つのハック）

この「映画全体のマップ」をゼロから学習するのは困難です。ロボットが早期に誤った推測をすると、混乱し、より悪い推測を繰り返し続けてしまいます。著者たちは、これを現実的なものにするために 2 つの巧妙な「ハック」を追加しました。

「チートシート」（スコア近似）：
通常、映画のマップを学習するには、ロボットは作業を確認するために映画全体を何度もシミュレーションする必要があります。これは計算コストがかかります。
- アナロジー： 正しい音階を当てたか確認するために、交響曲全体を演奏して曲を学ぼうと想像してください。著者たちは、「いいえ、楽譜を見ればよいのです」と言います。彼らは、映画全体をシミュレーションすることなくロボットの進捗を確認するための、シンプルで直接的な公式（「チートシート」）を見つける方法を見つけました。これにより、トレーニングが高速かつ安定し、ロボットが混乱の渦に巻き込まれるのを防ぎます。
「コーチのホイッスル」（価値駆動ガイダンス）：
単にビデオをコピーするだけでは不十分です。ロボットは、ビデオ内のものよりも優れた動きを学ぶ必要があります。
- アナロジー： コーチがビデオライブラリを見ていると想像してください。ビデオ内のロボットが高得点につながる動きをしたとき、コーチはホイッスルを吹き、「それをもっとやれ！」と言います。ロボットが悪い動きをしたときは、「それをやるな」と言います。
- 著者たちは、「クリティック（コーチ）」がロボットのトレーニングを観察し、教訓に重み付けを行うシステムを構築しました。これにより、ロボットはビデオ内の高得点の動きに特に注意を払うよう指示され、単なるコピーを超えて改善することを効果的に学びます。

結果

チームは、2 足歩行や複雑な迷路のナビゲーション（AntMaze）などのタスクを含む、有名な一連の課題であるD4RLで、この新しいロボット脳をテストしました。

結果： GTP はほぼすべての他の手法を凌駕しました。実用的であるのに十分な速さでありながら、最も困難で多段階の難問を処理するのに十分な賢さを持っていました。
ハイライト： 有名な難易度の高い「AntMaze」タスク（ロボットが巨大で曲がりくねった迷路をナビゲートしなければならないもの）において、GTP はいくつかのレベルで完全なスコアを達成しました。これは、以前の手法では困難だったことです。

要約

要するに、著者たちは「遅いが賢い」と「速いが愚か」の間の溝を埋めました。ロボット運動を連続した旅として捉え、それを効率的に学習するために「チートシート」を使用することで、彼らは表現力が高く（複雑で多様な選択肢を持つ行動を処理できる）かつ計算効率の高い方策を作成しました。オフライン学習において、速度を犠牲にして知性を手に入れる必要はないことを証明しました。

技術的サマリー：生成軌道方策によるオフライン強化学習

問題定義

オフライン強化学習（RL）は、静的で事前に収集されたデータセットから環境とのさらなる相互作用なしに方策を学習するという根本的な課題に直面している。この設定では、方策は限定的でしばしば狭い経験から、予測不可能な世界へ一般化することを求められる。この分野における重要なボトルネックは、方策の表現力と計算効率の間のトレードオフである。

従来のオフライン RL 手法は、現実世界のデータセットに存在する複雑で多モーダルな振る舞いを捉えるのに苦労する単純な関数近似器（例えば、ガウス方策）に依存することが多い。一方、拡散方策（Diffusion Policies）などの最近の生成アプローチは、複雑な行動分布をモデル化することで高い表現力を提供するが、計算負荷を大幅に増大させる遅い反復サンプリングプロセスに苦しむ。これを緩和するため、推論を（しばしば 1 または 2 ステップに）加速する一貫性方策（Consistency Policies）が導入されたが、この簡素化は頻繁に方策性能の低下を招く。本研究が扱う中心的な研究課題は、**「高い方策表現力と計算効率の両方を達成する方策クラスを設計することは可能か？」**である。

手法

1. 統合された ODE フレームワーク

著者らは、拡散モデル、フローマッチング、一貫性モデル（CMs）、および一貫性軌道モデル（CTMs）を含む現代の生成モデルを、常微分方程式（ODE）によって支配される連続時間生成軌道の学習の特定の事例として捉える、統合的な視点を提案する。

逆プロセスは以下の ODE で記述される：
$\frac{dx_t}{dt} = f(x_t, t)$
ここで、 $f(x, t)$ はノイズ分布 $x_T$ からデータサンプル $x_0$ への決定論的軌道を定義する。著者らは、時刻 $t$ の状態を時刻 $s$ の状態へ写像するフローマップ $\Phi(x_t, t, s)$ を導入する。彼らは、既存の手法はこのフローマップの特定の側面の近似に過ぎないと主張する。

このマップを学習するために、2 つの相補的な学習目的を定義する：

瞬間フロー損失（局所アンカー）： $s \to t$ の極限において、学習されたマップをベクトル場（またはデノイザー）に一致させることで、無限小ステップの正しさを強制する。これは拡散スタイルのデノイジングとフローマッチング速度推定を統合する。
軌道一貫性損失（大域レギュラライザー）：長い多ステップジャンプ全体での自己一貫性を強制し、中間ステップの合成が直接ジャンプと等しくなることを保証する。

2. 生成軌道方策（GTP）

このフレームワークに基づき、本論文は基礎となる ODE の解全体を学習する新しい方策パラダイムである生成軌道方策（GTPs）を導入する。遅い高忠実度サンプリングに限定される方法や、速い低忠実度ショートカットに限定される方法とは異なり、GTP は柔軟な多ステップ決定論的生成を可能にする。

3. オフライン RL への実用的適応

GTP パラダイムを機能的なオフライン RL アルゴリズムに変換するには、3 つの特定の課題に対処する必要がある：過大な計算コスト、訓練の不安定性、および整合性の取れていない目的関数である。著者らは、理論的に原則化された 2 つの主要な適応を導入する：

安定したスコア近似：
- 課題：ODE 軌道の学習は、通常、各サンプルに対して内側ループソルバーを用いて ODE を後向きに数値的に解くことを必要とし、初期段階の不正確な推定からの誤差伝播により計算上非現実的で不安定である。
- 解決策：著者らは、学習されたベクトル場をオフラインデータサンプルにアンカーされた閉形式の代理関数 $\tilde{f}(x_t, t) = (x_t - x)/t$ に置き換える。
- 理論的保証：定理 4.1 は、この代理関数を使用しても訓練目的関数が $O(h^p)$ （ここで $h$ はステップサイズ）のみ変化することを証明しており、実用的な目的関数が理想的なものと漸近的に同等であることを示している。これにより、訓練中の高コストな多ステップ ODE 積分の必要性を排除しつつ、安定性を保証する。
価値駆動ガイダンス：
- 課題：標準的な生成目的関数はデータ分布（行動模倣）に一致するだけであり、それ自体では方策の改善につながらない。
- 解決策：著者らは KL 正則化された方策最適化問題の最適解を導出することで、価値重み付けされた訓練目的関数を形式化する。最適な方策に一致するように生成方策を訓練することは、重みが利得関数の指数関数である重み付き生成目的関数を解くことと同等であることを示す： $w(s, a) \propto \exp(\eta A(s, a))$ 。
- 実装：安定性を確保するため、利得重みは正規化され、負の値は切り捨てられる。これにより、方策は高利得の行動を優先的に模倣しつつ、データのサポートにアンカーされた状態を維持できる。

主要な貢献

生成軌道方策（GTP）：現代の生成モデルを連続時間 ODE 軌道に接続する統合フレームワークから導出された、新しい高表現力な方策パラダイム。
理論的適応：実用的なオフライン RL に向けた 2 つの主要な適応：
- 訓練中の反復ソルバーの必要性を排除し、効率性と安定性に対する理論的保証を提供するスコア近似技術。
- 模倣学習と方策最適化の間のギャップを埋める、価値駆動の方策改善のための変分フレームワーク。
実証的検証：GTP が D4RL ベンチマークにおいて最先端の性能を達成し、既存の生成手法およびオフライン RL 手法を上回ることを示す広範な実験。

実験結果

著者らは、Gym（移動）および AntMaze（スパース報酬、長 horizon）ドメインを網羅するD4RL ベンチマーク上で GTP を評価した。

行動模倣（BC）：価値ガイダンスなしの純粋な模倣学習者として、GTP-BC は 15 タスク中 11 タスクで最先端の結果を達成した。特に、Diffusion-BC や Consistency-BC を大幅に上回り、困難な AntMaze スイートにおいて顕著な差（平均スコア 66.3 対、次点の 44.1）を示した。
方策改善：完全な GTP アクター・クリティックアルゴリズムは、生成方策において新たな最先端記録を樹立した。
- Gym タスクにおいて、GTP は平均リターン89.0を達成し、以前の最高記録（Diffusion-QL の 87.9）を上回った。
- AntMaze タスクにおいて、GTP は平均80.6を達成し、Diffusion-QL（69.6）および QGPO（78.3）を大幅に上回った。
- 顕著な成果：GTP は、 notorious に困難な antmaze-umaze タスクで完璧なスコア100.0を達成した。
効率性：アブレーション研究により、GTP が性能のために長い ODE 軌道に依存していないことが確認された。サンプリング horizon を 5 から 2 ステップに削減しても高い性能を維持しつつ、推論レイテンシを大幅に削減できた。

意義と主張

本論文は、GTP がオフライン RL における表現力と効率性の間のギャップを成功裏に埋めたと主張する。統合された ODE フレームワークというレンズを通じて生成方策を捉え、完全な解マップを学習することで、GTP は反復拡散モデルの計算ボトルネックと、単純化された一貫性モデルの性能低下の両方を回避する。

著者らは、彼らのアプローチが生成方策を設計するための原則的な基盤を提供すると強調する。スコア近似と価値駆動ガイダンスの導入により、この理論的に豊かなフレームワークをオフライン RL において実用的に可能にした。結果は、完全な連続時間軌道を学習することが、特に他の手法が困難に直面するスパース報酬・長 horizon 環境において、複雑で時間的に拡張された振る舞いを捉えるための強力な帰納的バイアスを提供することを示唆している。

本論文は、推論は高速であるものの、このモデルクラスの大幅な訓練時間を削減することが将来の研究における重要な道筋であると結論付けている。この研究は、RL における連続時間ダイナミクスを活用するための有望な方向性を開き、以前は達成不可能であった堅牢性と性能のバランスを提供する。