🤖 machine learning

Scalable Maximum Entropy Reinforcement Learning for Diffusion Policies via Adjoint Matching

本論文は、アドジョイント・マッチングを活用することで、標準的なスコアマッチングの限界を克服し、コストのかかる尤度推定や拡散プロセスを通じたバックプロパゲーションの必要性を排除することにより、オンライン強化学習における拡散方策の学習のための効率的なシミュレーションフリーのアルゴリズムを導入するものである。

原著者： Serge Thilges, Onur Celik, Denis Blessing, Emiliyan Gospodinov, Gerhard Neumann

公開日 2026-06-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Serge Thilges, Onur Celik, Denis Blessing, Emiliyan Gospodinov, Gerhard Neumann

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに歩行、ダンス、あるいはビデオゲームのプレイを教えている場面を想像してみてください。ロボットは、最高のスコア（報酬）を得るためにどのような行動をとるべきかを学ぶ必要があります。かつて、ロボットは単純な「ベルカーブ（正規分布）」型の行動（例えば、少し左に動くか、少し右に動くかといったもの）に基づいて推測することで学習していました。しかし、現実の世界は混沌としています。時には、単純な曲線には当てはまらない、複雑で多段階のステップを伴うダンスが最善の動きとなることもあります。

ここで、**拡散ポリシー（Diffusion Policies）**が登場します。これは、混沌としたノイズの塊からスタートし、それを徐々に「デノイジング（ノイズ除去）」していくことで、完璧で複雑な動きを見つけ出す学習方法です。それは、ぼやけた写真を、一歩ずつシャープにしていく過程に似ています。

しかし、このロボットをリアルタイム（オンライン強化学習）で教えることは、主に2つの理由から悪夢のような作業でした。

メモリの問題： 学習するために、ロボットは通常、間違いを犯すたびに頭の中でデノイジングのプロセス全体を再生しなければなりません。これは、映画のたった一つのシーンを修正するために、映画の全フレームをすべて記憶しようとするようなものです。これでは膨大なメモリを消費し、ロボットはクラッシュするか、学習が極めて遅くなってしまいます。
「正解（グラウンドトゥルース）がない」問題： 教室には解答集がありますが、リアルタイム学習では、ロボットは事前に「完璧な動き」を知っているわけではありません。彼は後になって報酬が得られたかどうかを知るだけなのです。既知の答えと比較することに依存する標準的な教授法は、ここでは機能しません。

解決策：AMDP（Adjoint Matching Diffusion Policy）

この論文の著者たちは、AMDPと呼ばれる新しい手法を導入しました。彼らは以下の巧妙なトリックを用いて、これらの問題を解決しました。

1. 「逆再生ムービー」のトリック（シミュレーションフリーの学習）
ケーキの焼き方を学んでいると想像してください。通常、ケーキを最後まで焼き上げ、味を見てから、「どの瞬間に砂糖を加えれば完璧だったか」を特定しようとする必要があります。これは困難です。
AMDPは異なります。プロセス全体を逆方向に再生する代わりに、**アドジョイント・マッチング（Adjoint Matching）**という数学的なショートカットを使用します。

比喩： これは、完成したケーキ（最終的なアクション）を見て、「もしこの特定の瞬間に砂糖を加えていたら、ケーキは完璧だったはずだ」と即座に理解することに似ています。
結果： ロボットは、学習のためにノイズの多いプロセス全体を逆方向にシミュレートする必要はありません。単に最終的な動きを見て、「スコア（Qスコア）」を計算し、脳を更新するだけです。これにより、膨大なコンピュータメモリを節約し、学習を大幅に高速化します。

2. 「スクワッシュ（押しつぶし）」関数（アクションを安全に保つ）
ロボットには限界があります。ロボットのアームはマイナス無限大へ動くことはできず、物理的な範囲（例：-1から1の間）を持っています。

問題： 拡散の背後にある数学は、しばしば大きすぎる、あるいは小さすぎる数値を生成し、ロボットの限界を突破させてしまいます。
解決策： 著者たちは、特殊な数学的「スクワッシュ」関数（誤差関数、または erf に基づくもの）を使用しました。これは、引っ張るほどにどんどん硬くなるバネのようなものです。最終的に硬い壁に突き当たります。これにより、ロボットの内部的な数学がいかに激しく動いても、出力される最終的なアクションは常に安全であり、物理的な制限内に収まることが保証されます。彼らは、この特定の「スクワッシュ」が従来の方法よりもはるかに安定していることを見出しました。

3. 「信頼領域（Trust Region）」（過剰反応を防ぐ）
学習中、もしロボットが悪いスコアを得た場合、パニックに陥って一晩で性格を丸ごと変えてしまい、それまで知っていたことをすべて忘れてしまうかもしれません。

解決策： 著者たちは「信頼領域」ルールを追加しました。これは、安全なリード（命綱）のようなものです。これはロボットに対し、「新しい経験から学ぶことはできるが、行動をあまりにも劇的に変えてはいけない。以前やっていたことに近い状態を保ちなさい」と指示します。これにより、学習プロセスが安定し、ロボットが暴走するのを防ぎます。

何が見出されたのか？

チームはこの新手法を、単純なバランス調整タスクから、複雑なヒューマノイドロボットの歩行や物体操作に至るまで、63の異なる環境でテストしました。

スピード： AMDPは、最も単純で効率的な手法（ガウス・ポリシーなど）とほぼ同等の速さで学習できますが、より複雑な動きを扱うことができます。
パフォーマンス： 既存の高度な手法の多くよりも、歩行や物体操作において優れた学習を実現しました。いくつかの複雑なテストでは、明確な勝者となりました。
効率性： ロボットの思考プロセスの「ムービー」を再生する必要がないため、コンピュータの電力を大幅に節約できます。巨大で複雑なロボットモデルを使用した場合でも、学習時間は単純な手法と比較して約10%しか増加せず、従来の複雑な手法では70倍から80倍も長くかかっていたことを示しました。

要約

この論文は、コンピュータをクラッシュさせることなく、ロボットに複雑な多段階の動きを教える方法を提示しています。彼らは、履歴全体を再生せずに最終的な結果から学習できる数学的ショートカットを発明し、学習を安定させるための「安全なリード」を追加し、アクションを安全な範囲に収めるための特別な「スクワッシュ」ツールを使用しました。その結果、複雑なスキルを、迅速に、効率的に、そして数学の迷宮に迷い込むことなく学習できるロボットを実現しました。

技術要約：Adjoint Matchingを用いた拡散方策のためのスケーラブルな最大エントロピー強化学習

問題提起

拡散方策（Diffusion policies）は、強化学習における複雑でマルチモーダルな行動分布を表現するための強力なパラダイムとして台頭しています。しかし、正解データが存在しない**オンライン強化学習（online RL）**への適用においては、スケーラブルな学習の難しさが課題となっています。スコアマッチングやブリッジマッチングのような標準的な学習目的関数は、オンライン強化学習には最適なサンプルとなる静的なデータセットが存在しないため、直接適用することができません。

オンライン設定で拡散方策を学習させる既存のアプローチは、主に以下の3つの制限に直面しています。

逆KLダイバージェンス（Reverse KL Divergence）: 逆KLダイバージェンスを最小化する手法は、拡散プロセス全体を通じてバックプロパゲーションを行う必要があります。これは膨大なメモリオーバーヘッドと計算効率の低下を招き、より大規模な問題へのスケーリングを妨げます。
重要度重み付きマッチング（Importance Weighted Matching）: 予測された行動とターゲットとなる行動の間の誤差を最小化するために重要度サンプリングを用いる手法は、高次元の行動空間へのスケーリングに苦慮します。
Qスコア法（Q-Score Methods）: Q関数の勾配（ $\nabla_a Q$ ）を利用する手法は、多くの場合、過減衰されたランジュバン動力学（overdamped Langevin dynamics）に依存しています。これらのプロセスは通常、有限ステップでの打ち切りを必要とし、有限時間領域における理論的保証が乏しいか、あるいは真のターゲット分布からサンプルを生成するという保証を持たないヒューリスティックなサンプリング技術に依存しています。

手法：Adjoint Matching Diffusion Policy (AMDP)

著者らは、最大エントロピー強化学習（MaxEnt-RL）のための拡散方策最適化を、**確率的最適制御（Stochastic Optimal Control: SOC）問題として定式化するフレームワークであるAdjoint Matching Diffusion Policy (AMDP)を提案しています。核心となる革新は、シミュレーションフリーの学習を可能にするために、Adjoint Matching (AM)、特にReciprocal Adjoint Matching (RAM)**を適応させた点にあります。

1. 理論的基礎

本手法は、方策改善ステップを、端点時刻 $\tau=1$ における拡散プロセスの周辺分布が、最適なMaxEnt方策 $\pi^*(a|s) \propto \exp(Q^\pi(s,a)/\alpha)$ と一致するようにドリフト関数 $u$ を探索することとして定式化します。

シュレディンガー・ブリッジ（Schrödinger Bridge）: この問題は、境界条件の下で制御の運動コストを最小化するシュレディンガー・ブリッジ問題として構成されます。
Reciprocal Adjoint Matching: 拡散パスを通じてバックプロパゲーションを行う（中間状態の保持が必要）代わりに、AMDPは、制御されたプロセスを制御されていない参照プロセス上に相反的に投影（reciprocal projection）することを利用します。これにより、条件付き相反プロセス $\Pi^0_{\tau|1}$ を用いて端点状態 $X_1$ から中間状態 $X_\tau$ を直接サンプリングすることで、損失を最小化できます。
シミュレーションフリー学習: リプレイバッファに保存されている端点アクション $X_1$ から $X_\tau$ をサンプリングすることで、アルゴリズムは勾配更新時にフォワードSDEをシミュレートする必要がなくなります。これにより、明示的な尤度推定や、拡散チェーンに対するコストの高いバックプロパゲーションを回避できます。

2. 主要なアルゴリズム構成要素

行動空間の適応（Error Function Squashing）:
有界な行動空間（例： $A = [-1, 1]^d$ ）を扱うために、著者らは微分可能な変換 $f: \mathbb{R}^d \to [-1, 1]^d$ を導入しています。標準的な要素ごとの $\tanh$ スクワッシングとは異なり、AMDPはスケーリングされた**誤差関数（error function: erf）**によるスクワッシングを採用しています：
$f_{\text{erf}}(x) = (\text{erf}(k x_i))_{i=1}^d$
スケーリング係数 $k$ は、変換のヤコビアンの行列式が参照プロセスのガウス周辺密度と正確に一致するように選択されます。この特定の選択により、参照密度とヤコビアン行列式の対数比が定数となり、回帰目的関数が大幅に簡素化され、数値的安定性が向上します。
方策反復（Policy Iteration）:
- 評価（Evaluation）: 変形された「ソフト」ベルマン・バックアップが使用されます。拡散モデルの周辺エントロピーは計算困難であるため、著者らは制御コストから導出された、収束特性を維持する計算可能なエントロピー下限を提案しています。
- 改善（Improvement）: 方策は、不動点反復であるAMDP損失を最小化することによって更新されます。この損失の唯一の不動点は、最適な制御 $u^*$ に対応します。
信頼領域更新（Trust-Region Updates）:
ターゲット分布が急速に変化するオンライン設定での安定性を確保するため、信頼領域制約が追加されています。これは、新しいドリフト $u$ の前回のイテレートからの偏差にペナルティを課し、分布の崩壊やQ関数の発散につながる攻撃的な更新を防ぎます。これは緩和されたラグランジュ形式を用いて解決されます。

主要な貢献

スケーラブルな学習アルゴリズム: AMDPは、拡散プロセスを通じてバックプロパゲーションを行うことなく拡散方策を最適化する、非常に効率的なアルゴリズムを導入し、メモリ要件を劇的に削減します。
シミュレーションフリーの最適化: Reciprocal Adjoint Matchingを活用することで、リプレイバッファに保存された端点アクションのみを使用して最適化が可能になり、SDEを再シミュレートすることなく、サンプルあたりの複数の勾配更新を可能にします。
数値的に安定した行動スクワッシング: erf-squashingの提案は、 $\tanh$ に代わる安定した選択肢を提供し、損失関数内の特定の項を相殺することで目的関数を簡素化します。
安定した方策更新: 信頼領域損失の統合は、adjoint matchingの理論的保証を損なうことなく、オンライン設定における安定した方策反復を保証します。

実験結果

著者らは、MuJoCo Playground、ManiSkill、HumanoidBenchにおけるオンポリシー設定、および7つの高次元なドッグおよびヒューマノイド環境（DMCスイート）におけるオフポリシー設定の計63の環境でAMDPを評価しました。

オンポリシー性能:
- AMDPは、強力なガウス基盤（REPPO、PPO、SPO）および最先端の拡散手法（DIME、DPPO、FPO）と同等、あるいはそれらを上回る性能を示します。
- 複雑で高次元なタスク（HumanoidBench）において、AMDPはBest-of-N (BoN) サンプリングを用いなくても、すべてのベースラインを大幅に上回ります。
- MuJoCo DMCおよびヒューマノイドの移動タスクにおいて、AMDPはサンプル効率の面でREPPOよりも高速に収束します。
- BoNサンプリング（16個のサンプルのうち最良のものを選択）と組み合わせた場合、AMDPはすべてのベンチマークにおいて優れた性能を発揮します。
オフポリシー性能:
- DMCのドッグおよびヒューマノイドのタスクにおいて、AMDPは（逆KLを最適化する）DIMEと同等の性能を示し、わずかに速く収束します。これは、オフポリシー設定におけるadjoint matching目的関数の競争力を示しています。
計算効率:
- 実時間（Wall-clock Time）: AMDPは、拡散ステップ数に関わらず、REPPOのような非常に効率的なガウス手法と比較して、わずかな定数オーバーヘッド（〜10%）しか発生しません。
- スケーラビリティ: 逆KLバックプロパゲーションを用いる手法は、16ステップの拡散では10倍遅く、128ステップでは最大72〜80倍遅くなります。
- モデルのスケーリング: 著者らは、AMDPを用いて大規模な拡散方策（1億600万パラメータ、標準的なモデルの約300倍）の学習に成功しました。これは、メモリ制約によりバックプロパゲーションベースの手法が失敗するような複雑なモデルへのスケーリング能力を示しています。

意義と主張

本論文は、AMDPが、現実世界の強化学習アプリケーションに表現力豊かな生成方策をデプロイするための、理論的に裏付けられ、計算効率が高く、堅牢な経路を提供すると主張しています。

メモリのボトルネックの克服: 拡散チェーンのバックプロパゲーションを排除することで、AMDPは、メモリや計算リソースが制約されるオンライン強化学習シナリオにおいて、拡散方策の学習を生存可能なものにします。
理論的保証: ヒューリスティックなQスコア法とは異erer、AMDPは不動点保証を持つ確率的最適制御から導出されており、方策が最適なMaxEnt分布に収束することを保証します。
実用的な実行可能性: シミュレーションフリーの学習、erf-squashingによる数値的安定性、および信頼領域更新の組み合わせは、これまでオンライン強化学習における拡散方策の採用を制限してきた主要な障壁（スケーラビリティ、安定性、効率性）に対処しています。

著者らは、本手法が、従来のガウス方策と比較して、複雑な連続制御タスクに対して、計算オーバーヘッドを大幅に削減しつつ、競争力のある性能を維持できることを結論付けています。