🤖 AI

Flexible Multitask Learning with Factorized Diffusion Policy

本論文は、複雑で多様なロボット動作分布を専門的な構成要素に分解する新規のモジュール型拡散方策フレームワークを導入し、これにより方策の適合性を向上させ、新しいタスクへの柔軟な適応を可能にし、破滅的忘却を軽減するとともに、シミュレーションおよび実世界環境の両方において既存の単一モジュール型およびモジュール型のベースラインを上回る性能を示すものである。

原著者： Chaoqi Liu, Haonan Chen, Sigmund H. Høeg, Shaoxiong Yao, Yunzhu Li, Kris Hauser, Yilun Du

公開日 2026-04-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Chaoqi Liu, Haonan Chen, Sigmund H. Høeg, Shaoxiong Yao, Yunzhu Li, Kris Hauser, Yilun Du

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに、引き出しを開ける、赤い立方体を掴む、特定のフックにマグカップを掛ける、釘を打つなど、さまざまな作業を教えることを想像してください。

問題：「スイスアーミーナイフ」の苦闘
従来のロボットの頭脳（「単一構造の方策」と呼ばれる）は、単一の巨大なスイスアーミーナイフになろうとします。これらは、すべてを一つの巨大で雑多な頭脳で学習しようとします。この論文は、ロボットの動作が多様すぎるため、これが困難であると主張しています。まるで、一人の学生に、同時に一流のシェフ、プロのピアニスト、レーシングドライバーになることを教えるようなものです。その学生は混乱し、すべてを同時にやろうとして、結局どれもうまくできなくなります。彼らはスプーンのようにハンマーを「掴もう」としたり、ドアのように引き出しを「開けよう」としたりするかもしれません。

解決策：「専門家のチーム」（FDP）
著者たちは、Factorized Diffusion Policy（FDP：因数分解拡散方策） という新しい手法を提案しています。一つの巨大な頭脳の代わりに、専門家のチームを想像してください。

専門家（拡散コンポーネント）： ロボットには、いくつかの小さく専門的な「専門家」がいます。
- 専門家Aは、物体に「接近する」ことに長けています。
- 専門家Bは、物を優しく「掴む」ことに長けています。
- 専門家Cは、物を「打つ」または「掛ける」ことに長けています。
- 専門家Dは、物体を「整列させる」ことに長けています。
- 各専門家は、一つの特定の種類の動き、あるいは「部分スキル」にのみ焦点を当てます。
マネージャー（ルーター）： ロボットがタスク（例：「マグカップを掛ける」）を認識すると、スマートなマネージャー（「ルーター」と呼ばれる）が状況を判断します。マネージャーは、作業全体をこなすためにたった一人の専門家を選ぶのではなく、すべての専門家に助言を求めます。
- マネージャーは言います。「専門家A、接近の仕方は80%正解です。専門家B、掴み方は90%正解です。専門家C、角度は10%正解です。」
- マンネージャーはその後、これらの助言のすべてを混合して、完璧な最終動作を作成します。これは、一曲全体を一つの楽器に演奏させるのではなく、指揮者がさまざまな楽器を混ぜ合わせて交響曲を創り出すようなものです。

これが優れている理由

安定性： マネージャーは、一つを選んで他を無視するのではなく、すべての人の助言を滑らかに混合するため、ロボットははるかに速く学習し、混乱しません。まるで、一人が他の全員に声を荒らげるチームではなく、全員が貢献するチームのようです。
「忘却」の不在： これがこの論文の大きな勝利です。ロボットに新しいスキル（例：「電球をねじ込む」）を教えたい場合、チーム全体を再訓練する必要はありません。その特定の作業のために新しい専門家を雇い、チームに参加させるだけです。古い専門家（引き出しを開ける方法やマグカップを掛ける方法を知る者）は、そのまま全く変わりません。つまり、ロボットは新しいスキルを学びながら、古いものを忘れることなく習得します。これは「破滅的忘却」と呼ばれる問題であり、他の手法を悩ませています。
柔軟性： ロボットが非常に複雑な作業を行う必要がある場合、マネージャーはより多くの専門家からより多くの助言を求めることができます。作業が単純な場合は、少数の専門家だけで済ませることができます。

現実世界での証明
著者たちは、この手法をコンピュータシミュレーションと現実世界の両方でロボットにテストしました。

シミュレーション内： ロボットチーム（FDP）は、引き出しを開ける、ピンの組み立て、傘の持ち上げなどのタスクにおいて、「単一頭脳」のロボットや他の「チーム」ロボットを打ち負かしました。
現実世界で： 彼らは実際のロボットアームでテストを行いました。赤い立方体を掴む、またはマグカップを掛けるよう求められたとき、FDPロボットは他のロボットよりも成功し、精度も高かったのです。他のロボットは、タスクの複雑さを処理できなかったため、よく失敗したり、物を落としたりしました。

結論
この論文は、複雑なロボットの頭脳を、専門的で、組み合わせ可能な専門家チームに分解することで、ロボットはさまざまなタスクをより速く学習し、古いスキルをよりよく記憶し、システム全体のオーバーホールなしに新しい仕事に適応できると主張しています。これにより、ロボットは混乱した一般職から、非常に効率的で適応力のある専門家チームへと変貌します。

以下は、「Factorized Diffusion Policy (FDP)」を用いた柔軟なマルチタスク学習に関する論文の詳細な技術的サマリーです。

1. 問題定義

本論文は、ロボット工学におけるマルチタスク模倣学習の課題、特に高度に多モーダルで多様な行動分布をモデル化する難しさに取り組んでいます。

単一モデルの限界: 従来の単一ネットワーク方策（例：標準的な Diffusion Policy）は、多様なタスクにわたって一般化することに苦慮しており、複雑な分布の未学習（underfitting）に陥ったり、異なるオブジェクトに対する異なる把持戦略など、明確な行動モードを表現できなかったりします。
既存のモジュール型モデルの限界: 専門家混合（Mixture-of-Experts: MoE）アーキテクチャはタスクの分解を試みますが、以下の問題に悩まされています：
- 訓練の不安定性: 専門家の利用バランスを調整することが困難です。
- ルーティングの問題: 離散的な専門家選択により、「ルーティングの偏り」（一部の専門家が全く使われない、あるいは過剰に使われる）が生じます。
- 解釈性の低さ: 専門家の役割が重複したり不明確だったり、スキルが層全体に分散してしまい、分離されていないことがあります。
- 破滅的忘却: 新たなタスクに適応するにはモデル全体を再訓練する必要があり、以前学習したスキルの喪失リスクがあります。

2. 手法：Factorized Diffusion Policy (FDP)

著者らは、行動分布を専門的な拡散モデルの組み合わせとして因数分解するモジュール型方策アーキテクチャであるFDPを提案します。

A. 中核アーキテクチャ

因数分解: 単一の方策 $p(a_t|o_t)$ の代わりに、FDP は行動分布を $N$ 個の成分分布の重み付き積としてモデル化します：
$p(a_t|o_t) \propto \prod_{i} p_i(a_t|o_t)^{w_{t,i}}$
ここで、各 $p_i$ は異なる行動モード（サブスキル）を捉える専門的な拡散モデル（専門家）であり、 $w_{t,i}$ は観測に依存する重みです。
構成的サンプリング:
- ルーター: 軽量な MLP が観測 $o_t$ を入力し、すべての成分に対する連続的な重み $\{w_{t,i}\}$ を出力します。
- スコア集約: 離散的な MoE（1 つの専門家を選択する）とは異なり、FDP はすべての成分からのスコア推定値（対数確率の勾配）を集約します：
  $\nabla \log p(a_t|o_t) \approx \sum_{i} w_{t,i} \nabla \log p_i(a_t|o_t)$
- デノイジング過程: 反復的なデノイジングステップでは、この重み付きスコア和を用いて行動軌道の生成を誘導します。これは分布の積からのサンプリングに相当し、行動生成を制約充足問題として捉えることを可能にします。

B. 訓練と適応

共同訓練: すべての拡散成分とルーターは、集約されたスコア予測に対する平均二乗誤差（MSE）損失を用いてエンドツーエンドで訓練されます。
効率的な適応（アップサイクリング）: 全体を再訓練することなく新タスクに適応するために：
1. 新しい拡散成分を導入します。
2. 既存の成分から重みをアップサイクリング（コピー）することで初期化します。
3. 新しい成分とルーターのみを微調整し、以前のすべての成分は凍結します。
4. これにより破滅的忘却を防ぎ、学習可能なパラメータ数を大幅に削減します。

3. 主な貢献

新規モジュール型アーキテクチャ: 離散的な専門家選択ではなく、連続的なスコア集約を用いる FDP を導入しました。これにより、訓練の安定性を確保し、ルーティングの偏りを防ぎ、成分間の明確な専門化を促進します。
確率的解釈: エネルギーベースモデル（EBM）とスコアマッチングに基づいており、構成された方策が行動制約の交差を表すという原理的な定式化を提供します。
スケーラブルな適応戦略: アップサイクリングと凍結を用いた「選択的チューニング」メカニズムを提案し、最小限のデータで効率的なスキル拡張を実現し、破滅的忘却を回避します。
実証的検証: シミュレーションおよび実世界の環境において、強力なベースライン（単一モデルの DP、Sparse Diffusion Policy、MoDE）に対して優れた性能を実証しました。

4. 実験結果

著者らは、FDP をMetaWorld、RLBench、LIBERO、および実世界のロボット操作（UR5e アーム）で評価しました。

マルチタスク性能:
- FDP は 30 以上のタスクにわたって、単一モデルの Diffusion Policy (DP) およびモジュール型ベースライン（SDP、MoDE）を一貫して上回りました。
- MetaWorld: FDP は平均成功率**74.8%**を達成し、DP (70.8%) および SDP (69.8%) を上回りました。
- RLBench: FDP は平均成功率**63.9%**を達成し、DP (45.6%) および SDP (42.1%) を上回りました。
- 実世界: 過学習や多モーダル分布の捉えきれなさによりベースラインが失敗した複雑なタスク（マグカップを吊るす、色付きの立方体を掴むなど）において、FDP は高い成功率を示しました。
タスク適応と転移:
- データ効率: 限られたデータ（10〜25 回のデモンストレーション）で新タスクに適応する際、「新規モジュール追加」戦略を用いた FDP は、全パラメータ微調整や部分的微調整を上回りました。
- 継続的学習: 12 タスクの継続的学習ベンチマーク（LIBERO）において、FDP は新しい専門家が追加されるにつれて高い性能を維持しましたが、他の手法は性能が低下しました。
- 知識保持: 古い成分を凍結することで、以前のスキルを効果的に保持しました。最小限のリプレイバッファ（タスクあたり 5 デモ）を使用することで、適応後も元の性能のほぼ 100% を維持できました。
分析とスケーリング:
- 成分スケーリング: 成分数が 2 から 4 に増加するにつれて性能が向上し、その後頭打ちになりました。
- タスクスケーリング: タスク数が増加するにつれて FDP と単一モデル間の性能差が拡大し、FDP のスケーラビリティを浮き彫りにしました。
- 解釈性: 可視化により、個々の成分がノイズレベルや任意の層ではなく、明確なサブスキル（例：アライメント、アプローチ、把持）に特化していることが示されました。
- 推論速度: FDP は「部分的再構成」（上位 k 個の成分のみを使用）をサポートし、性能低下が約 19% であるにもかかわらず、推論速度を2 倍に向上させました。

5. 意義

ロボット学習: FDP は、ロボットが古いスキルを忘却することなく新しいスキルを迅速に学習しなければならない動的環境での展開に対する実用的な解決策を提供します。
安定性: 離散的なルーティングを連続的なスコア構成に置き換えることで、MoE ベースの拡散方策を悩ませてきた訓練の不安定性問題を解決します。
解釈性: 因数分解により、研究者は方策内の特定のサブスキル（例：「把持」対「アプローチ」）を検査・理解できるようになり、デバッグや安全性検証を支援します。
将来の方向性: このフレームワークは、異種モジュール設計（アーキテクチャの混合）や、ロボットが専門的なスキルのライブラリを継続的に蓄積する生涯学習システムへの道を開きます。

要約すると、FDPは、拡散モデルの生成能力と、堅牢で解釈可能かつ適応可能なモジュール型アーキテクチャを組み合わせることで、ロボット模倣学習において重要な進歩を成し遂げました。