💻 computer science

MoRI: Mixture of RL and IL Experts for Long-Horizon Manipulation Tasks

本論文は、強化学習と模倣学習の専門家を動作のばらつきに基づいて動的に切り替える「MoRI」を提案し、複雑な実世界操作タスクにおいて高い成功率を達成しつつ、人間の介入を大幅に削減して収束を加速させることを示しています。

原著者： Yaohang Xu, Lianjie Ma, Gewei Zuo, Wentao Zhang, Han Ding, Lijun Zhu

公開日 2026-04-15

📖 1 分で読めます☕ さくっと読める

原著者： Yaohang Xu, Lianjie Ma, Gewei Zuo, Wentao Zhang, Han Ding, Lijun Zhu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットが「職人」と「探検家」の力を合わせて、難しい作業をマスターする話

〜「MoRI」という新しいロボット学習システムの紹介〜

こんにちは！今日は、ロボットが人間のように器用に物を扱えるようになるための、とても面白い新しい研究についてお話しします。

この研究の名前は**「MoRI（モーリ）」です。名前の由来は「Mixture of RL and IL Experts（強化学習と模倣学習の専門家たちの混合）」から来ていますが、イメージとしては「ロボットが、熟練した職人と、好奇心旺盛な探検家の二人組を同時に雇って、最高のチームワークで作業をこなす」**ようなものです。

1. なぜ新しいシステムが必要だったの？

ロボットに難しい作業（例えば、タオルを折ったり、箱に物を詰めたり）を教えるとき、これまで主に 2 つの方法が使われてきました。

方法 A：模倣学習（IL）＝「真似上手な見習い職人」
- 得意なこと： 人間がやったことをそのまま真似するので、すぐに基本動作を覚えます。
- 苦手なこと： 人間がやったことと少し違う状況になると、パニックになります。「失敗を繰り返して自分で考える」ことが苦手で、一度失敗すると、その失敗が積み重なって全く動けなくなることがあります。
方法 B：強化学習（RL）＝「試行錯誤の探検家」
- 得意なこと： 失敗を恐れず、自分で色んなことを試して「正解」を見つけます。人間がやっていないような新しい動きも発見できます。
- 苦手なこと： 失敗から学ぶのに時間がかかりすぎます。現実のロボットで「失敗＝壊れる」リスクがあるため、無闇に試すのは危険で、人間が何度も手助けしてあげないと進みません。

これまでの研究では、この 2 つを単純に混ぜるだけだと、どちらの弱点も消えずに「難しい作業」には対応できませんでした。

2. MoRI のすごいところ：「状況に合わせて切り替えるスイッチ」

MoRI は、この 2 つの「職人（IL）」と「探検家（RL）」を、**「状況に合わせて使い分ける」**という天才的な仕組みを持っています。

安定した動き（粗い動作）： ドアを開ける、引き出しを閉めるなど、動きが決まっているときは**「職人（IL）」**に任せます。
細かい調整（精密な動作）： 物を掴んで微妙な位置に置く、穴に差し込むなど、少しのズレで失敗するときは**「探検家（RL）」**に任せます。

どんな基準で切り替えるの？
システムは、二人の「動きのブレ（ばらつき）」を見て判断します。

「職人」の動きが安定している（ブレが少ない）→ 職人に任せる
「職人」の動きが不安定で、迷っている（ブレが大きい）→ 「探検家」に任せて、新しい解決策を探させる

まるで、料理人が包丁の扱い（安定した動き）は得意ですが、火加減の微妙な調整（不安定な状況）は、経験豊富なシェフ（探検家）に相談するイメージです。

3. 学習のプロセス：「予習」と「実践」の 2 段階

MoRI は、以下の 2 つのステップでロボットを鍛え上げます。

予習（オフライン学習）：
まず、人間がやった動画データ（20 回分程度）を見て、「職人」も「探検家」も基本的な動きを頭に入れておきます。ここで「職人」は完璧な動きを真似し、「探検家」は「こうすれば成功するかも」という仮説を立てておきます。
実践（オンライン学習）：
実際のロボットで作業を始めます。ここで重要なのが**「安全網」**です。
「探検家」が新しい動きを試すとき、いきなり暴走してロボットを壊さないよう、「職人」の動きを基準にして「これくらいなら安全だよ」と教えてあげます（これを正則化と呼びます）。これにより、人間が手出しする必要が激減します。

4. 結果：驚異的なパフォーマンス

このシステムを、以下の 4 つの難しいタスクでテストしました。

引き出しにブロックを入れる
蓋付きの箱にタオルを入れる
2 つのソケットにプラグを挿す
タオルを二重に折りたたむ

その結果：

成功率： 97.5%（ほぼ完璧！）
学習時間： 2 時間〜5 時間だけで完成（従来の方法より 21% 速い）
人間の手助け： 必要な回数が85.8% 減（ほぼロボットが一人でやれるようになった）

従来の方法だと、人間が何度も「待て、そこじゃない！」と手助けしていましたが、MoRI は「職人」と「探検家」がうまく連携して、ほとんど一人で問題を解決しています。

まとめ

MoRI は、「安定した真似」と「大胆な探検」を、その場の状況に合わせて賢く使い分けることで、ロボットが複雑な作業を短期間で、安全に、そして人間の手を借りずにマスターできることを証明しました。

これは、ロボットが工場のラインだけでなく、私たちの家庭や病院など、予測不能な環境でも活躍するための大きな一歩と言えるでしょう。まるで、熟練の職人と天才的な探検家がタッグを組んで、どんな難問も解決してしまうようなイメージです。

以下は、提示された論文「MoRI: Mixture of RL and IL Experts for Long-Horizon Manipulation Tasks」の技術的な要約です。

1. 問題定義 (Problem)

ロボット操作タスク、特に長期の複雑なタスク（Long-Horizon Tasks）では、粗大な動き（Coarse movements）と接触を伴う精密な操作（Fine-grained manipulations）の両方が必要とされます。既存の学習手法には以下のような課題があります。

模倣学習 (IL): 専門家のデモンストレーションから効率的に方策を導出できますが、デモンストレーションデータの分布に依存するため、分布シフトや誤差の蓄積（Compounding errors）に弱く、高精度な接触操作には限界があります。
強化学習 (RL): 試行錯誤による自律的な探索が可能で、デモンストレーションの範囲を超えた適応性がありますが、サンプル効率の低さ、試行錯誤のコストの高さ、収束の遅さが課題です。
既存のハイブリッド手法: 既存の IL と RL の組み合わせ手法は、複雑なタスクにおいて十分な性能を発揮できず、特に長期タスクにおける収束時間や人間の介入頻度において改善の余地がありました。

2. 提案手法 (Methodology)

著者らは、**「MoRI (Mixture of RL and IL Experts)」**という、エキスパート混合（Mixture-of-Experts: MoE）アーキテクチャに基づいた新しいフレームワークを提案しました。この手法は、IL と RL のエキスパートを動的に切り替えることで、それぞれの弱点を補完します。

主要な構成要素とプロセス

2段階の学習パイプライン:
- ステージ 1: オフライン事前学習 (Offline Pre-training)
  - 少量のデモンストレーションデータ（20 試行）を用いて、IL エキスパート（Behavioral Cloning: BC）と RL エキスパート（Advantage-Weighted Actor-Critic: AWAC）を初期化します。
  - BC は粗大な動きの基盤を形成し、RL は探索能力を備えます。
  - この段階では MoE ゲートは学習せず、過学習を防ぎます。
- ステージ 2: オンライン微調整 (Online Fine-tuning)
  - 実世界でのインタラクションを通じて方策を最適化します。
  - ゲートネットワーク: 各エキスパートの動作出力の**分散（Variance）**に基づいて、どのエキスパートを選択するかを動的に決定します。
    - 分散が低い（確定的な）粗大な動き $\rightarrow$ IL (BC) エキスパートが選択。
    - 分散が高い（不確実な）精密な接触操作 $\rightarrow$ RL エキスパートが選択。
  - ハード選択メカニズム: ゲートが重み $w_{bc} > w_{rl}$ の場合 BC を、そうでない場合 RL を選択し、最終的な動作を生成します。
安全性と効率性の向上:
- BC 正則化: RL エキスパートの探索を BC の動作分布で正則化し、探索中の安全性を確保し、サンプル効率を向上させます。これにより、人間の介入を最小限に抑えます。
- 離散グリッパー制御: グリッパーの開閉には、従来の DQN ではなく、離散的な BC 損失（Cross-entropy）を用いた DBC（Discrete BC）を採用し、収束を加速させます。
ゲートネットワークの最適化:
- 重み付け分散損失、専門特化（Specialization）、負荷分散（Load Balancing）、エントロピー正則化を組み合わせた多目的損失関数を用いて学習し、エキスパート間のバランスと適応性を確保します。

3. 主要な貢献 (Key Contributions)

分散に基づく動的スケジューリング: MoE フレームワーク内で、エキスパートの動作分散に基づいて IL と RL を協調させるメカニズムを提案。タスクの要件に応じてエキスパートの割り当てを調整し、システムの堅牢性を向上させました。
オフライン事前学習とオンライン微調整の統合: 少量のデモンストレーションデータでエキスパートを初期化し、効率的な共学習と高速な収束を実現するパイプラインを構築しました。
探索安全性の確保: IL の動作分布を用いて RL を正則化することで、探索中の安全性を維持し、人間による介入の必要性を大幅に削減しました。

4. 実験結果 (Results)

4 つの複雑な実世界タスク（引き出しへのブロック配置、箱へのタオル入れ、ソケット挿入、タオルの折りたたみ）において評価を行いました。

成功率: 微調整 2〜5 時間以内に、平均成功率 97.5% を達成しました（ベースラインの ConRFT は 57.5%）。
収束時間: ベースラインの RL アルゴリズムと比較して、収束時間を 21% 短縮しました（平均 216.3 分 vs 273.8 分）。
人間介入の削減: データセット全体に対する人間の介入の割合を 85.8% 削減（平均 7% まで低下）しました。
自律的成功: 自律的な成功サンプルの数は、ベースラインに対して 111.7% 増加しました。
個々のエキスパートとの比較: MoRI は、単独の BC エキスパート（平均成功率 37.5%）や RL エキスパート（77.5%）を凌駕し、両者の長所を効果的に統合していることが示されました。
アブレーション研究: BC 正則化を除去すると、人間介入率が 5.5% から 45.4% に急増し、成功率が低下することが確認され、正則化の重要性が実証されました。

5. 意義と結論 (Significance)

MoRI は、ロボット操作における IL の効率性と RL の適応性を効果的に統合した実用的なソリューションを提供します。

効率と堅牢性のバランス: 粗大な動きには IL を、精密な接触操作には RL を割り当てる動的な戦略により、複雑な長期タスクにおいても高い成功率と安定性を両立しました。
実用性の向上: 人間の介入を大幅に削減し、収束を高速化することで、実世界でのロボット学習の実用化への障壁を下げました。
将来展望: 現在の双エキスパート構造から、ビジョン・言語モデル（VLM）を組み合わせた階層的システムや、ワールドモデルを用いたシミュレーションによる学習への発展が期待されています。

この研究は、長期的で複雑なロボット操作タスクにおいて、学習の効率性と安全性を両立させるための重要な枠組みとして位置づけられます。