LAR-MoE: Latent-Aligned Routing for Mixture of Experts in Robotic Imitation Learning

この論文は、教師なしのスキル発見と方策学習を分離し、潜在空間の構造に基づいて専門家のルーティングを正則化する「LAR-MoE」という 2 段階フレームワークを提案し、シミュレーションおよび生体組織を用いた実機実験において、ラベル付けなしで多様なタスクに効果的に適応できることを実証しています。

要約

この論文は、ロボットが人間の動きを真似して複雑な作業を覚える方法について書かれたものです。特に、**「一つの頭脳で全てをこなそうとするのではなく、得意分野を持つ複数の専門家（エキスパート）チームを作って、状況に応じて使い分ける」**という新しいアイデアを提案しています。

これを、わかりやすい例え話で説明しましょう。

🤖 物語：ロボット厨房の「天才チーム」

想像してみてください。ロボットが料理を覚える場面です。
これまでのロボットは、**「万能な一人の料理人」**でした。

• 包丁を使うときも、
• 野菜を洗うときも、
• 炒めるときも、
  すべてを「一人の頭脳」で平均的に処理しようとしていました。

でも、これには問題がありました。
「包丁を使う瞬間」と「炒める瞬間」は全く違う動きなのに、一人の料理人が両方を同時に覚えようとすると、**「どっちつかずの中途半端な動き」になってしまったり、「特定の作業に特化できずに失敗」**したりするのです。

そこでこの論文の著者たちは、**「LAR-MoE（ラー・モエ）」**という新しいチーム体制を考案しました。

1. 天才チームの構成（エキスパート）

彼らは、ロボットの中に**「複数の小さな専門家（エキスパート）」**を配置しました。

• A さん： 包丁を使うのが得意。
• B さん： 野菜を洗うのが得意。
• C さん： 炒めるのが得意。

でも、ここで大きな問題があります。
「今、包丁を使うべきか、洗うべきか、ロボットはどうやって判断すればいいの？」
これまでは、人間が「今は包丁の時間だ！」とマニュアルで教える必要がありました。でも、手術や複雑な作業では、そんなマニュアル（ラベル）を作るのは大変で、コストもかかります。

2. 魔法の「共通言語」を学ぶ（潜在空間の学習）

ここで、LAR-MoE のすごいところが登場します。
彼らは、**「人間に教わる必要なく、ロボット自身が『今何をしているか』を勝手に見抜く力」**を養います。

• 先生と生徒のゲーム：
  • 先生（教師）： 「今の画像」と「次に取るべき動き」の両方を見て、「これは『包丁』の場面だ」と理解します。
  • 生徒（学生）： 「今の画像」だけを見て、「先生がどう判断したか」を真似して「これは『包丁』の場面だ」と推測します。
  • このゲームを繰り返すうちに、生徒は**「画像を見るだけで、次の動きの『雰囲気（潜在空間）』を察知する」**ようになります。

これを**「Latent-Aligned Routing（ラテント・アライメント・ルーティング）」と呼びます。
つまり、「マニュアルなしで、ロボットが『今、包丁の時間だ』と直感的にわかる共通言語を自分で作り上げた」**のです。

3. 状況に合わせてチームを切り替える（ルーティング）

いよいよ実戦です。
ロボットはカメラで状況を見て、先ほど学んだ「共通言語」で**「今、A さん（包丁）の番だ！」**と判断します。
すると、自動的に A さんが動き出し、B さんは休む。
次に「洗う時間」になれば、B さんが動き出します。

• 従来の方法： 全員が平均的に動こうとして、動きがぼやける。
• LAR-MoE： 状況に合わせて、「その瞬間に最も得意な専門家」だけが活躍する。
  • これにより、**「専門家同士が喧嘩して誰も活躍しなくなる（エキスパートの崩壊）」を防ぎつつ、「少ない計算資源で、最高のパフォーマンス」**を出せるようになります。

🏥 実際の成果：手術ロボットで試す

この技術は、「腸を掴んで引っ張る」という難しい手術でテストされました。

• 結果：
  • 人間が「いつ掴んで、いつ引っ張る」という指示（ラベル）を一切与えなくても、ロボットは見事に成功しました。
  • なんと、シミュレーション（仮想空間）だけでなく、生きた豚の腸（実際の臓器）に対しても、ゼロからそのまま適用できました。
  • 従来の巨大なモデル（10 億パラメータ以上）よりも、150M という小さなサイズで、より高い成功率を達成しました。

🌟 まとめ：なぜこれがすごいのか？

この論文の核心は、**「ロボットに『何をするか』を教えるのではなく、『どう感じ取るか』を学ばせる」**という点にあります。

• 昔： 人間が「今、包丁だ！」「今、炒めだ！」と細かく指示していた。
• 今（LAR-MoE）： ロボットが「画像を見て、直感的に『包丁の時間』だと感じ取り、得意な専門家チームを呼び出す」。

まるで、**「経験豊富な職人チームが、マニュアルなしでも状況を見て、自然と役割分担をして完璧な仕事をする」**ような状態です。

これにより、ロボットは**「未知の環境」や「複雑な手術」**でも、柔軟に、そして正確に動き回れるようになるのです。これは、ロボットが人間のように「文脈」を理解して行動する第一歩と言えるでしょう。

技術概要

LAR-MoE: ロボット模倣学習における潜在空間整合型ルーターを備えたエキスパート混合モデル

1. 背景と課題 (Problem)

ロボット工学における模倣学習（Imitation Learning, IL）は、ロボットがデモンストレーションから操作スキルを習得する有望な手法ですが、以下のような課題が存在します。

• 異質なダイナミクスへの対応困難: 手術のような複雑なタスクでは、異なる接触パターンやダイナミクスが混在します。単一のポリシー（単一モデル）では、これらの異なる行動モードを「平均化」してしまい、特定の局面での最適化（専門化）が困難になります。
• MoE の課題: 混合エキスパート（Mixture of Experts, MoE）アーキテクチャは、入力に応じて専門化されたサブネットワークを活性化することでこの問題に対処できます。しかし、従来の MoE は「どのエキスパートをいつ使うか」を決定するための明確なスキル分解（例：到達、把持、挿入などの明示的なフェーズラベル）を必要とします。
• データ制約: 手術ロボティクスなどの分野では、高品質なデモンストレーションデータが限られており、さらにタスクフェーズの明示的なアノテーション（ラベル付け）はコストが高く、入手困難です。
• エキスパートの崩壊（Expert Collapse）: 適切なルーター（振り分け機構）がない場合、特定のエキスパートのみが頻繁に選択され、他のエキスパートが活用されない「崩壊」現象や、過学習が発生しやすいという問題があります。

2. 提案手法：LAR-MoE (Methodology)

著者らは、教師なしのスキル発見とポリシー学習を分離する 2 段階のフレームワーク「LAR-MoE（Latent-Aligned Routing for Mixture of Experts）」を提案しました。

全体アーキテクチャ

1. 事前学習フェーズ（潜在空間の学習）:

   • 学生 - 教師協調学習（Student-Teacher Co-training）: 教師なしで、現在の観測（画像）と未来の動作（アクションチャンク）の間の結合潜在表現を学習します。
     • 教師ネットワーク: 観測と未来の動作チャンクの両方を入力とし、潜在ベクトルを生成します。
     • 学生ネットワーク: 観測のみを入力とし、教師の潜在ベクトルを推論するように訓練されます。
   • この過程で、明示的なフェーズラベルなしに、タスクの構造を捉える「タスク意識型潜在空間」が獲得されます。

2. 事後学習フェーズ（エキスパートのルーター）:

   • 潜在空間整合型ルーター（Latent-Aligned Routing）: 事前学習で得られた学生モデル（凍結済み）の潜在空間構造に基づいて、エキスパートへのルーティングを正規化します。
   • ソフトゲーティング: 強化学習の安定化手法に着想を得たソフトゲーティング機構を使用し、すべてのエキスパートに勾配が流れるようにします。
   • 損失関数: 以下の損失項を組み合わせます。
     • MSE 損失: 予測された動作とデモンストレーションの動作の誤差。
     • 距離整合損失（Distance Consistency Loss）: 学生モデルが予測した潜在空間内のタスク間の距離と、エキスパート選択分布（ソフトマックス出力）の距離が一致するように強制します。これにより、潜在的なタスクの類似性に基づいてエキスパートが適切に割り当てられます。
     • エントロピー正則化: エキスパートの専門化を促進します。
     • グループスパース正則化: 訓練の安定性を向上させます。

特徴

• 教師なしのスキル分解: 明示的なタスクフェーズのアノテーションを一切必要としません。
• パラメータ効率: 150M パラメータという小規模なモデルでありながら、大規模モデルに匹敵する性能を発揮します。
• エキスパート崩壊の防止: 潜在空間への整合性により、特定のエキスパートへの偏りを防ぎます。

3. 主要な貢献 (Key Contributions)

1. 教師なし共訓練戦略の提案: 視覚観測と未来の運動軌道の関係を捉える記述的な結合潜在空間を学習する手法を開発しました。
2. LAR-MoE アーキテクチャの提案: 学習された潜在空間の構造にソフトなエキスパートルーティングを固定（アンカー）する正則化戦略を提案し、エキスパート崩壊を防ぎながらパラメータ効率を大幅に向上させました。
3. 実証実験:
   • LIBERO ベンチマーク: 150M パラメータで 95.2% の平均成功率を達成し、20 倍以上のパラメータを持つモデル（π0.5 など）に迫る性能を示しました。
   • ハードウェア実証: 手術用ロボットの「腸管把持・牽引」タスクにおいて、フェーズアノテーションなしで教師あり MoE ベースラインと同等の性能を達成し、生体外（ex vivo）のブタ腸組織へのゼロショット転移にも成功しました。

4. 実験結果 (Results)

シミュレーション評価 (LIBERO ベンチマーク)

• 性能: 150M パラメータの LAR-MoE16（16 個のエキスパート）は、平均成功率 95.2% を記録しました。
• 比較: 263M パラメータの Diffusion Policy や 80 億パラメータの OpenVLA、35 億パラメータのπ0.5 などの大規模モデルと比較しても、150M パラメータでありながら同等かそれ以上の性能を示しました。
• アブレーション研究:
  • 学生モデルの凍結（Freezing）と潜在整合正則化（Regularization）の両方が導入されることで、ベースラインに対して 16.4% 以上の性能向上が見られました。
  • エキスパート数を 16 まで増やすと性能が向上しますが、32 個では収束が追いつかず性能が低下しました。

ハードウェア評価 (手術タスク)

• タスク: 腸管の把持と牽引（5 つのフェーズからなる複雑なタスク）。
• データ: 120 回のデモンストレーションのみで学習（フェーズラベルなし）。
• 結果:
  • シミュレーター（Phantom）: 成功率 85%（17/20）。教師あり MoE ベースラインと同等の性能を達成。
  • 生体外組織（Ex vivo Porcine）: 追加学習なし（ゼロショット）で 45% (9/20) の成功率を達成。異なる視覚的・機械的特性を持つ実組織への転移が可能であることを示しました。
• 解釈可能性:
  • 教師なしで学習されたエキスパートの活性化パターンは、人間の外科医が手動でラベル付けしたタスクフェーズと高い類似性を示しました（図 3）。
  • 空間的な専門化（把持フェーズ、牽引フェーズなど）が、シミュレーターと実組織の両方で一貫して観察されました（図 6）。

5. 意義と結論 (Significance)

LAR-MoE は、ロボット模倣学習における以下の重要な進展を示しています。

• ラベルフリーな専門化: 高コストなタスクフェーズのアノテーションなしに、複雑な操作タスクを構造化されたエキスパートに分解し、専門化させることが可能です。
• 実用性と転移性: 限られたデータ（120 回）と小規模モデル（150M）で、手術のような高度なタスクを学習し、実環境（生体組織）へのゼロショット転移を成功させました。
• 原理的なアプローチ: 明示的なルールやラベルに依存せず、データから内在するタスク構造（潜在空間）を学習し、それをルーターの指針として利用する「原理的な代替手段」を提供しました。

この手法は、手術ロボティクスに限らず、ラベル付けデータが不足しているあらゆる複雑な操作タスクにおける効率的な学習フレームワークとして、将来の応用が期待されます。