技術要約：Mixture-of-Experts Diffusion Policyによるロボット操作スキルの抽象化

問題提起

拡散ベースのポリシー（Diffusion-based policies）は、アクション生成をデノイジング過程としてモデル化することで、単一タスクのロボット操作において目覚ましい成功を収めてきた。しかし、これらのポリシーをマルチタスクのシナリオへと拡張することには、大きな課題が伴う。現在の戦略は、汎化性能を実現するためにモデルサイズやデモンストレーション・データセットのスケールアップに依存することが多い。このアプローチは、法外なコストを発生させる。すなわち、巨大すぎるモデルはリアルタイム制御に適さない低速な推論速度をもたらし、必要なデモンストレーション・データはタスクの多様性とともに指数関数的に増加する。さらに、ロボット工学における既存のMixture-of-Experts（MoE）の応用は、再利用可能な操作スキルを明示的に分離できていないことが多く、結果として行動の絡み合いや解釈性の低下を招いている。核心となる課題は、適度なモデルサイズと低いサンプリング遅延を維持しながら、いかにして効果的なマルチタスク汎化を実現し、かつスキルを再利用可能で転移可能なものにするかである。

手法：Skill Mixture-of-Experts Policy (SMP)

著者らは、コンパクトで直交するスキル基底を学習し、少数のエキスパートのサブセットからアクションを構成する拡散ベースのフレームワークである**Skill Mixture-of-Experts Policy (SMP)**を提案する。

1. 状態適応型直交スキル基底

固定されたアクション基底を使用する代わりに、SMPは状態依存の正規直交基底 $B(s) \in \mathbb{R}^{d \times K}$ （ここで $K \ll d$）を学習する。

• 構成: 軽量なニューラルネットワークが制約のない行列 $W(s)$ を生成し、これを符号安定化を伴う微分可能なthin-QRリトラクションを用いてスティフェル多様体（Stiefel manifold）上に投影する。これにより、基底ベクトルが正規直交性を維持し、ロボットの状態（例：アームのポーズ、接触）に応じて連続的に変化することを保証し、局所的な分離性を保持する。
• アクションの分解: アクションは $a_t = B(s_t)(g_t \odot z_t)$ としてデコードされる。ここで $g_t$ はゲーティング重み、$z_t$ はスキル係数である。この直交分解により、各エキスパートがアクション空間における明確かつ重複しない方向に対して寄与することが保証される。

2. スティッキー・ルーティングとグローバルな使用

エキスパート間の急速で不安定な切り替え（チャタリング）の問題に対処するため、SMPはゲーティング機構に**スティッキー・ディリクレ・マルコフ動力学（sticky Dirichlet-Markov dynamics）**を採用している。

• 時間的整合性: ゲート $g_t$ は、現在の状態が前のゲート $g_{t-1}$ とグローバルな使用ベクトル $\vartheta$ に依存するマルコフ過程としてモデル化される。これにより、操作タスクの準定常的なフェーズ（例：把握、移動、解放）に適合した、区分的に定常なスキルの活性化が促進される。
• グローバルな使用: グローバルベクトル $\vartheta$ はスキル全体の普及度を捉え、ポリシーが単一のエキスパートに崩壊することを防ぎつつ、タスク間でのバランスの取れた利用を維持する。

3. 変分学習目的関数

SMPは、以下の3つの要素に分解される証拠下界（ELBO）を最大化するように、変分推論を通じて学習される。

• 再構成損失 ($L_{recon}$): 合成されたホワイトニング基底におけるアクションが正解と一致することを保証する。極めて重要な点として、学習には拡散サロゲート用のストップグラディエント対象と、アクションを再構成するための勾配を保持する対象の2つの係数ターゲットが使用される。これにより、拡散プロセスを不安定化させることなく、スキル基底 $B(s)$ を更新することが可能になる。
• ゲート正則化 ($L_{gate}$): 償還されたゲート事後分布をスティッキー・ディリクレ事前分布に適合させ、時間的な粘着性とグローバルな使用制約を強制する。
• 係数正則化 ($L_{coeff}$): スキル係数を拡散事前分布に適合させる。

4. 推論時における適応型エキスパート活性化

計算コストを削減するため、SMPはすべてのステップで全エキスパートを評価するわけではない。

• 状態のみのルーター: 軽量なルーターが、状態 $s_t$ のみに基づいてゲートの重みを予測する。
• 疎な選択: エキスパートは、その「質量」($m_i = \bar{g}_{t,i}^2$) によってランク付けされる。システムは、上位-$k$個のエキスパート、または総質量（例：95%）の閾値を満たす最小のサブセットのみを活性化する。これにより、疎で状態依存の活性化が実現され、アクティブなパラメータ数とレイテンシが大幅に削減される。

主な貢献

1. SMPフレームワーク: 状態依存の正規直交アクション基底とスティッキー・ルーティングを介して、再利用可能な操作スキルを明示的に抽象化する、拡散ベースのMoEポリシー。
2. 適応型活性化戦略: 推論時にコンパクトなエキスパートのサブセットを動的に選択するメカニgency。これにより、アクションサンプリングの精度を維持しながら、計算コストを削減する。
3. 実証的検証: シミュレーション（RoboTwin-2, RLBench-2）および実機の双腕プラットフォームにおける包括的な評価により、強力な拡散ベースラインと比較して、優れたマルチタスク成功率と低い推論コストを実証した。

実験結果

著者らは、SMPを、バニラな拡散ポリシー（DP, DP3）、トランスフォーマーベースのポリシー（ACT）、大規模基盤モデル（RDT）、およびその他のスキル抽象化またはMoEベースラインと比較評価した。

• マルチタスク学習: SMPは、双腕タスク（例：トレイを持ち上げる、受け渡し、掃き掃除）において、ベースラインと比較して一貫して高い成功率を達成した。RDT（1.2Bパラメータモデル）のスケーリングは、小さなベースラインに対して成功率を19%向上させただけだったのに対し、SMPは大幅に小さなフットプリントでありながら、より高いパフォーマンスを実現した。
• 効率性: SMPは推論時間とアクティブなパラメータ数を削減した。SMPは自身のパラメータの約30%を活性化したが（RDTの全パラメータの約7%に相当）、高い成功率を維持した。対照的に、高密度なベースラインやFFN-MoEのバリアントは、すべてのエキスパートを同期または評価する必要があるため、高いレイテンシに苦しんだ。
• 転移学習:
  • 少ショット適応: わずか10回のデモンストレーションで新しいタスクに対してファインチューニングを行った際、SMPは、バックボーン全体を再学習する必要なく、関連するエキスパートを効果的に再利用することで、ベースラインを上回った。
  • スキルの合成: 学習されたスキルを再結合する必要があるタスク（例：フライをスキレットに入れる）において、SMPのルーターのみのファインチューニングはスキルの再構成に成功したが、ベースラインは役割の境界が曖昧になり、フェーズの一貫性が失われた。
• 実機ロボット性能: PiPER双腕プラットフォームにおいて、SMPは4つの複雑な双腕タスク（例：ペンのキャップを外す、豆を注ぐ）において、拡散ベースラインよりも低いレイテンシで最高の進捗スコアを達成した。

重要性と主張

本論文は、SMPがスケーラブルで転移可能なマルチタスク操作への実用的な道筋を提供すると主張している。一度学習した再利用可能なスキルを学習し、必要なものだけを活性化することで、SMPはモデル容量と推論効率のトレードオフに対処している。著者らは、学習されたエキスパートが直感的な操作ロール（左腕/右腕、ピック/ムーブ/プレースのフェーズ）と一致していること、および適応型活性化メカニズムが精度とレイテンシを交換するための単純なノブを提供することを強調している。本研究は、明示的なスキルの分離とフェーズ一貫性のあるルーティングが、堅牢な双腕制御にとって重要であり、力まかせのモデルスケーリングに代わるより効率的な選択肢であることを示唆している。

著者らは限界についても認めており、現在の研究は比較的小さなバックボーンを用いた双腕操作に焦点を当てている。今後の展望として、SMPをより大きなモデルへスケールアップすること、シングルアームおよびモバイルマニピュレーションへと対象を広げること、そしてセンシングノイズやドメインシフトに対する堅牢性を評価するために、より広範な実機研究を行うことを挙げている。