技術要約：Mixture-of-Experts VLAにおける創発的な構成スキル

問題提起

視覚・言語・行動（VLA）モデルは、多様なロボット操作タスクへの汎化において大きな有望性を示している。しかし、これらは通常、モノリシック（単一的）な方策として訓練・展開される。このアーキテクチャには限界がある。すなわち、再利用可能なスキルを特定したり、行動を階層的に構成したり、あるいはモデル全体を再学習させることなく方策の特定部分を適応させたりすることが困難である。対照的に、多くのロボットタスクは、自然に再利用可能な行動モード（例：リーチング、把持、配置）へと分解される。本研究の核心的な問いは、事前に指定されたタスク分解、階層、あるいは手動で定義されたスキルライブラリを用いずに、データから直接、モジュール化された方策構造（そのようなスキルを明示的に学習するもの）を導出できるか、という点にある。

手法

著者らは、既存の学習済みVLAバックボーンである$\pi_0$およびSmolVLAの上に、Mixture-of-Experts (MoE) アクション方策を訓練することを提案している。両バックボーンは、アクション生成にフローマッチングを利用している。このアプローチは、主に2つの設計上の選択肢によって定義される：

1. LoRA Mixture-of-Experts: このMoEアーキテクチャは、各アクション層のFeed-Forward Network (FFN) サブレイヤーのみを置き換えるものであり、セルフアテンションはすべてのエキスパート間で共有される。各エキスパートは、ベースとなるFFNに適用される低ランク（LoRA）デルタ（$r=16$）として実現される。方策は以下のように定式化される：
   $$\text{FFN}_\ell(x) = \text{FFN}^{\text{base}}_\ell(x) + \sum_{e \in R} w_e \left( \text{FFN}^{(e)}_\ell(x) - \text{FFN}^{\text{base}}_\ell(x) \right)$$
   ここで、$R$は正規化された重み$w_e$を持つルーティングされたエキスパートの集合である。LoRA行列$B$はゼロ初期化されており、これにより、ステップゼロにおいて方策が事前学習済みのバックボーンを正確に再現することを保証する。これにより、強力な事前知識からゼロからではなく、その周囲に特化（specialization）が創発することが可能となる。

2. 全フォワードパス・ルーティング: 標準的なMoEトランスフォーマーがトークンごと、レイヤーごとにルーティングを行うのに対し、本手法では方策のフォワードパスごとに一度だけルーティングを行う。小さなMLPルーター$g_\phi$が、視覚、言語、および固有受容状態をエンコードしたコンテキストベクトルを受け取り、エキスパート$E$に対するロジットを出力する。単一の選択（top-$k$）が、すべての行動エキスパート層に対して一様に適用される。これにより、各エキスパートが、独立したレイヤーごとの決定の集合としてではなく、一貫したエンドツーエンドの行動または「スキル」として機能することを保証する。

訓練目的関数: モデルは、バックボーンのフローマッチング行動模倣損失と、単一のエキスパートへのルーティング崩壊を防ぐための補助的なロードバランシング項（$\lambda_{LB} = 0.01$）を用いて訓練される。

主な結果と分析

著者らはLIBERO-10ベンチマークを用いて、学習されたスキルの性質に関する4つの核心的な問いについて評価を行っている：

• 質的に異なるスキルの創発: ルーターは、明確に異なる低レベルの行動に対応するエキスパートを自律的に選択することを学習した。定性的分析により、操作の特定のフェーズ（例：「把持した物体を運ぶ」、「放して退避させる」、「細いハンドルに接近して把持する」など）に特化したエキスパートが存在することが明らかになった。これらのスキルは、構造的に異なるタスク（例：マグカップを置く vs モカポットを置く）の間で再利用されており、エキスパートがタスク固有の方策ではなく、フェーズレベルのスキルをエンコードしていることを示唆している。
• 再利用可能なエキスパート vs タスク固有のエキスパート: 選択頻度の分析により、エキスパートの二重の役割が明らかになった。一部のエキスパート（例：エキスパートAおよびB）は、複数のタスクにわたって頻繁に再利用され（選択率35–45%）、汎用的なプリミティブとして機能する。一方で、他のエキスパートは高度に特化しており、特定のタスク（例：タスクT5におけるエキスパートC）に対してほぼ排他的に活性化し、効果的に特異なエッジケースを処理することで、再利用可能なエキスパートを「鮮明（crisp）」に保っている。
• プリミティブの構成: ルーターは暗黙的な高レベルシーケンサーとして機能し、これらのプリミティブをより長いホライゾンの軌道へと繋ぎ合わせる。例えば、あるタスクはエキスパートC（把持）に続いてエキスパートA（配置）を行うといったプロセスを含む。注目すべきは、失敗事例においても、方策は任意のノイズへと退化するのではなく、既知のプリミティブを繰り返し呼び出す（例：把持と解放を何度も試みる）といった解釈可能な挙動を示す点である。
• 手動ルーティングによる検証: スキルがエキスパートに内在しているのか、それともルーターのアーティファクトなのかを検証するため、著者らは手動ルーティング実験を行った。ルーターの選択を特定のエキスパート（例：本来選択されていない文脈で「把持」エキスパートを強制する）で置き換えたところ、期待通りの定性的挙動が得られた。これにより、エキスパートがルーターのデフォルトの選択とは独立して、再利用可能で汎用的な能力を備えていることが確認された。
• パフォーマンス: MoE方策は、同じチェックポイントからファインチューニングされた高密度（dense）なモノリシック・ベースラインと同等のタスクパフォーマンスを達成した。これは、タスクの能力を損なうことなく、スキルの特化が可能であることを示している。

意義と主張

本論文は、ロボットのための階層的なスキルベースの学習には、高レベルプランナー、オプションフレームワーク、あるいは学習済みスキルライブラリのような追加の機構を必ずしも必要としないことを主張している。代わりに、標準的な模倣学習に単純なMoEアーキテクチャを適用するだけで、以下のことが得られる：

1. 創発的な構成可能性: モデルは、タスクを少数のモジュール化された再利用可能なプリミティブへと分解することを学習する。
2. 解釈可能性: 成功も失敗も、既知のプリミティブのシーケンスとして理解できるため、方策の透明性が高まる。
3. データ駆動型のモジュール性: 構成的な構造は、ルーターと特化したエキスパート間の相互作用によって、デモンストレーションデータのみから創発する。

著者らは限界についても認めており、学習されたスキルの中には依然としてタスク固有であったり、解釈が困難であったりするものがあること、また、エキスパートとプリミティブの対応が常に完全に正確であるわけではないことを指摘している。しかし、本研究は、データのみから創発する、よりモジュール化され解釈可能なロボット方策への一歩を示すものである。