論文サマリー：視覚入力を用いた四足歩行ロボットのパークアール学習

タイトル: Sparsely Gated Mixture of Experts with Visual Input (視覚入力によるスパースゲート型エキスパート混合モデル)
著者: Michael Ziegltrum, Jianhao Jiao, Tianhu Peng, Chengxu Zhou, Dimitrios Kanoulas (UCL)

1. 問題設定

脚付きロボット（特に四足歩行ロボット）は、救助活動や惑星探査など、過酷な環境での移動に大きな可能性を秘めています。しかし、平坦な地面を歩くこととは異なり、段差や障害物を乗り越える「パークアール」のような動的な移動は、環境との相互作用が激しく、高い制御能力を要求されます。

既存のアプローチでは、強化学習（RL）を用いた制御ポリシーの多くが、標準的な逐次型多層パーセプトロン（MLP）を採用しています。しかし、MLP はすべてのパラメータを活性化して計算を行うため、大規模なモデル化や複雑な視覚情報の処理において、計算効率と性能のトレードオフに直面します。一方、大規模言語モデル（LLM）の分野では、推論時に一部のパラメータのみを活性化することでスケーラビリティと性能を向上させる「スパースゲート型エキスパート混合モデル（MoE）」が成功を収めています。

本研究の目的は、この MoE アーキテクチャを、視覚情報（深度カメラ）を入力とする四足歩行ロボットのパークアール制御に応用し、計算効率を維持しつつ高性能な制御を実現することです。

2. 手法 (Methodology)

2.1 アーキテクチャ: スパースゲート型 MoE

制御ポリシー（Actor）の中央層に、スパースゲート型 MoE レヤーを導入しました。

• 構造: 入力層と出力層は線形層ですが、中間層が MoE となっています。
• 動作: 入力に対して、$N$個のエキスパート（単純な重み行列）の中から、ゲートネットワークが上位 $K$ 個を選択し、それらの出力を重み付けして結合します。
• 利点: 推論時に活性化されるパラメータ数を制限しつつ、モデル全体の容量（パラメータ総数）を大きく保つことで、条件付き計算（Conditional Compute）を実現します。
• 設定: 本研究では、16 個のエキスパート（$N=16$）から 4 個（$K=4$）を選択する構成を採用しました。

2.2 学習フレームワーク: 2 フェーズ学習

シミュレーションから実機への転移（Sim-to-Real）を円滑に行うため、2 フェーズ学習を採用しています。

• フェーズ 1（教師あり・シミュレーション）:
  • 環境の真値（Privileged Information: 重心位置、摩擦係数、モータ強度など）と、スキャンドット（地形の高さマップ）を入力として使用します。
  • 強化学習（PPO）により、MoE アクターとクリティックを訓練します。
  • エキスパートの多様性を促すため、ロードバランシング損失（Load Balancing Loss）を損失関数に追加しています。
• フェーズ 2（学生モデル・実機対応）:
  • フェーズ 1 で学習したモデルを教師とし、学生モデルを学習します。
  • 真値（Privileged Information）の代わりに、プロプリオセプション（自己状態）から推定した値を使用します。
  • 深度カメラからの画像入力を GRU（Gated Recurrent Unit）でエンコードし、地形情報を抽出します。
  • 深度画像のレンダリング時に、実機ノイズ（照明の反射、アーティファクト、ぼかしなど）を付与してドメインランダム化を行います。

2.3 報酬関数

目標速度の追跡、姿勢制御、衝突回避、関節の加速度制限、足元の安定性（つまづき防止）などを考慮した報酬関数を設計しました。

3. 主要な貢献 (Key Contributions)

1. パークアール文脈におけるスパースゲート型 MoE の新規フレームワーク:
   視覚入力に基づく四足歩行ロボットのパークアール制御において、MoE を初めて効果的に適用し、条件付き計算によるスケーラビリティの向上を実証しました。
2. 視覚知覚の統合:
   深度カメラからの画像入力を GRU を通じて処理し、複雑な地形情報を制御ポリシーに直接組み込むことを可能にしました。
3. 実環境での堅牢なデプロイ:
   Unitree Go2 四足歩行ロボットを用いた実世界実験において、高さ 32cm（ロボットの高さの 80%）の大きな段差を乗り越えるタスクで、標準的な MLP に対して MoE が大幅に優れた性能を示すことを実証しました。

4. 実験結果 (Results)

Unitree Go2 ロボットを用いた実機実験およびシミュレーション評価の結果は以下の通りです。

4.1 性能比較

• 課題: 高さ 32cm の箱（ロボット高さの 80%）を乗り越えるタスク。
• MoE vs 標準 MLP:
  • MoE ポリシー: 10 回の試行で 10 回成功（成功率 100%）。
  • 標準 MLP（Large, MoE と同等の推論パラメータ数）: 10 回の試行で 5 回成功（成功率 50%）。
  • 標準 MLP（Extra-Large, MoE と同等の総パラメータ数）: 9 回成功。しかし、MoE に比べて「あやふやな動き（scrambling）」が多く、障害物への着地から反対側への着地までの平均時間が 1.99 秒（MoE は 1.68 秒）と遅く、失敗からの回復に時間がかかりました。

4.2 計算効率

• 推論速度: バッチサイズ 6000 の条件下で、Extra-Large MLP（MoE と同等の総パラメータ数）は、MoE に比べて推論時間が14.3% 遅いことが確認されました。
• 結論: MoE は、同等の性能（またはそれ以上）を達成するために必要な計算コストを削減し、性能と計算効率の優れたトレードオフを実現しています。

4.3 エキスパートの分析

• 周期的な専門化: 歩行は周期的なタスクであるため、特定のエキスパートが歩行サイクルの特定のフェーズ（例：脚の上げ下げ、接地など）に特化している傾向が見られました。
• 深度入力への感度: 一部のエキスパート（例：インデックス 7）は、深度情報の latent 変数に対して特に敏感であり、環境の非周期的な変化（障害物の形状など）に対応していることが示唆されました。

4.4 消融実験 (Ablation Studies)

• ノイズ: 観測値にガウスノイズや接触ノイズを加えるドメインランダム化は、実環境での成功に不可欠でした。
• 正則化オンライン適応 (ROA): 環境物理特性（摩擦、重心など）を推定する ROA も重要であり、これらを組み合わせることで最も堅牢な性能が得られました。

4.5 屋外テスト

実験室以外の環境（スケートパーク、日光下、広範囲の視界）でも、ロボットは複数の障害物を乗り越えることに成功し、手法の汎用性を示しました。

5. 意義と結論

本研究は、視覚入力に基づく脚付きロボットの制御において、LLM 分野で成功している「スパースゲート型 MoE」アーキテクチャの有効性を初めて実証しました。

• 技術的意義: 従来の MLP に比べ、推論時の計算コストを増大させることなく、モデルの容量を大幅に増やし、複雑な地形での動的な移動性能を向上させることができました。
• 実用性: 実機（Unitree Go2）での高い成功率と屋外環境での動作は、このアプローチが実世界の応用（救助、探査など）に極めて有望であることを示しています。
• 今後の課題: MoE はハイパーパラメータ（エキスパート数、選択数、損失係数など）の調整が必要であり、エキスパートの役割分担をより明示的に設計するなどのさらなる研究が期待されます。

総じて、この研究は、条件付き計算を活用した制御ポリシーのスケーリングが、視覚ベースのロボティクスにおいて重要な進展をもたらすことを示唆しています。