Mixture-of-Experts RL for Fault-Tolerant Legged Locomotion

技術要約：故障耐性を持つ脚式移動のためのMixture-of-Experts RL

問題提起
脚式ロボットは、不整地を横断できる能力から、惑星探査や遠隔操作においてますます重要になっています。しかし、このような環境における長期運用は、ハードウェアを劣化やアクチュエータの故障にさらすことになり、これらは移動能力を著しく損なう可能性があります。強化学習（RL）は脚式移動において堅牢性を示していますが、従来のモノリシックな（単一の）ポリシーは、異なる故障条件下で必要とされる多様な制御戦略を効率的に表現することに苦慮します。地形知覚、標準的な移動、および複数の異なる故障回復行動を一つのネットワークでエンコードしようとすると、表現の干渉が発生し、特にタスクの複雑さが増すにつれて学習効率が低下する傾向があります。

手法
著者らは、診断された故障情報を利用して専門化された制御エキスパートを起動させる、故障認識型モジュール制御アーキテクチャを提案しています。学習されたゲーティングネットワークに依存して動作モードを推論する標準的なMixture-of-Experts（MoE）アプローチとは異なり、本フレームワークは、明示的な故障情報を用いて適切なエキスパートを選択します。

制御パイプラインは、主に3つのコンポーネントで構成されています：

1. 故障認識型Mixture-of-Expertsポリシー： ポリシーネットワークは、自己受容的観測（ベースの線形/角速度、重力投影、関節位置/速度）と視覚的な地形ハイトマップを処理するための共有エンコーダを利用します。学習によるルーティングメカニ션을採用する代わりに、本システムは診断された故障条件 $k$ に基づくワンホット選択メカニズムを採用しています。これにより、特定の故障モードに特化した特定のエキスパート $\pi_k$ を起動させ、他のエキスパートを非アクティブにします。この設計により、高密度なルーティング（$C_{dense} = C_{enc} + \sum C_k$）と比較して、能動的な推論コスト（$C_{active} = C_{enc} + C_k$）を削減できます。
2. 状態推定： 重度の故障（例：胴体の引きずり）によるモデルベースの仮定の崩壊に対処するため、本フレームワークは学習ベースの状態推定器を採用しています。このニューラルネットワークは、明示的な接触モデリングに依存することなく、センサー観測（IMU加速度を含む）からベースの線速度を直接予測し、アクチュエータ故障によって誘発される動的な変化に適応します。
3. 故障検出： 専用のニューラルネットワーク（$f_{fault}$）が、自己受容的な履歴の時系列ウィンドウから現在の故障状態を特定する教師あり学習問題として訓練されます。このモジュールは、対応するエキスパートを起動するために使用されるカテゴリ分布を提供します。

システムは、IsaacLabフレームワーク内でUnitree Go2ロボットを用いてPPO（Proximal Policy Optimization）を用いて訓練されました。報酬関数には、タスク指向の目的（速度追従、ベースの高さ/姿勢）と正則化項（関節エネルギー、滑らかさ）が含まれます。極めて重要な点として、故障している脚の数（$n_f$）に基づいて、学習目的を故障の深刻度に適応させるために、特定の報酬項が動的に有効化または無効化されます。

主な貢献

• 故障認識型MoEポリシー： 診断されたアクチュエータ故障に明示的に条件付けられた専門化エキスパートを用いることで、学習されたルーティング関数の必要性を排除し、条件付き計算を可能にするモジュール型RLフレームワークの提案。
• 制約下での効率性： モジュール型ポリシーが、大幅にネットワーク容量を削減した場合（Smallバリアント）でも競争力のある移動性能を維持し、同等のサイズのモノリシックなベースラインを上回ることを示す評価。
• 再現性： コミュニティに対する再現可能なベースラインを提供するための、関連コードの公開。

結果
実験は、シミュレーションおよび実機のUnitree Go2ロボットを用い、4つのシナリオ（故障なし、左前（LF）故障、左後（LH）故障、および左後＋右後（LH+RH）同時故障）で実施されました。

• 性能比較： 提案されたMoEアーキテクチャは、すべての故障シナリオにおいてモノリシックなPPOベースラインを一貫して上回りました。標準的な条件下では性能は同等でしたが、故障の深刻さが増すにつれて、MoEアプローチの優位性が顕著になりました。標準的なトロット（駆け足）とは異なる引きずり動作が必要となる最も深刻なシナリオ（LH+RH故障）において、MoEポリシーは大幅に高い累積報酬を達成しました。
• ネットワーク容量への感度： ネットワーク容量を減少させた場合（LargeからSmallのアーキテクチャへ）、モノリシックなベースラインは大幅な性能低下を招きました。対照的に、MoEアーキテクチャは堅牢な性能を維持し、「Small」バリアントは「Large」のモノリシックベースラインと同等の結果を達成しました。これは、構造化された専門化が、より少ないアクティブなパラメータであっても効果的な学習を可能にすることを示唆しています。
• 実世界での検証： 本フレームワークは物理ロボットへのデプロイに成功し、標準的な条件下での岩石地形の横断、三脚歩行（LH故障）、および二脚引きずり移動（LH+RH故障）を実証しました。

意義と限界
本論文は、故障耐性のある移動において、単にモデルサイズを大きくすることよりも、明示的な故障条件付きの専門化が優れた代替案となることを主張しています。このアーキテクチャは、宇宙探査などで用いられるような、オンボードのリソースが限られた計算資源制約のあるロボットプラットフォームにとって特に重要です。故障固有の動作を専用のエキスパートに分離することで、巨大なモノリシックネットワークの計算オーバーヘッドなしに、高い堅牢性を実現しています。

著者らは、サンプル効率に関する限界を謙虚に認めています。エキスパートネットワークはすべてのパラメータを共有しないため、各エキスパートは特定の故障条件からの軌跡のみで更新されるため、方策勾配の推定値はノイズが多くなります。現在の実験（各故障条件につき約4,096エージェントを使用）では十分でしたが、より多くの故障条件にスケールアップする場合、さらなるシミュレーション環境や、より洗лотしたパラメータ共有戦略が必要になる可能性があります。