技術要約: LooperMuscle

問題提起

ヒューマノイドの全身追従（Whole-Body Tracking: WBT）には、あらゆる関節にわたって多様で高次元な人間の動きを忠実に再現できるポリシーが必要です。FastSACのようなオフポリシー強化学習（RL）アルゴリズムは、PPOのようなオンポリシー手法（約6時間）と比較して、学習時間を劇的に短縮（例：約15分）できますが、「速度と性能のギャップ」という大きな課題を抱えています。WBTタスクにおいて、FastSACはしばしばPPOよりも著しく低い追従品質しか示しません。

著者らは、このギャップを引き起こしている3つの相互に関連する構造的な制限を特定しています：

1. モノリシックなポリシーの限界: 単一ネットワークのポリシーは、身体部位間の異質なダイナミクス（例：下半身の安定性と上半身の表現力の両立）を扱うのが難しく、不適切な妥協を強いられます。
2. スカラー値の限界: 標準的なスカラー値関数は、単一の集約された品質推定値しか提供しないため、高次元空間における個々の身体部位へのクレジット割り当て（報酬の帰属）が困難になります。
3. 一様なリプレイの限界: 標準的な経験リプレイはすべての遷移を平等に扱うため、支配的なポリシー成分が勾配信号を独占し、性能の低い成分が停滞してしまいます。

手法: LooperMuscle

LooperMuscleは、3つの密結合されたメカニズムを閉じた学習ループに統合することで、速度と性能のギャップを埋めるために設計された、構成されたエキスパート・アクター・クリティック・フレームワークです。

1. アンチ・コラプス・ゲーティングを備えたマルチエキスパート・アクター

モノリシックなネットワークの代わりに、ポリシーを$K$個のエキスパートネットワーク（筋肉ユニット：Muscle Units）に分解します。

• アーキテクチャ: リクルートメント・ネットワークが、意味的な関節グループ（例：上半身 vs 下半身）に対するゲーティング重み$w_{k,g}$を計算します。
• 融合: 最終的なアクションは、学習可能な関節ごとのスケーリング係数（$S_{k,j}$）と出力アライメント係数（$c_k$によって変調された、エキスパート出力の加重和となります。これにより、粗いグループレベルのリクルートメントと、微細な関節レベルの変調が可能になります。
• アンチ・コラプス（崩壊防止）: KLダイバージェンスに基づく負荷分散レギュラライザーが、「ゲート崩壊」（単一のエキスパートが支配してしまう現象）を防ぎ、弱いエキスパートも学習を通じて活動し続け、専門化されることを保証します。

2. エキスパート認識型分布的クリティック

クレジット割り当ての問題に対処するため、クリティックの構造をアクターのエキスパート構造と同型にします。

• エキスパート別ヘッド: 単一のスカラーヘッドではなく、クリティックは各エキスパートに対して分布的価値関数（Distributional Value Function: DVF）ヘッドを保持し、点推定ではなくリターンの分布をモデル化します。
• 集約: これらのエキスパートごとの分布は、アクターで使用されるものと同じゲーティング重みを用いて集約されます。これにより、価値構造がアクション構造を反映し、特定のエキスパートへのより微細なクレジット割り当てが可能になります。
• 安定性: この設計は、Soft Actor-Critic (SAC) のデュアルクリティックの安定性を維持しつつ、分布的RLの利点（例：高ダイナミックな動きにおけるバイアスの低減）を活用します。

3. 遅延スケジューリングを伴うクォータ・ルーテッド・リプレイ

支配的なエキスパートが学習データを圧倒するのを防ぐため、リプレイバッファは貢献度に基づいたルーティング・サンプリング戦略を採用しています。

• 貢献度タグ付け: 各エキスパートのアクションへの貢献度（大きさ）に基づいて、遷移にエキスパート貢献度ベクトルをタグ付けします。
  数。
• クォータ・サンプリング: ミニバッチは、すべてのエキスパートが割り当てられたクォータ（割当量）に比例したトレーニング・エクスポージャーを受けられるように構築され、強いエキスパートが改善する一方で弱いエキスパートが停滞するというフィードバックループを防ぎます。
• 遅延スケジューリング: 困難なサンプル（追従誤差が大きいもの）は「遅延バケット」へとルーティングされます。これらは学習の進捗度（$\rho$）に基づいて動的に放出され、初期の安定した収束を確保しつつ、学習が進むにつれてパフォーマンスの天井を段階的に引き上げます。

閉ループ統合

これら3つのコンポーネントは閉ループを形成します。エキスパートの貢献がデータのルーティングを導き、ルーティングされたデータが価値学習を形成し、価値の勾配がエキスパートの専門化を洗練させます。この相互強化が、単に独立したモジュールを積み重ねるだけの手法とLooperMuscleを区別しています。

主な結果

本手法は、29自由度のUnitree G1ヒューマノイドを用い、6つのカテゴリ（歩行、走行、ジャンプ、ダンス、格闘、転倒および起き上がり）にわたる40個のLAFAN1モーションシーケンスで評価されました。

• 速度と品質のトレードオフ:
  • PPO: 最高レベルの追従品質（正規化報酬: 1.0）を達成しますが、約6時間の学習時間を要します。
  • FastSAC-MLP: 約15分で学習できますが、品質は著しく低くなります（正規化報酬: 0.648; ボディ誤差: 0.153m）。
  • LooperMuscle: 約45分で学習し、正規化報酬0.723を達成、FastSAC-MLPと比較してボディ追従誤差を**34.0%**削減しました（0.101m vs 0.153m）。PPOとのギャップの大部分を回収しつつ、PPOよりも約8倍高速です。
• 汎用性: 改善はすべてのモーションカテゴリで一貫しており、特に「転倒および起き上がり」のような高難度かつ接触の多いタスクにおいて、最大の改善（最大40.6%の誤差減少）が見られました。
• アブレーション解析: いずれか一つのコンポーネント（MoEアクター、クォータ・リプレイ、遅延スケジューリング、またはエキスパート認識型クリティック）を削除すると、性能の低下を招きました。これは、統合された設計の必要性を裏付けています。MoEアクターを削除した場合、最大の低下（誤差+51.5%）が見られ、エキスパートによる分解が表現力の向上における主要な要因であることを示しています。
• 実世界への展開: 学習されたポリシーは、Holosomaランタイムスタックを用いて物理的なUnitree G1へのデプロイに成功しました。観測インターフェースの違い（特権的なシミュレータ状態の除去）によりゼロからの再学習が必要でしたが、ロボットは安定し、表現力豊かな全身カンフーのシーケンスを実行しました。

意義と主張

本論文は、LooperMuscleがヒューマノイドの全身追従における永続的な「速度と性能のギャップ」を解決することに成功したと主張しています。エキスパート混合構造を導入し、エキスパート認識型の価値推定と貢献度ルーティングによるデータ割り当てを組み合わせることで、本手法はオフポリシー手法の特徴である迅速な学習時間を維持しながら、追従品質をPPOに近いレベルまで回復させています。

著者らは、このアプローチがシム・トゥ・リアル（sim-to-real）開発における迅速なポリシー反復のための実用的な効率性を提供することを強調しています。本研究は、モノリシックなネットワークに頼るのではなく、ポリシーを特化したエキスパートに分解することが、オンポリシー（PPO）とオフポリシー（FastSAC）の両方のパラダイムにおいて効果的な、高次元ヒューマノイド制御のための広範に有益な設計原則であることを示しています。実世界での展開成功は、学習されたポリシーの実用的な適用可能性を証明しています。