技術要約：HuMam – Mambaを用いたエンドツーエンド深層強化学習によるヒューマノイド運動制御

1. 問題提起

ヒューマノイドの移動（ロコモーション）は、重心が高いこと、上下半身の結合ダイナミクス、および厳格な安全要件に起因して、四足歩行や車輪型システムと比較して特有の課題を抱えています。エンドツーエンドの強化学習（RL）はコンパクトな知覚・行動マッピングを提供しますが、実用的な展開においては、訓練の不安定性、非効率な特徴融合、および高い駆動コストという問題に直面することがよくあります。

既存のアプローチには、以下のような具体的な限界があります：

• フィードフォワード型のバックボーンは、歩行フェーズや方向付けられた足踏みターゲットといった構造化された観測データを十分に活用できていません。
• 重いシーケンスモデル（例：Transformerや深いRNN）は、計算量とメモリのトレードオフが悪く、オンボードでのリアルタイム展開を妨げます。
• 訓練のダイナミクスは、しばしば不安定性、シード間での高い分散、および非効率なサンプル使用率を示し、その結果、ポリシーが不安定になるか、あるいはエネルギー効率が悪くなります。

本論文は、明示的な時間履歴の蓄積に依存することなく、先見性（足の配置とバランスの調整）とリソースへの配慮（オンボードの計算および駆動制限内での動作）を兼ね備えたコントローラーの必要性に対処しています。

2. 手法：HuMamフレームワーク

著者らは、ヒューマノイドの歩行のために設計された、状態中心のエンドツーエンドRLフレームワークであるHuMamを提案しています。核心となる革新は、軽量な融合バックボーンとして単層のMambaエンコーダを採用した点にあります。

2.1. 観測空間

エージェントは各タイムステップにおいて、以下の2つのカテゴリに分類される豊富な観測セットを受け取ります。

• ロボット中心の状態： 12個の駆動脚関節の関節位置と速度、ルートの姿勢（ロール、ピッチ）、および角速度（ロール、ピッチ、ヨー）。足踏みはルートフレームに対して定義されるため、グローバルなヨーは除外されています。
• 外部ガイダンス： 3D位置とヘディングによって定義される2つの方向付けられた足踏みターゲット（$T_1, T_2$）、および歩行サイクルをエンコードする連続的なフェーズクロック（$\sin, \cos$）。これは、スカラー値のフェーズエンコーディングに伴う不連続性を防ぐためのものです。

2.2. アーキテクチャ：単層Mambaエンコーダ

時間履歴を蓄積する再帰型またはアテンションベースの設計とは異なり、HuMamは現在の状態のみに依存しますが、Mambaの選択的状態空間ダイナミクスを利用して、入力モダリティ間の構造化された依存関係を捉えます。

• トークン化： ロボットの状態と外部の状態を連結し、モダリティ固有の埋め込みへと投影します。
• 状態空間エンコーディング： 単層のMambaレイヤーが、これらのトークンに対してゲート付き状態空間ダイナミクスを適用します。この定式化は、指数関数的に減衰するカーネルを持つ畳み込み的な視点を提供し、明示的な時間的再帰なしに効率的な特徴混合を可能にします。
• 出力： エンコードされた表現は、ポリシーヘッドとバリューヘッドで共有されるコンパクトな特徴ベクトルへと集約されます。

2.3. 制御階層とアクション空間

• アクション空間： 高レベルポリシー（40 Hzで動作）は、12個の駆動脚関節に対する所望の関節位置ターゲットを出力します。
• 低レベル実行： 低ゲインの比例微分（PD）コントローラー（1000 Hzで動作）が、これらの位置ターゲットを実行可能な関節トルクに変換します。この階層構造により、滑らかなトルク実行が保証され、学習問題が良好な条件に保たれます。

2.4. 報酬シェイピング

本フレームワークは、安定性、正確性、およびエネルギー効率のバランスをとるために最適化された、簡潔な6項の報酬関数をPPO（Proximal Policy Optimization）を通じて採用しています。

1. 足の力 ($R_{force}$): 過度な地面反力を抑制します。
2. 足の速度 ($R_{vel}$): スイング脚の滑らかな動きを促します。
3. ステップ精度 ($R_{step}$): ターゲットに対する正確な足の配置に報酬を与えます。
4. 姿勢 ($R_{orient}$): ルートの姿勢を所望のヘディングに合わせます。
5. 胴体高さ ($R_{height}$): 公称の胴体高を維持します。
6. 上半身の安定性 ($R_{upper}$): 上半身の揺れを最小限に抑えます。

3. 主な貢献

本論文は、4つの主要な貢献を述べています。

1. Mambaをバックエンドとする初のヒューマノイドRLコントローラー： エンドツーエンドのヒューマノイド移動のための軽量な融合バックボーンとしてMambaを導入し、状態中心の設定において単層で十分な性能を発揮することを示しました。
2. バックボンドの有効性： Mambaエンコーダが、同一条件で訓練されたフィードフォワードのベースラインと比較して、より速い学習、向上したサンプル効率、および減少したクロスシードの変動性をもたらすことを示しました。
3. エネルギー配慮型の報酬シェイピング： 接地力、スイング速度、ステップ精度、および身体の安定性を共同で制御する6項の報酬を提案し、エネルギー効率を暗黙的に促進します。
4. 広範な実証実験： mc-mujoco環境において、多様なタスク（前進、後退、カーブ、横方向の歩行、および立位）を用いてJVRC-1ヒューマノイド上でフレームワークを検証しました。

4. 実験結果

実験は、mc-mujocoを用い、JVRC-1ヒューマノイド（身長1.72m、体重62kg）に対して行われました。HuMamは、同一の訓練設定下で強力なフィードフォワード・ベースラインと比較されました。

4.1. 学習効率と安定性

• サンプル効率： ベースラインがリターン240に達するまでに18.2Mサンプルを要したのに対し、HuMamは15.8Mサンプルで達成しました（13.2%の改善）。より高い閾値（リターン260）では、改善率は42.5%（20.2M vs 35.0Mサンプル）となりました。
• 安定性： HuMamは、クロスシードによる学習曲線の偏差を35.4%減少させ、訓練終盤の分散を61.0%減少させました。これは、より信頼性の高い収束を示しています。
• パフォーマンス： ピークパフォーマンスは5.8%向上し（269.85から285.50）、訓練の最終10%における平均リターンも5.5%向上しました。

4.2. 報酬とトルクのプロファイル

• 報酬成分： HuMamは、より高い平均ステップあたり報酬（0.737 vs 0.728）を達成し、特に足の力（foot force）の制御と速度の滑らかさにおいて顕著な改善が見られました。
• トルクの削減： 本フレームワークは、平均関節トルクの大きさを9.6%、ピークトルクを9.1%減少させました。特定の関節、例えば左股関節ピッチや右足首ピッチなどは、大幅な減少（足首の平均トルクで最大40%の減少）を示しました。

4.3. エネルギー効率

Huтамは、動的なタスクにおいて優れたエネルギー経済性を実証しました。

• 立位： 平均消費電力を57.48 Wから35.08 Wに削減（39%減少）。
• 前進歩行： エネルギーコストを673 J/mから421 J/mに削減。
• 横方向歩行： エネルギーコストを1395 J/mから963 J/mに削減。
• 質量あたりの電力： すべてのタスクにおいて一貫して低いW/kgを達成し、平均して1.92 W/kg（ベースライン）から1.38 W/kg（HuMam）へと減少しました。

5. 意義と主張

著者らは、HuMamがMambaを融合バックボンドとして採用した最初のエンドツーエンド・ヒューマノイドRLコントローラーであると主張しています。本論文は、このアーキテクチャが以下の3つの重要な領域で具体的な利益をもたらすと論じています。

1. 効率性： 単層Mambaエンコーダのほぼ線形な計算複雑性により、より少ない訓練サンプルと低い計算オーバーヘッドで高い性能を達成します。
2. 安定性： 訓練の分散を減少させ、多様な移動シナリオにおいて、より滑らかで堅牢な歩行を実現します。
3. 制御の経済性： 限られた電力予算を持つハードウェアへの実用的な展開に適した、より少ないトルクとエネルギーを必要とするポリシーを生成します。

本研究は、Mambaバックボンドがコンパクトな状態中心のポリシー学習のための効果的なエンコーダであり、明示的な時間履歴や重いシーケンスモデルに頼ることなく、自然で安定したヒューマノイド歩行行動を合成できることを結論付けています。今後の課題は、ハードウェアへの展開、Sim-to-Real転移、およびオンボード知覚の統合に向けられています。