技術要約：Stay Seated – 受動的なキャスター付き移動椅子を用いた全方向ヒューマノイド移動学習

1. 問題の定式化

本研究は、ヒューマノイドロボットにおける座った状態での移動操作（loco-manipulation）の課題、特にキャスターを備えた受動的な移動椅子に座った状態での全方向移動に焦点を当てている。自立姿勢を維持するために関節トルクを継続的に生成する必要がある従来のヒューマノイド移動用の深層強化学習（DRL）とは異なり、このタスクではロボットが体重支持を椅子に委ねる。

核心となる困難さは、特有の接触トポロジーにある：

• 固定されていない骨盤–シート接触： ロボットの骨盤は椅子に剛体として取り付けられていない。椅子が移動する間、滑り落ちることなく接触を維持しなければならない。
• 直接的な足–床推進： ロボットによって推進されるシステムは、ロボットと受動的な椅子を共に移動させるための、断続的な足–床接触に依存している。
• 全方向制御： ロボットは、専用の運動リファレンスや人間のデモンストレーションなしに、あらゆる方向への並進速度コマンド（$v_x, v_y$）およびヨーレート（$\omega_z$）を追従しなければならない。

目標は、座ったまま物体を操作しながら移動できる制御ポリシーを学習することであり、これは、長時間のテーブルトップ作業に向けた効率的な座席移動操作への第一歩となる。

2. 手法

著者らは、mjlab シミュレーションフレームワーク内で 近接方策最適化（PPO） を用いて、標準的な立位速度追従環境を座席移動用に拡張している。

A. システムとモデリング

• ロボット： 29自由度の Unitree G1 ヒューマノイド。
• 椅子： 5つのキャスターと回転するシートを備えた受動的な移動椅子。
• 接触モデリング： 不自然な横滑りを防ぐため、骨盤の衝突メッシュを視覚的なジオメトリに合わせて精緻化している。接触ソルバーは、骨盤–シート間の相互作用をより適切に扱うために、ピラミッド型ではなく楕円摩擦錐を使用している。
• 観測空間：
  • アクター（Actor）： プロプリオセプション（関節位置・速度、胴体角速度、重力投影）と速度コマンドのみを使用する。シム・トゥ・リアル（Sim-to-Real）転送を容易にするため、接触センシング（足–床、骨盤–シート）および椅子の状態は除外されている。
  • クリティック（Critic）： アクターの観測に加え、特権情報（シミュレータ限定の状態である椅子のポーズ、接触力、足の高さを含む）を受け取る。
• 報酬設計： 報酬関数は以下の項を組み合わせている：
  1. タスク報酬 ($r_{task}$): 目標とする並進速度およびヨー速度の追従を促す。
  2. 姿勢報酬 ($r_{posture}$): 過度な胴体や椅子の傾き、および初期の着座姿勢からの関節偏差にペナルティを課す。
  3. 着座状態報酬 ($r_{seat}$): 椅子に対する骨盤の位置を維持し、骨盤–シートの接触を確保することを促す。
  4. ペナルティ: 足の動き、自己衝突、関節制限、および特定の正則化項に対するペナルティを含む。

B. 学習コンポーネントと要因解析

本研究では、3つの特定の学習コンポーネントの影響を評価するために $2^3$ 完全要因デザイン を採用している：

1. 対称性正則化 (SY): 左右対称のデータ拡張と、アクターの損失に対するミラー損失項を適用する。
2. 足の滑りペナルティ (FS): エネルギー消費（輸送コスト、CoT）を削減するために、接触時の接線方向の足の速度にペナルティを課す。
3. コマンドカリキュラム (CC): 低い速度コマンド範囲（$\pm 0.5$ m/s）から開始して、全範囲（$\pm 1.0$ m/s）へと拡大するスケジュール。

著者らは、8つの条件（SY、FS、CCのすべての組み合わせ）をベースラインおよび立位移動ポリシーと比較している。

3. 主な貢献

1. 座席移動の定式化： 本論文は、座席移動を、固定されていない身体–ツール接触と直接的な足–床推進を伴う全方向速度追従問題として定義し、運動リファレンスや人間のデモンストレーションなしで学習可能であることを示した。
2. ゼロショット・シム・トゥ・リアル転送： プロプリオセプションと速度コマンドのみに依存する（接触センシングや椅子の状態推定を含まない）学習済みポリシーは、微調整なしに物理的な Unitree G1 ロボットへ正常に転送された。
3. 学習コンポーネントの分析：
   • FSの限界： 足の滑り（FS）正則化単独では、滑りペナルティを避けるためにロボットが静止してしまう静止局所最適解に収束し、斜め前方向のコマンドへの追従に失敗することが明らかになった。
   • 緩和策： FSを対称性正則化（SY）またはコマンドカリキュラム（CC）と組み合わせることで、FSの重みを再調整することなく、この失敗を防ぐことができる。
   • 対称性の必要性： 立位移動では自然に左右対称の脚の使用が得られるが、座席移動では非対称な解（片方の脚が推進を支配する）が可能になる。SYは、座席タスクにおいてバイラテラルな対称性を強制するために極めて重要であることが示されており、これはハードウェアの寿命と安定性に望ましい。

4. 結果と分析

A. 追従性能

• 成功率： すべての学習済みポリシーは、20秒間のランダムコマンドによるロールアウトにおいて、99%以上の割合で着座状態を維持した。
• 追従精度： 最も優れた性能を示した条件（SY+CC および SY+FS+CC）は、立位ポリシーと同等か、あるいはわずかに優れた並進追従誤差を達成した。
• FSの影響： FSのみを使用したポリシーは高い分散を示し、静止局所最適解のために斜め方向のコマンドへの追従に失敗することが多かった。SYまたはCCと組み合わせた場合、追従性能は大幅に向上した。

B. 歩行特性とエネルギー効率

• 方向依存のCoT： 輸送コスト（CoT）は、後退 < 横方向 $\ll$ 前進 の順となった。
  • 後退/横方向： システムを押し出すために、接地した脚の伸展（踵を接地させたまま膝を伸ばす）によって特徴付けられる。
  • 前進： 踵が最初に接触し、その後に膝の屈曲が続く動作によって特徴付けられる。
• 効率 vs 追従： FSはCoTを減少させ（エネルギー効率を向上させ）たが、追従誤差を増大させた。これは、足の動きを抑制しすぎると、速度追従に必要な推進動作が妨げられるというトレードオフが存在することを示している。
• 対称性： SYは、縦方向の運動中に左右対称の脚の挙動を強制することに成功したが、SYのないポリシーでは、一方の脚が推進を支配する非対称な戦略が発達することが多かった。

C. シム・トゥ・リアル展開

ポリシーは物理的な Unitree G1 に展開された。ロボットは、プロプリオセプション入力と速度コマンドのみを使用して、座った状態で前進、後退、横移動、および旋回動作を正常に生成し、接触センシングを用いなくてもこのアプローチが実行可能であることを実証した。

5. 重要性と主張

本論文は、座席移動における特有の接触力学を扱うために、特定の正則化とカリキュラム戦略を採用すれば、標準的な立位速度追従環境を最小限に拡張するだけで、座席移動を習得できると主張している。

• 補完性： 座席行動は、立位行動を補完するものとして提示されている。これは、エネルギー効率（体重支持のための保持電流が不要）と、立ち上がることなく作業位置を変更できる能力を提供する。
• 堅牢性： 接触センシングや椅子の状態推定なしに訓練されたポリシーが物理的なロボットに汎化できることが示されており、この複雑な接触に富むタスクにおいてプロプリオセプションと速度コマンドが十分であることを示唆している。
• 方法論的洞察： 本研究は、足の滑りペナルティはエネルギー効率に有益であるが、座席シナリオにおける破滅的なポリシー崩壊（静止局所最適解）を避けるためには、カリキュラム学習や対称性制約と慎重にバランスを取る必要があることを強調している。

著者らは、座席移動がすべての指標ですべての立位移動より優れていると主張しているのではなく、特定のアーキテクチャおよび学習上の調整を用いることで、効果的に学習できる、実現可能で効率的かつ明確に区別された動作モードであることを強調している。