FAME: Force-Adaptive RL for Expanding the Manipulation Envelope of a Full-Scale Humanoid

本論文は、外部からの手への力を推定して潜在コンテキストに条件付ける強化学習フレームワーク「FAME」を提案し、これにより力/トルクセンサーなしで二足歩行ヒューマノイドの把持操作範囲を拡大し、外乱に対するバランス維持能力を大幅に向上させることを示しています。

要約

人間型ロボットが「重いものを持ちながら」転ばないための魔法の技術：FAME の解説

この論文は、**「両手で重いものを持ち上げたり、引っ張ったりしている最中に、人間型ロボットがどうやってバランスを保つのか？」**という難しい問題を解決する新しい技術「FAME」について書かれています。

まるで、**「片手に重い荷物を持ち、もう片手で壁を押しながら、揺れる船の上で直立不動でいようとする」**ような状態を想像してみてください。普通なら、荷物の重さや押す力で体が傾いて転んでしまいますよね。でも、この FAME という技術を使えば、ロボットはそれを上手に乗り切れるようになります。

以下に、専門用語を排して、身近な例え話で説明します。

---

1. 問題：ロボットは「手」を使うと「足」が危なくなる

人間型ロボットが何かを操作する（物を掴む、押す、引く）とき、その力は腕から体全体、そして足元まで伝わります。

• 例え話： あなたが重い箱を両手で持ち上げようとしたとき、箱が重すぎると、無意識に足を開いたり、腰をかがめたりしてバランスを取りますよね。ロボットも同じです。でも、従来のロボットは「荷物の重さ」や「腕の角度」を事前に正確に計算して、足でバランスを取るのが非常に苦手でした。特に、荷物が揺れたり、腕の位置が変わったりすると、パニックになって倒れてしまいます。

2. 解決策：FAME（フェイム）の「第六感」

この研究チームは、FAME（Force-Adaptive RL for Expanding the Manipulation Envelope）という新しい AI 技術を開発しました。

FAME の仕組みは、**「ロボットに『第六感』を持たせる」**ようなものです。

• 従来のロボット： 「荷物が重いから、足で頑張ろう！」と、荷物の重さを直接感じ取れず、ただ必死に足で踏ん張ろうとして失敗します。
• FAME を使ったロボット：
  1. 腕の形と力の「匂い」を嗅ぐ： ロボットは手首にセンサー（力計）を付けていません。でも、モーターの電流や関節の動きから、「あ、今、左腕に 30 ニュートンの力が掛かっていて、腕はこう曲がっているな」という情報を頭の中で計算し、**「力と姿勢の組み合わせ」という「隠れたヒント（潜在コンテキスト）」**を瞬時に読み取ります。
  2. バランスを調整する： その「ヒント」を元に、足元の制御を即座に変えます。「あ、左に引っ張られているから、右足を少し前に出して、腰を低くしよう」というように、**「状況に合わせて足運びを変える」**ことができます。

3. 練習方法：「シミュレーション」での過酷なトレーニング

このロボットは、実際に重いものを持って練習するのではなく、コンピューターの中（シミュレーション）で、ありとあらゆる「悪条件」を体験させて育てられました。

• 練習のメニュー（カリキュラム）：
  • 最初は、腕を少し動かすだけ。
  • 徐々に、腕を大きく広げたり、重い荷物をぶら下げたり。
  • さらに、**「手からあらゆる方向に、ランダムに強い力をぶつけてくる」**という過酷な訓練を行いました。
  • これを何千回も繰り返すことで、ロボットは「どんな変な力がかかっても、足でバランスを取る方法」を自分で学び取りました。

4. 実証実験：Unitree H12 という実機での活躍

この技術を、Unitree H12という実物の巨大な人間型ロボットに搭載してテストしました。

• 実験 1（非対称な引っ張り）： 片方の腕だけで重い荷物を引っ張る。
  • FAME なし： 体が傾き、転倒。
  • FAME あり： 荷物の重さを察知し、足でバランスを取りながら安定して立ち続ける。
• 実験 2（対称な持ち上げ）： 両手で重い荷物を上げる。
  • FAME なし： 荷物の重さに耐えきれず、ふらついて転倒。
  • FAME あり： 両方の腕の力を感知し、全身で力を分散させて安定。

結果：
FAME を使ったロボットは、73.8% の確率でバランスを保てましたが、FAME を使わない従来のロボットは29.4% しか成功できませんでした。つまり、「転ばずに荷物を扱える範囲（操作のEnvelope）」が劇的に広がったのです。

まとめ：なぜこれがすごいのか？

この技術のすごいところは、**「特別な力センサー（手首の計測器）がなくても、ロボットが自力で『力の感覚』を再現できる」**点です。

• 従来の方法： 高価なセンサーを付けて、そのデータを見て制御する。
• FAME の方法： 関節の動きやモーターの反応から、AI が「あ、今こんな力が掛かっているんだな」と推測して、瞬時にバランスを取る。

これは、**「目隠しをしていても、風の流れや地面の感触から、自分がどうバランスを取ればいいか分かるようになる」**ような技術です。

今後は、工場で重い箱を運んだり、災害現場で瓦礫を動かしたりする際、ロボットがより安全に、より人間のように柔軟に動けるようになるでしょう。FAME は、ロボットが「力仕事」を本格的にこなせるための、重要な一歩となりました。

技術概要

FAME: 全サイズヒューマノイドの操作範囲を拡大するための力適応型 RL

本論文は、コロンビア大学（University of Colorado Boulder）の Niraj Pudasaini らによって提案された、FAME (Force-Adaptive RL for Expanding the Manipulation Envelope of a Full-Scale Humanoid) という新しい強化学習フレームワークについて述べています。この研究は、両手操作（二腕操作）中に外部から加わる力に対して、ヒューマノイドロボットが安定した立ち姿勢を維持するための課題を解決するものです。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題定義 (Problem)

ヒューマノイドロボットが人間中心の環境で活動する際、道具や物体との相互作用には安定した下半身制御と協調した両腕操作が不可欠です。しかし、両手で物体を操作する際、手首に加わる外力は運動連鎖を通じて全身に伝播し、下半身のバランスを直接乱します。

• 課題: 外部からの手への力が大きくなったり、腕の姿勢が変化したりすると、ロボットは転倒のリスクに直面します。
• 操作範囲 (Manipulation Envelope): ロボットが安定した立ち姿勢を維持できる「許容される外力の範囲」と「腕の配置の範囲」を指します。
• 既存手法の限界:
  • 従来のモデルベース手法（LIPM, MPC など）は、大きな外力や動的な条件下では困難に直面します。
  • 深層強化学習（DRL）も有望ですが、外力の大きさ・方向と腕の幾何学的配置が複雑に絡み合う高次元の状態空間を訓練中に網羅的に探索することは困難です。
  • 既存の力適応制御は、主に既知の擾乱モデルの処理や、力そのものの最大化に焦点を当てており、操作に伴う不確実な外力に対する「適応的な立ち姿勢制御」のための潜在表現の学習には至っていませんでした。

2. 手法 (Methodology)

FAME は、**「上半身の関節配置」と「両手間の相互作用力」をエンコードした潜在変数（Latent Context）**に基づいて、立ち姿勢制御ポリシーを条件付ける（Conditioning）アプローチを採用しています。

A. フレームワークの構成

システムは以下の 2 つの主要コンポーネントで構成されます（図 2 参照）：

1. 上半身コンテキストエンコーダ (Upper-Body Context Encoder):
   • 入力： torso と腕の関節位置（15 次元）＋ 両手首の相互作用力（6 次元）。
   • 出力： 8 次元の潜在コンテキストベクトル $z_t$。
   • このエンコーダは、上半身の姿勢と外力の結合効果（Coupling）を捉え、下半身制御ポリシーに渡します。
2. ベース立ち姿勢ポリシー (Base Standing Policy):
   • 潜在変数 $z_t$ を条件として受け取り、現在の負荷状態に応じて下半身の制御戦略を適応させます。
   • 学習アルゴリズム： PPO (Proximal Policy Optimization)。

B. 訓練戦略

• 多様な外力の注入: 訓練中、各手首に球面上からランダムにサンプリングされた 3 次元の外力を適用します。
• 上半身姿勢カリキュラム (Pose Curriculum): OpenHomie に倣い、訓練の進行とともにランダムな腕のターゲット姿勢の範囲を段階的に拡大します。これにより、多様な腕の配置下でのバランス制御を学習させます。
• シミュレーションから実機への転移 (Sim-to-Real):
  • 訓練時: 外力を直接サンプリングしてエンコーダに入力します。
  • 実機デプロイ時: 力/トルクセンサーを装着せずに、関節トルクとロボットの剛体ダイナミクス（ヤコビアン行列）を用いて手首の相互作用力を推定します。これにより、推定された力をエンコーダに入力し、オンラインで適応を可能にします。

C. ベースラインとの比較

研究では以下の 3 つのバリアントを比較しました：

1. Base: カリキュラムもエンコーダもなし（固定姿勢、力条件なし）。
2. Base+Curr: 上半身姿勢カリキュラムあり、エンコーダなし（力情報を明示的にエンコードしない）。
3. FAME: 姿勢カリキュラム＋力適応型エンコーダ（提案手法）。

3. 主要な貢献 (Key Contributions)

1. 力適応型立ち姿勢フレームワーク FAME の提案: 上半身の関節状態と手首への外力の結合を潜在表現としてエンコードし、多様な二腕操作条件下で下半身の安定性を維持する手法。
2. センサーレス実装戦略: 手首の力/トルクセンサーを必要とせず、関節トルクとロボットのダイナミクスから外力を推定し、オンライン適応を可能にする手法。
3. 操作範囲の拡大: 提案手法により、安定した立ち姿勢を維持できる外力の範囲が大幅に拡大しました。
4. 実機での検証: 実機 Unitree H12 上で、非対称な片腕負荷や対称な両腕負荷などのシナリオにおいて、ロバストな立ち姿勢を達成しました。

4. 結果 (Results)

シミュレーション結果

5 つの異なる腕の配置（C1-C5）とランダムな外力条件下で評価を行いました（500 試行）。

• 平均成功率:
  • FAME: 73.84%
  • Base+Curr (カリキュラムのみ): 51.40%
  • Base (ベースライン): 29.44%
• 考察:
  • Base ポリシーは対称的な姿勢ではある程度機能しますが、非対称な姿勢（C1, C2, C5）では成功率が急激に低下しました。
  • Base+Curr は姿勢の多様性を学習しましたが、外力の影響を明示的にエンコードしないため、非対称な擾乱に対しては FAME よりも劣る結果となりました（特に C5 で 56.0%）。
  • FAME は、外力と姿勢の結合を潜在変数として明示的に捉えることで、すべての配置で高い成功率を達成し、特に困難な非対称な状況でも 80% 以上の成功率を記録しました。

実機実験 (Unitree H12)

Unitree H12 全サイズヒューマノイドロボット上で、以下のシナリオで検証を行いました：

• RE1 (非対称片腕負荷): 片腕で 30N の荷重を持ち、引き抜く動作。
• RE2 (対称両腕負荷): 両腕で荷重を支える動作。
• 結果:
  • FAME: 外部負荷下でも安定して立ち姿勢を維持し、関節の位置が nominal な姿勢の近くに保たれました。
  • Base+Curr: 外力の影響を適切に補償できず、関節位置が逸脱し、最終的にバランスを失って転倒しました。
  • 髋関節ピッチ、足首ピッチ、肘関節の軌跡において、FAME が外力に対して適切にトルクを制御し、安定性を保っていることが確認されました。

5. 意義と結論 (Significance & Conclusion)

FAME は、ヒューマノイドロボットが複雑な両手操作タスクを実行する際の根本的な課題である「外力によるバランスの崩壊」に対する画期的な解決策を提供します。

• 技術的意義: 従来の「環境のランダム化（Domain Randomization）」や「単純な姿勢学習」を超え、「力と姿勢の結合構造」を学習した潜在表現を用いることで、ロボットが外力の方向と大きさを即座に理解し、適応的なバランス制御を行うことを可能にしました。
• 実用性: 高価な手首の力/トルクセンサーを不要とし、既存の関節トルクセンサーとモデルベース推定のみで実装可能であるため、実世界のヒューマノイドロボットへの導入コストを大幅に削減します。
• 将来的展望: この手法は、ヒューマノイドが重い物体を運搬したり、工具を使用したりする際の実用的な「操作範囲（Manipulation Envelope）」を大幅に拡大し、人間中心の環境での自律的な作業能力を向上させる基盤技術となります。

本論文は、シミュレーションと実機実験の両面でその有効性を証明し、ヒューマノイドの力適応制御における新たな基準を示しました。