💻 computer science

Constrained Whole-Body Tracking for Humanoid Robots

本論文では、ヒューマノイドロボットの追従性能を大きく損なうことなく、衝突回避や関節リミットといった任意の安全制約を強制するために、運用空間制御と制御バリア関数を強化学習ポリシーに統合した、リアルタイムかつ微分可能な制御フレームワークであるConstrainedMimicを提案する。

原著者： Daniel Morton, Pranit Mohnot, Marco Pavone

公開日 2026-06-02

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Daniel Morton, Pranit Mohnot, Marco Pavone

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

人型ロボットを、試行錯誤（強化学習と呼ばれるプロセス）を通じて人間の動きを模倣することを学んだ、非常に才能豊かで俊敏なダンサーだと想像してください。このダンサーは驚くほど速く、バク宙や複雑なテレオペレーション（遠隔操作）を行うことができます。しかし、問題があります。ダンサーは動き出すことに夢中すぎるあまり、うっかり自分の足に躓いたり、テーブルにぶつかったり、関節をひねって壊してしまうかもしれません。彼らはダンスの仕方は学びましたが、「物に当たってはいけない」とか「バランスを保て」といったルールは学んでいなかったのです。

この論文では、ConstrainedMimicと呼ばれる新しいシステムを紹介しています。これは、ダンサーのすぐ横に立っている**非常に油断のないセーフティ・コーチ（安全指導員）**のようなものです。このコーチは、ダンサーに新しい動きを教えるのではなく、ダンスを台無しにすることなく、安全を確保するために必要な分だけ、リアルタイムでダンサーの手足を優しく押し戻したり修正したりします。

このシステムがどのように機能するかを、シンプルな概念に分解して説明します。

1. セーフティ・コーチを適用する2つの場所

論文では、この安全チェックをロボットの「脳」のどの2つのポイントに適用できるかを説明しています。

入力（プラン/計画）: ダンサーが動き出す前に、コーチは「台本」（人間やコンピュータから送られてくる動作計画）を確認します。もし台本に「自分の顔を叩くような方法で腕を交差させる」と書かれていたら、コーチはダンサーがそれを見る前に台本を修正します。これは**制約付きリターゲティング（Constrained Retargeting）**と呼ばれます。
出力（アクション/動作）: 台本自体は問題なくても、ダンサーが興奮しすぎて動きが速くなりすぎ、その結果、目標を超えてしまい、何かにぶつかってしまうことがあります。この場合、コーチはダンサーが動こうとする瞬間に待ち構え、実際の筋肉への指令に対して「ブレーキ」や「ステアリング修正」をかけます。これは**ダイナミック・セーフティ・フィルター（Dynamic Safety Filter）**と呼ばれます。

2. 「見えない壁」のアナロジー

このコーチの核となる技術は、**制御バリア関数（Control Barrier Functions: CBFs）**と呼ばれるものです。

ロボットが、ゴムのような質感の見えない壁で満たされた部屋を歩いていると考えてください。

衝突回避: ロボットがテーブル（または自分の腕）に近づきすぎると、ゴムの壁が押し返してきます。コーチは、ロボットがテーブルに触れない程度に、正確にどれだけ押すべきかを計算しますが、それ以上に押しすぎることはありません。
関節の制限: ロボットの肘に、後ろに曲がりすぎるのを防ぐためのゴムバンドがついていると想像してください。コーチは、そのバンドが切れるほど強く引っ張られないように制御します。
バランス（重心）: ロボットが小さな見えないプラットフォーム（足）の上に立っているとします。もしロボットが傾きすぎて、その「重心」がプラットフォームの端から外れそうになったら、コーチは即座にロボットの体重を中央に戻し、転倒を防ぎます。

3. なぜ一つのチェックだけでは不十分なのか

研究者たちは、シミュレーション上のロボット（Unitree G1）を用いてテストを行い、興味深い発見をしました。

「台本」だけでは不十分: たとえ「安全な」計画を与えたとしても、ロボットが速すぎて目標をオーバーシュートし、衝突してしまうことがあります。これは、ドライバーに安全なルートの地図を与えても、スピードが出すぎれば曲がり角を通り過ぎてしまうようなものです。
「アクション」のチェックが不可欠: オーバーシュートによる衝突を防ぐためには、実際の動き（出力）をチェックするコーチが必要になります。
最高の組み合わせ: 最も安全な方法は、これら両方のチェックを使用することです。プランを修正し、かつアクションを修正します。これは、ドライバーが道を外れそうになった時に、地図を直すだけでなく、実際にハンドルを握って修正してくれる副操縦士がいるようなものです。

4. 「最小限の押し戻し」のルール

このシステムの重要な特徴は、介入が最小限であることです。
ロボットが針に糸を通すような繊細な作業をしていると想像してください。もし安全制約（衝突回避など）が作動した場合、コーチはロボットを完全に停止させることはしません。その代わりに、安全を確保するために、元の動きに対して最小限の調整のみを行い、ロボットがタスクを完了できるようにします。これは、ロボットの本来の目的を可能な限り尊重することを意味します。

5. スピードと実世界での使用

このシステムは非常に高速です。標準的なコンピュータチップ（CPU、GPU、さらにはTPU）上で、毎秒300回から500回の速度で動作します。

なぜスピードが重要か: もしコーチの反応が遅ければ、コーチが反応する前にロボットが衝突してしまいます。このシステムは非常に高速であるため、一瞬のミスを捉えることができ、実世界での使用に耐えうる安全性を持っています。

結果のまとめ

研究者たちは、以下のようなシナリオをシミュレーションでテストしました。

自己衝突: ロボットが腕を交差させようとして、自分の顔にぶつかるケース。
「空手チョップ」: 人間の手が、ロボットの顔に向かって高速で動くケース（ロボットが学習していなかったシナリオ）。
バランス: ロボットが大きく傾き、転倒してしまうケース。

結果は明確でした：

コーチがいない場合、ロボットは頻繁に衝突したり、安全規則に違反したりしました。
「プラン」のチェックのみの場合、改善は見られましたが、速度によるオーバーシュートで依然として衝突することがありました。
「アクション」のチェックのみの場合、非常に安全でしたが、時として慎重になりすぎる傾向がありました。
両方を使用した場合は、ロボットはほぼすべてのテストにおいて安全を維持し、タスクを実行しながら衝突を回避し、バランスを保つことができました。

要約すると、ConstrainedMimicは、学習ベースの非常に俊敏なロボットに対し、ロボット自身が自力で学ぶことのできない「安全な本能」を即座に与える方法です。これにより、ロボットを再学習させたり、速度を大幅に落としたりすることなく、自分自身や周囲の人を傷つけることなく、安全に動作させることが可能になります。

技術要約：ヒューマノイドロボットのための制約付き全身トラッキング

問題提起
強化学習（RL）の最近の進展により、ヒューマノイドロボットは歩行、テレオペレーション、操作において、驚異的な全身の敏捷性を実現できるようになりました。しかし、安全性と制約の遵守（特に、訓練後に指定されたもの：例として、未知の障害物、動的な環境、または特定の動作制限）を保証するという点において、依然として重大なギャップが存在します。既存のRLポリシーは、予期せぬシナリオに直面した際、衝突回避、関節リミット、または安定性のための固有の保証を欠いていることがよくあります。理想的な実行時安全フレームワークは、最小限の介入で済み、ポリシーに依存せず、任意の制約に対して容易に設定可能であり、かつポリシーの再学習を必要とせずにリアルタイム速度（50 Hz以上）で動作できるものである必要があります。

手法：ConstrainedMimic
著者らは、操作空間制御（Operational Space Control）と制御バリア関数（CBF）の原理を統合し、RLトラッキングポリシー内の安全性を強制する制御フレームワークであるConstrainedMimicを提案しています。このフレームワークは、モーション・トラッキング・スタックにおける2つの自然な介入ポイント、すなわち「入力運動学的参照」と「出力関節コマンド」において動作します。本手法は、JAXライブラリを用いた微分可能な二次計画法（QP）として定式化された、3つの異なる制約強制手法を採用しています。

制約付きリターゲティング（入力レベル）：
- 人間の動きをロボットの運動学にマッピングする逆運動学（IK）のリターゲティングプロセス中に適用されます。
- 差分IK問題の中に直接CBFが組み込まれます。
- 目的関数は、接触制約付き運動学モデルを介して、安全制約（例：自己衝突回避）を満たしながらトラッキング誤差を最小化します。
- これにより、RLポリシーに供給される参照動作自体が、本質的に安全なものになります。
運動学的安全フィルタ（入力レベル）：
- すでにリターゲティングされた参照（例：オフラインの動作）に対して適用されます。
- 制約を満たすために、参照動作に対して最小限の介入による修正を計算するフィルタとして機能します。
- 階層的な目的関数を利用します。プライマリタスクは作業空間におけるエンドエフェクタと重心（CoM）の追従を行い、セカンダリタスクは零空間（Null space）における姿勢の追従を行います。
- CBF制約は、現在の接触モード（例：足の滑りを防ぐ）を尊重するために、完全な接触制約付き運動学に基づいて構築されます。
動的安全フィルタ（出力レベル）：
- RLポリシーが出力する関節コマンド（PD目標値）に対して、実行の直前に適用されます。
- これは最終的な防御層であり、完全な接触制約付きおよびアンダーアクチュエート（劣駆動）のシステムダイナミクス上で動作します。
- 階層構造は、接地している足の接触力追従を最優先とし、次いで加速度の観点から定義された運動および姿勢タスクを優先します。
- QPは安全なアクチュエータトルク（ $\Gamma_{body}$ ）を解出し、それがロボットのための安全なPD目標値へとマッピングされます。

主な貢献

フレームワーク・アーキテクチャ： ポリシーの入力（運動学）と出力（動力学）の両方における安全性強制ポイントを特定し、制約付きリターゲティング、運動学的フィルタ、および動的フィルタを組み合わせた統一フレームワーク（ConstrainedMimic）を提案しました。
タスク一貫性のあるフィルタリング： モーション・トラッキングの暗黙的なタスク構造を尊重するQP目的関数と、完全な接触制約付き運動学および動力学に基づくCBFを構築しました。これにより、制約が有効な場合でも、フィルタが最も優先度の低いコンポーネントのみを修正することで、ポリシーへの干渉を最小限に抑えることができます。
微分可能性とパフォーマンス： システム全体が完全に微分可能であり、JAXで実装されているため、CPU、GPU、およびTPU上で動作可能です。300〜500 Hzの周波数を達成しており、これは典型的なポリシーの周波数（50 Hz）を大幅に上回り、制御ループよりも高いレートでの安全性強制を可能にします。
ゼロショット適応： 本フレームワークにより、事前学習済みのポリシーに対して、再学習を行うことなく、任意の実行時制約を強制することが可能です。

実験結果
実験は、Unitree G1ヒューマノイドを用い、未修正の学習済みポリシー（TWIST2およびSONIC）を使用してシミュレーション内で行われました。

ベースラインの限界： 制約なしのポリシーは、訓練時に既知であったシナリオ（例：自己衝突）に対しても制約を満たすことができず、また動的なオーバーシュート（例：ロボットが安全な参照値を通り過ぎる「空手チョップ」のようなシナリオ）によって外部障害物との衝突を防ぐこともできませんでした。
各レイヤーの有効性：
- 運動学のみの手法は、制約違反を大幅に減少させましたが、動的なオーバーシュート（例：安全な参照値を通り過ぎる現象）による違反を防ぐことはできませんでした。
- 動力学のみのフィルタは、トルクレベルで動作し、違反を大幅に減少させましたが、ダイナミクスの複雑さにより、軽微な違反が発生する場合がありました。
- *結合（運動学＋動力学）*による強制は、最も信頼性の高い安全性を提供し、違反フレーム数をほぼゼロ（例：自己衝突に対して0.02%）に減少させ、最大違反距離を最小限に抑えました。
接触制約： CBFの定式化において接触制約を無視すること（例：制約のない運動学を仮定すること）は、実行不可能な動作（例：足が地面から離れる）や制約の不一致を招くことが本研究で明らかになりました。提案手法は、接触モードを正しく考慮しています。
観察された限界：
- 短ホライゾンでの失敗： 単一ステップのCBFは、長期間の安全性（例：障害物の下で「しゃがむ」か「リムボー（低く潜り抜ける）」かを決定する）に必要な離散的なモード変更に苦慮します。
- 接触モードの破壊： 動的な障害物に対する安全性を維持するには、現在の接触モードを破る（例：ステップを開始する）必要がある場合があり、これには現在のフレームワークでは完全には自動化されていない、より高次の離散的な意思決定が必要です。

意義と主張
本論文は、ConstrainedMimicが学習ベースの制御の敏捷性と、モデルベース制御の安全性保証の間の溝を埋めるものであると主張しています。ポリシーを「基盤モデル」として扱い、その上に実行時安全フレームワークを重ねることで、以下のことを実証しています。

訓練時に未知であった安全性制約を、再学習なしで強制できること。
本フレームワークは、動的な実現可能性と、多数の非凸な状態制約をリアルタイムで処理できること。
本アプローチは計算量的に扱いやすく、スケーラブルであり、エッジデバイス上で効率的に動作すること。

著者らは、現在のシステムが状態推定と接触モードに関する強い仮定に依存していることを認め、高度な意味論的推論（例：いつステップを踏むべきかという決定）が今後の課題であることを示唆しつつも、限界について謙虚な姿勢を保っています。また、動的フィルタは最小限の介入であるものの、分布外（OOD）の状態を誘発する可能性があるという点についても言及しており、これを今後さらに調査していく予定です。