Learning Reactive Dexterous Grasping via Hierarchical Task-Space RL Planning and Joint-Space QP Control

技術概要：階層的タスク空間 RL 計画と関節空間 QP 制御による反応的な器用な把持の学習

問題定義
多自由度（DoF）を有するハンドを用いた反応的な器用な把持は、ハイブリッドな力学、不連続な接触モード、複雑な摩擦相互作用により、依然として重大な課題です。従来の逐次パイプライン（把持合成、運動計画、軌道追従）は、計算コストと反応性の限界により、動的で非構造化な環境において困難に直面します。一方、強化学習（RL）はモデルフリーな代替手段を提供しますが、単一のエンドツーエンドアプローチには 3 つの決定的な限界が存在します。(1) 物体の多様性に対してスケーリングが不良で計算コストの高いトレーニング、(2) 形式的な安全性保証を欠く予測不能な挙動、(3) 再トレーニングなしに新しい障害物や安全性制約に適応することが困難な操作性の低さです。著者らは、これらの問題が単一のポリシーに過度な学習負担を課し、高レベルのタスク推論、低レベルの運動学的協調、および安全性制約の充足を同時に解決させようとしていることに起因すると主張します。

手法
本論文は、高レベルの空間的意図と低レベルの関節実行を明示的に分離するハイブリッド階層制御フレームワークを提案します。アーキテクチャは 2 つの明確な層から構成されます。

1. 高レベルマルチエージェント RL プランナー（タスク空間）:

   • 人間の運動制御に着想を得て、プランナーは中央集権的トレーニングと分散実行（CTDE）フレームワーク内で訓練される 2 つの専門エージェントに分解されます。
     • アームエージェント（$\pi_{arm}$）: 大域的な輸送を担当し、世界座標系における所望の掌のツイスト（線形および角速度）を出力します。
     • ハンドエージェント（$\pi_{hand}$）: 局所的な操作を担当し、掌座標系に対する指先の所望の線形速度を出力します。
   • 観測: エージェントは、明示的な 3 メッシュや事前計算された把持姿勢を必要とせず、最小体積バウンディングボックス（MVBB）で表現された物体状態と固有状態を利用します。
   • 報酬: システムは、協調を促す共有把持インジケーターとタスク空間の持ち上げ報酬を採用し、加えて動作の滑らかさに対する正則化を適用します。

2. 低レベル関節空間制約付き QP 制御器:

   • 高レベルのタスク空間速度コマンドは、GPU 並列化された二次計画（QP）ソルバーによって処理されます。
   • QP は、厳格な制約条件下で追従誤差を最小化することにより、タスク空間速度を実行可能な関節速度（$\dot{q}_{des}$）へマッピングします。
     • 関節位置および速度の限界。
     • 衝突回避（ロボット - 環境間および自己衝突）。
     • 運動学的実現可能性。
   • QP の出力は、高周波 PD 制御器を介してトルクコマンドに変換されます。
   • 重要なのは、QP ソルバーが RL トレーニングループに直接埋め込まれており、ポリシーが報酬設計を通じて制約を回避することを学習するのではなく、制御器の物理的制約内で動作することを学習することです。

主要な貢献

1. ハイブリッド階層アーキテクチャ: RL と明示的な物理ベース制御器を組み合わせるフレームワークにより、データ効率の良い学習、明示的な制約処理、および操作可能な挙動を実現します。
2. マルチエージェント分解: ポリシーを掌輸送（アーム）と指操作（ハンド）のエージェントに分離することが、単一ポリシーよりも高い性能と高速な収束をもたらすことを実証しました。特に高 DoF のハンドにおいて顕著です。
3. GPU 並列化 QP ソルバー: 各種アーム - ハンド操作タスクに適用可能な、RL トレーニングパイプラインに直接統合された GPU 並列化 QP ソルバーの開発とオープンソース化。
4. ゼロショット転送性: 明示的な物体モデルや事前計算された姿勢なしに多様な物体に対する堅牢な把持を検証し、成功したシミュレーションから実世界への転送を達成しました。

実験結果
このフレームワークは、20 DoF の人型ハンド（ROBOTIS HX5-D20）および 8 DoF の 2 指グリッパーを搭載した 7 DoF アームを使用した広範なシミュレーションおよび実世界ハードウェア実験により検証されました。

• シミュレーション性能: マルチエージェントアプローチは、5F ハンドにおいて81.4% の成功率を達成し、エンドツーエンドのベースライン（13.2%）および単一エージェント階層ベースライン（80.9%）を大幅に上回りました。また、他のアーキテクチャと比較して、優れた姿勢追従精度（位置誤差 4.2 cm、姿勢誤差 15.9°）を示しました。
• シミュレーションから実世界への転送: シミュレーションのみで訓練されたポリシーは、微調整なしに物理ハードウェアに展開されました。変形可能なアイテムを含む26 個の未見物体のうち 22 個を正常に把持・持ち上げました。
• 反応的堅牢性: ハードウェア実験により、接近中に押しやられたスプレーボトルなどの予期せぬ物理的擾乱からの回復能力と、タスク空間軌道を継続的に再計算することによる変形物体（玩具のナマケモノ）の再把持能力が実証されました。
• 操作性: フレームワークはゼロショットの操作性をサポートします。オペレーターはポリシーの再トレーニングなしに、安全性マージン（例：関節速度限界）を動的に調整したり、障害物回避のための反発ポテンシャル場を追加したりできます。

意義と主張
著者らは、タスク空間の意思決定を低レベル実行から構造的に分離することが、純粋な RL アプローチの中核的な限界に対処すると主張します。物理ベースの QP に運動学や安全性などの扱いやすい制約を処理させることで、RL ポリシーは高レベルの戦略的推論に専念できるようになります。この設計は以下の点で優れています。

• 学習負担の軽減と矛盾する報酬信号の回避により、トレーニング収束を加速します。
• 確率的な報酬設計ではなく、決定論的な制約執行を通じてハードウェアの安全性を確保します。
• トレーニング後の安全性マージンや障害物回避戦略の動的調整を可能にするゼロショット操作性を解き放ちます。
• 粗い空間情報（MVBB）のみを使用して物理的擾乱に反応し、未見の物体幾何形状に一般化する能力により、非構造化環境における堅牢性を示します。

本論文は、このハイブリッドアプローチが、学習ベース手法の適応性とモデルベース制御の安全性保証の間のギャップを埋め、反応的な器用な操作のためのスケーラブルな解決策を提供すると結論付けています。