Contact-Guided Exploration for Non-Prehensile Locomanipulation with Multi-Critic RL

技術要約：マルチクリティックRLを用いた非把持型ロコマニピュレーションのための接触誘導型探索

問題提起
非把持型マニピュレーション（押す、引く、滑らせる）と移動プラットフォームを組み合わせることは、非構造化環境において重い物体や嵩高い物体を移動させるための多用途な解決策を提供します。しかし、これらの相互作用を制御することは、剛体把握ではなく一方向の接触制約や摩擦錐に依存するハイブリッドな力学特性のため、困難を極めます。深層強化学習（DRL）は、従来のモデル予測制御（MPC）に代わるモデルフリーな選択肢を提供しますが、ロコマニピュレーション・タスクにおける顕著な「探索のボトルネック」に直面します。これらの長期ホライゾン・タスクにおいて、ランダムな探索では有効な接触を得られることが稀であり、報酬が疎（スパース）になります。その結果、エージェントはエネルギーや運動のペナルティを最小化するために接触自体を回避する局所解に収束してしまい、必要な相互作用スキルを学習できないことがよくあります。さらに、既存の手法は、一様な表面サンプリングでは運動学的に実行不可能な接触点を生じさせてしまうような、複雑で非凸な物体の幾何学的形状に苦慮することが多いです。

手法
著者らは、**マルチクリティック強化学習（RL）フレームワーク内で実装された接触誘導型探索（Contact-Guided Exploration）**戦略を提案しています。コアとなるアーキテクチャと学習プロセスは以下の通りです。

• 物体中心の接触プライア（事前知識）: 一様なサンプリングの代わりに、システムは汎用的な把持アルゴリズムを利用して、物体のメッシュ上の候補となる相互作用点（例：椅子の脚、ハンドル）を生成します。学習エピソード中、エンドエフェクタを誘導するために、この集合から特定のターゲット接触点がサンプリングされます。
• マルチクリティック・アーキテクチャ: 本フレームワークは、3つの異なる報酬グループに対応する、共有バックボーンと特化した3つのクリティック・ヘッドを採用しています。
  1. タスク報酬 ($r_{task}$): 目標達成（物体の位置と速度）に焦点を当てます。
  2. 探索報酬 ($r_{exp}$): サンプリングされた接触点にエンドエフェクタを到達させることを促す、密な（デンスな）報酬です。
  3. 正則化報酬 ($r_{reg}$): 急激な動き、エネルギー消費、および関節制限（例：フックの高さ）の違反に対してペナルティを課します。
• 加重アドバンテージ混合: ポリシーは、複合アドバンテージ関数 $A_t = \sum w_h A^h_t$ を用いて更新されます。ここで、$w_h$ は各報酬グループの重みを表します。
• 減衰スケジュール: 重要な構成要素は、クリティックの重みの動的なスケジューリングです。探索の重み（$w_{exp}$）は、学習の初期段階（ステップ5k–10k）において0.1から0.01へと線形にアニール（減衰）される一方、正則化の重みは増加します。これにより、ポリシーが最初に意味のある接触を見つけることを優先し、その後、タスクのパフォーマンスと安定性のために最適化へと段階的に移行することを強制し、探索フェーズと最終的なタスク目的を切り離します。
• システム制御: ハイブル・ポリシーは、目標とするアーム関節位置、ベース速度、およびベースの高さを出力します。ベースの高さは、アームが低く伸びた際に肩関節の限界に達するのを防ぐために能動的に調整されます。低レベルの脚コマンドは、凍結された学習済みロコモーション・ポリシーによって処理されます。

主な貢献

1. 接触誘導型探索戦略: 専門家のデモンストレーションや一様なサンプリングに頼るのではなく、把持アルゴリズムから得られた物体中心のプライアを用いて、意味のある相互作用領域へとRLの探索を導く新しいアプローチ。
2. 減衰を伴うマルチクリティック定式化: 影響力が段階的に減衰する専用の探索クリティックの実装。これにより、エージェントは接触に富む行動を早期に学習し、その後、探索行動に縛られることなく、堅牢でタスクに最適なポリシーへと洗練させることができます。
3. 体系的な評価とハードウェア検証: ボックス押し、椅子輸送、食洗機の開閉タスクにわたる広範な評価。決定的なことに、椅子の輸送ポリシーは、未知の物体形状や質量に対してゼロショット汎化を示すことを実機（四足歩行型モバイルマニピュレータ「ALMA」）上で検証されました。

結果

• シミュレーション性能: 提案手法（マルチクリティックPPO + 重みスケジュール）は、椅子の輸送において**94.1%**の成功率を達成しました。これは、標準的なPPO（「接触ミス」率が高かった）や、固定重みのマルチクリティック・ベースライン（持続的な探索インセンティブにより「転倒」率が高かった）を大幅に上回っています。
• 失敗モード分析: 本手法は、「接触ミス」の問題を効果的に軽減（無視できるレベルまで減少）し、標準的なベースラインが不安定な学習や局所解に苦戦した一方で、「転倒」イベントを最小限（4.4%）に抑えました。
• 実機展開: 四足歩行ロボットALMAにおいて、本ポリシーは4種類の未知のIKEA製品（折りたたみ椅子や三本脚のテーブルを含む）に対して**69.0%**の総合成功率を達成しました。システムは以下を示しました。
  • 汎化性能: ファインチューニングなしでの、非対称かつ非標準的な幾何学的形状の操作。
  • リアクティブなリカバリ: 滑りや失敗した試行の後に、自律的に再計画し、接触を再確立する能力。
  • 高ペイロードへの対応: アームの静的定格ペイロードを超える、追加の5kgの荷重（合計6.5kg）を載せた椅子を、地面の支持と移動ベースの力学を活用して輸送することに成功。
  • 外乱抑制: 輸送中の物理的なプッシュからの復帰。
• 関節を持つ物体: 食洗機の開閉タスクでは、ポリシーはキネマティクスが変化するのに応じて、ハンドルからドアパネルへと接触を動的に切り替えるシーケンスを学習し、標準的なPPOと比較してアームが関節限界付近に滞在する時間を59%削減しました。

意義
本論文は、このアプローチが、学習プロセスを構造化することによって、非把持型ロコマニピュレーションにおける報酬の希薄さという根本的な困難に対処していると主張しています。減衰スケジュールを備えたマルチクリティック・アーキテクチャを通じて探索とタスク目的を分離することで、本システムは、ペナルティを回避することと接触を見つけることの間のトレードオフを回避します。この研究は、接触に富んだ重量級のマニピュレーションが、専門家のデモンストレーションなしでゼロから学習可能であり、多様な物体の形態や質量に対して、シミュレーションにおける堅牢な性能と展開可能な挙動を実現できることを示しています。著者らは、有望な結果である一方で、外部のモーションキャプチャへの依存がフィールド展開を制限していると述べており、今後の課題として、ハイパーパラメータへの感度を低減するための適応的なパフォーマンスベースのカリキュラムの探索を挙げています。