Learning to Act Through Contact: A Unified View of Multi-Task Robot Learning

技術的概要：接触を通じた行動学習

問題定義
現在のロボティクスにおける強化学習（RL）アプローチは、多くの場合タスク固有の目的関数に依存しており、再学習なしに未見のシナリオへ一般化することに苦慮するポリシーを生み出しています。RL は敏捷な四足歩行や器用な操作といった特定の分野で成功を収めていますが、既存の手法は通常、接触を運動最適化の副産物として扱い、根本的な制御プリミティブとは見なしていません。この抽象化は、歩行から物体操作に至るまで多様な物理的相互作用間、および異なるロボット形態間で技能の転移を制限します。3 次元位置目標や運動参照などの既存の目標表現は、接触のタイミングと配置の決定的な重要性を見落とし、歩行と操作を単一の枠組みの下で統合することを困難にしています。

手法
著者は、接触明示的表現に根ざした統合枠組みを提案します。異なるタスクごとに個別のポリシーを設計するのではなく、このアプローチは接触目標の系列を通じてタスクを定義します。これらの目標は以下を指定します：

• 目標接触位置 ($p^{con}$)
• 接触タイミング/持続時間 ($S$)
• アクティブなエンドエフェクタ（二値インジケータ $I^{con}$）
• 物体姿勢目標（操作タスクの場合）

システムは、これらの接触目標系列を生成する高レベルプランナと、それらを実行する目標条件付き RL ポリシーによって動作します。ポリシーは、特定のロボット形態やタスクの種類に関わらず、関節トルクを用いてこれらの目標を追跡するように訓練されます。

接触フェーズと報酬
この枠組みは、各エンドエフェクタの相互作用を 3 つの明確なフェーズに分解し、制御された接触の生成と解除を可能にします：

1. 到達 (Reach, R): エンドエフェクタが所望の接触位置に向かって移動する。
2. 保持 (Hold, H): エンドエフェクタが達成した位置で接触を維持する。
3. 離脱 (Detach, D): エンドエフェクタが接触を伴わず自由に移動する。

ポリシーを訓練するために、著者は現在のフェーズに基づいて特定の行動を奨励する密な報酬構造を採用します：

• 到達報酬: 接触インジケータが 0 の場合、目標接触位置までの距離を最小化することを奨励する。
• 保持報酬: インジケータが 1 の場合、所望の位置で接触を維持することを奨励する。
• 離脱報酬: インジケータが 0 の場合、意図しない接触を罰する。
• 姿勢報酬: 操作の場合、追加項が物体の位置と姿勢を追跡する。

ポリシーは、固有受容状態（関節位置/速度）、現在の接触目標と次の接触目標、およびコマンド持続時間を観測します。特筆すべきは、この枠組みがシミュレーション内での訓練において、ロボットの足からの明示的な接触センシングに依存していない点です。

主要な貢献

1. 統合された接触明示的枠組み: 著者は、接触目標によってタスクが定義される目標条件付き RL 枠組みを提案しており、これにより単一のポリシーが多様な歩行歩態と操作技能を学習することを可能にします。
2. 形態横断的な実証的検証: この枠組みは、四足歩行ロボットと二足歩行ロボットという形態的に異なるロボット上で、広範なタスクを実行することで検証され、明示的な接触推論が異なる身体性全体にわたって堅牢で動的な行動を促進することを示しています。

実験結果
この枠組みは、3 つの主要なシナリオで評価されました：

1. 四足歩行ロボットの歩行: 単一のポリシーが複数の歩態（トロット、ペース、バウンド、ジャンプ、クローリング）を成功裡に実行し、ギャップの横断を含む困難な地形をナビゲートしました。
2. 二足歩行ロボットの歩行: 単一の二足歩行ロボットポリシーが、二足歩行（歩行、ジャンプ）と四足歩行（クローリング、ペース、ジャンプ）の両方の歩態を実行し、手による支援を含む動作も含まれました。
3. 両手操作: 二足歩行ロボットが、テーブル上の物体の向きを変えることや、持ち上げながら物体の姿勢を追跡することなどの複雑なタスクを実行しました。

一般化に関する知見:

• 未見の速度/方向: 速度目標で訓練されたポリシーと比較して、接触明示的ポリシーは、訓練中に横方向の運動に対する特定の報酬を受け取っていなかったにもかかわらず、横方向の移動や分布外（out-of-distribution）の速度方向に対して著しく優れた一般化を示しました。
• 多歩態対単一歩態: 多歩態ポリシーは、単一歩態ポリシーと比較して、変化するコマンド持続時間全体にわたって接触計画の逸脱（ハミング距離）が低く、歩態間の効果的な補間を示唆しています。
• 未見の物体形状: 操作タスクにおいて、接触明示的ポリシーは、ワンホットタスクエンコーディングを使用するベースラインと比較して、未見の物体形状（円柱状および球状）に対してより優れた一般化を示しました。接触明示的ポリシーは、転がる球状物体上の姿勢を追跡するために、再試行戦略などの創発的行動を示しました。
• 未見の物体姿勢: 接触明示的ポリシーは、訓練分布を超えて外挿された物体姿勢において、ワンホットベースラインと比較して低い追跡誤差と変動性を達成しました。

意義と主張
本論文は、接触を最適化の副産物ではなく、中心的な物理的プリミティブとして扱うことが、ロボットタスクのより根本的な抽象化を可能にすると主張しています。接触目標を通じて歩行と操作を統合することで、このアプローチは単一のポリシーが形態的に異なるシステムや未見のシナリオ間で一般化することを可能にします。著者は、接触明示的ポリシー学習をスケーラブルな loco-manipulation（歩行・操作）の有望な基盤として位置づけ、各新しいタスクごとにゼロから再学習する必要なく適応性を向上させるために、タスク間での共有構造を活用すると論じています。今後の課題として、この低レベルポリシーを学習された高レベルプランナと統合して自律的な長視野タスクを実現すること、およびシミュレーションから実世界への堅牢性を探究することが提案されています。