技術要約: AnyMug – 観測・行動の正規化によるポーズに依存しないロボットの機能的把持

1. 問題設定

本論文は、マグカップのハンドル（取っ手）を掴むというタスクに特化した、**機能的ロボット把持（functional robotic grasping）**の課題に取り組んでいる。一般的な把持とは異なり、機能的把持では、その後のタスク（例：注ぐ動作）を可能にするために、物体の特定の部位（ハンドル）と相互作用する必要がある。このタスクは以下の要因により困難である：

• 幾何学的多様性: ハンドルは細く、曲線的であり、マグカップの個体ごとに大きく異なる。
• ポーズへの敏感性: マグカップは異なる位置、ハンドルの向き、および「 upright（正立）」と「inverted（反転）」という2つの明確なポーズカテゴリで出現する。
• 既存手法の限界:
  • 把持ポーズ検出（オープンループ）: 6自由度または7自由度の把持ポーズを予測する手法は、特に細いハンドル構造において、推定誤差に対して非常に敏感である。
  • 学習された視覚運動方策（クローズドループ）: 標準的な方策は、あらゆる可能な配置に対して、視覚的外観と行動方向の間の結合された変動を暗黙的に学習しなければならず、汎用性が制限され、配置に依存した冗長な戦略を学習する必要がある。

目標は、多様なマグカップの幾何学的形状およびポーズカテゴリに対して汎用性を持ちつつ、ハンドルへの精密な接触を維持する単一のクローズドループ方策を学習することである。

2. 手法: AnyMug フレームワーク

著者らは、Isaac Sim 内のシミュレーションのみで学習され、実機の Franka Panda ロボットにゼロショットで展開される強化学習（RL）フレームワークである AnyMug を提案している。核心となる革新技術は、**観測・行動の正規化（Observation-Action Canonicalization）**である。

2.1 観測・行動の正規化

AnyMug は、生の可変的な入力を扱う代わりに、感覚入力と制御出力を共有された**マグ中心の標準的なフレーム（mug-centric canonical frame）**へと変換する。

• 観測の正規化:
  • 生のトップビュー深度画像 ($D_t$) は、マグの中心とハンドルの中心を特定するために処理される。
  • アフィン変換を画像に適用し、(1) 画像内にマグを中央配置し、(2) ハンドルを固定された標準的な方向（例：左向き）に回転させる。
  • これにより、マグが常に同じ位置と向きで表示される標準的な深度画像 ($D^c_t$) が得られる。
• 行動の正規化:
  • 方策は、標準フレームにおける7次元のエンドエフェクタ・アクション ($a^c_t$) を予測する。これには、並進変位 ($\Delta p^c$)、回転変位 ($\Delta \omega^c$)、およびグリッパーコマンド ($u_g$) が含まれる。
  • 実行前に、ハンドルの回転角 ($\theta_t$) の逆数を用いて、アクションの空間成分をワールドフレームへと回転して戻す。グリッパーコマンドは変更されない。
  • これにより、方策はすべてのマグの配置とハンドルの向きに対して再利用可能な、単一の「把持戦略」を学習することが可能になる。

2.2 ハンドルを考慮した報酬関数

単なる一般的な接近ではなく、精密な機能的把持を確実に学習するために、密度が高くハンドルを考慮した報酬関数が採用されている：

• 接近報酬 ($r_{pos}$): グリッパーがハンドルの中心に到達することを促す。
• 方位報酬 ($r_{rot}$): グリッパーがマグに対する目標方位に整列することを促す。
• 指の対向報酬 ($r_{opp}$): 極めて重要なタスク固有の項であり、把持の前に2本の指先がハンドルの反対側にあることを報酬として与える。これは、指がハンドルに近接していることを保証するためにゲート制御される。
• アクションペナルティ ($r_{act}$): 滑らかな軌道を促すために、大きく不規則な動きにペナルティを与える。

2.3 学習戦略

• アルゴリズム: 近接方策最適化（PPO）。
• ポーズ・カリキュラム: 学習は、信頼性の高い接近動作を確立するために、正立したマグへのバイアス（70%）から始まり、その後、正立と反転のバランスの取れた分布（50/50）へと移行する。
• ドメインランダム化: マグの位置、ハンドルのヨー角、およびマグの幾何学的形状のランダム化を行う。決定的なのは、状態推定の誤差をシミュレートするために、最先端のポーズ推定器（CPPF++）から校正されたガウスノイズがポーズ推定に追加される点である。

3. 主な貢献

1. 観測・行動の正規化: 本論文は、深度観測とエンドエフェクタのアクションの両方が、共有されたマグ中心フレームで表現される正規化問題としてマグ把持を定式化している。これにより、知覚と制御の両方におけるポーズに起因する変動が軽減され、単一の方策による戦略の再利用が可能になる。
2. クローズドループのハンドル考慮型把持: 著者らは、正規化された視覚・固有感覚フィードバックと特化した報酬関数を用いて、単一の RL 方策を学習させている。これにより、明示的なモーションプランニングなしに、多様な幾何学的形状やポーズを横断した精密な接近、整列、および閉鎖のタイミングを実現している。
3. 包括的な評価: 本フレームワークは、シミュレーションおよびハードウェア上で、モーションプランニングおよび拡散ベースのベースラインと比較検証されている。研究には、正規化、報酬シェーピング、およびカリキュラム学習の寄与を分離したアブレーション研究が含まれている。

4. 実験結果

4.1 シミュレーション性能

ランダムな配置が行われた未知のマグインスタンスに対して評価：

• 成功率 (SR): AnyMug は、正立マグで 93.18%、反転マグで 94.19% を達成した。
• 比較:
  • モーションプランニング（オープンループ）: ポーズ推定ノイズが増加すると性能が急激に低下し（$\sigma=0.030$m で SR 約60%）、オープンループ実行の敏感さを浮き彫りにした。
  • 拡散方策 (Diffusion Policy, DP): 約36% の SR を記録したが、主に空の把持やタイムアウトによって失敗しており、デモンストレーションのみから精密な整列を学習することの難しさを示した。
  • 等変ベースライン (EquiDiff, EquiBot): 標準的な DP よりも改善は見られたものの、AnyMug よりも大幅に低かった（それぞれ 54% および 約12-19% の SR）。これは、等変性だけでは微細なハンドルの幾何学的推論には不十分であることを示唆している。

4.2 実機へのゼロショット転移

ファインチューニングなしで実機の Franka Panda ロボットに展開し、物理的に異なる 5 つの未知のマグに対してテストを実施：

• 成功率: 正立および反転の両方のカテゴリにおいて、80% の成功率（各 10 回の試行中 8 回成功）を達成した。
• 失敗モード: 失敗は「先端接触/落下（tip/fall）」と「空の把理（empty grasp）」に分かれており、方策は概ね安全に接近するものの、実世界の知覚ノイズ下での整列に苦慮することを示している。
• ベースライン:
  • モーションプランニング: 正立 70%、反転 60% の SR。
  • 拡散方策 (DP): 正立 20%、反転 10% の SR。
• 結論: AnyMug は、オープンループおよび標準的な学習ベースのベースラインと比較して、実世界の知覚誤差に対する優れた堅牢性を示した。

4.3 アブレーション研究

• 指の対向報酬: この項を除去すると、成功率は 0% となり、100% が空の把持となった。これは、機能的把持においてこの項が不可欠であることを証明している。
• 正規化: 観測・行動の正規化を除去すると、成功率は正立で約 93% から 31% へ、反転で約 41% へと低下した。これは、正規化が汎用化における支配的な要因であることを裏付けている。

5. 意義と主張

本論文は、AnyMug が、オブジェクトのポーズからタスク戦略を切り離すことで、ポーズに依存しない機能的把持の問題を解決したと主張している。入力（深度）と出力（アクション）の両方を正規化することで、システムは単一の再利用可能なクローズドループ方策を学習し、様々なインスタンスやポーズに汎用できる。

著者らは以下を強調している：

• 正規化が鍵である: これにより、配置に依存したモーターコマンドを学習する必要がなくなり、汎用性が大幅に向上する。
• クローズドループのフィードバックが必要である: オープンループの手法とは異なり、AnyMug のクローズドループ特性は、残留するポーズ推定誤差や接触の変動を補償する。
• Sim-to-Real 転移: 本フレームワークは、実世界のファインチューニングなしに、解析的なプランナーや最先端の学習ベースのベースラインを凌駕する、堅牢なゼロショット転移を達成している。

認められている限界:

• 現在の研究は、マグオブジェクトおよび 2 つのポーズカテゴリに限定されている。
• トップダウンの深度観測が明確であることを前提としている。そのため、物体が密集したシーン、深刻な遮蔽がある場合、あるいはハンドルの方向推定が失敗するような反射面がある場合には、性能が低下する可能性がある。
• より広範なオブジェクトクラス、追加のポーズモード（傾斜など）、および注ぐ動作のようなダウンストリームタスクへの拡張には、今後の課題が残されている。