ShapeGrasp: Simultaneous Visuo-Haptic Shape Completion and Grasping for Improved Robot Manipulation

技術要約：ShapeGrasp：ロボット操作の向上に向けた、同時視覚・触覚による形状補完および把持

問題提起
単一のRGB-Dビューによってのみ部分的に観測される未知の物体を、事前知識なしにロバストに把持することは、大きな遮蔽領域が存在するため依然として困難な課題である。形状補完手法は欠落した幾何学構造を推論できるものの、得られるモデルには不確実性や幻覚（ハルシネーション）による幾何学が含まれることが多く、特に柔軟な物体に対しては把持計画の失敗を招く。対照的に、把持は情報を提供するインタラクションであり、触覚フィードバックやグリッパーが占有する空間（自由空間）に関する制約を与える。既存のアプローチは、形状補完と把持を別々の段階として扱ったり、時間を要する専用の触覚探索ループに依存したりすることが多い。著者らは、詳細な3Dモデルを同時に再構築し、把持の試行（成功または失敗）からのフィードバックを利用して、反復的にモデルを洗練させ、再計画を行うシステムの必要性に取り組んでいる。

手法
著者らは、暗黙的な表面による形状補完と物理ベースの把持計画を結合した、反復的な視覚・触覚パイプラインであるShapeGraspを提案している。このシステムは以下のクローズドループで動作する：

1. 物体の表現: システムは、物体を符号付き距離関数（SDF）によって定義される暗黙的な表面 $O = \{x \in \mathbb{R}^3 \mid f(x; \theta, z_r) = 0\}$ として表現する。入力は、初期の視覚的観測、触覚接触、および自由空間の制約を含む集約された点群 $X_r$ である。
2. 形状補完: コアとなるコンポーネントは、Implicit Geometric Regularization for Learning Shapes (IGR) に基づく深層ニューラルネットワークである。これは、特定の物体インスタンスに対する潜在ベクトル $z_r$ を最適化し、SDFを近似する。ネットワークは、観測された点への距離を最小化し、表面法線と整合するように訓練され、Eikonal項によって勾配の大きさが正則化される。
3. データ融合:
   • 視覚: 固定されたテーブルカメラからの初期RGB-Dデータ、およびオプションのリストカメラからのデータ。
   • 触覚: グリッパーのセンサが物体に接触すると、その位置は順運動学を通じて計算され、点群データとして追加される。
   • 自由空間: アプローチ中にグリッパー本体が占有する体積は、点群として投影される。これらの点は、ネットワークがグリッパーの経路内に幾何学を幻覚することを防ぐため、「物体外にあるべき」制約（正の符号付き距離）として扱われる。
4. ポーズ推定: 反復の間に、物体の6自由度ポーズは、現在のセグメント化された点群と初期のリファレンスフレーム間のIterative Closest Point (ICP) アライメントを用いて再推定され、新しいデータが正しく融合できるようにする。
5. 把持生成: 物理ベースの把持プランナー（PyBulletを使用）が、再構築された三角形メッシュから候補を生成する。表面の点をサンプリングし、接近ベクトルを計算し、安定性を評価するために把持（閉じる、持ち上げる、回転させる）をシミュレートする。品質スコア $q$ は、滑り、物体の動き、および接触の欠如に対してペナルティを課す。
6. 反復ループ: システムは最も品質の高い実行可能な把持を試みる。もし把持が失敗した場合（物体が滑る、または落下した場合）、システムは失敗を検出し、ポーズを再推定し、新しい触覚および自由空間データを用いて形状モデルを更新し、新しい把持候補を生成する。このループは、成功裏に把持が行われるか、最大反復回数に達するまで継続される。

主な貢献

1. 反復的な把持・補完パイプライン: 著者らは、把持の試行に続いて、現実世界において形状表現を更新する、彼らの知る限り最初のアプローチを提示している。このパイプラインは、触覚接触とグリッパー由来の自由空間制約を統合して暗黙的な物体モデルを洗練させ、失敗時に再把持をトリガーする。
2. 物理ベースの把持提案生成器: 再構築された三角形メッシュを消費し、URDFモデルを介してマルチフィンガーグリッパーをサポートする新しい生成器。これは剛体シミュレーションを利用して把持の安定性を評価し、形状補完の出力と密接に統合されている。
3. 実世界での評価: 2種類の異なるロボット（Kinova Gen3およびKUKA iiwa）と、触覚センサを備えた2種類の異なるグリッパー（Robotiq 2F-85およびBarrett Hand）を用いて、広範な実験が行われた。研究には、情報のソース（視覚のみ、自由空間、触覚、および組み合わせ）に関するアブレーション解析が含まれている。
4. オープンソース: コードとデータは公開されている。

結果
本手法は、YCBデータセットの9つの物体に対して、物体ごとに10回の試行で評価された。

• 把持成功率 (GSR): ShapeGraspは、ベースライン（HyperPCR, 3DSGrasp, VQDIF, VISHACなど）と比較して優れた成功率を達成した。3本指のBarrett Handで84%、2本指のRobotiq 2F-85グリッパーで**91%**の成功率を達成した。
• 形状補完の品質: 本手法は、Chamfer Distance (CD) および Hausdorff Distance (HD) 指標においてベースラインを上回った。Robotiqグリッパーにおいて、ShapeGraspはCD 18.64 mmを達成し、これは最良のベースラインであるHyperPCRの23.85 mmと比較して優れている。触覚データの導入は、視覚のみの補完と比較して、統計的に有意な改善（指標全体で平均約5.5%の向上）をもたらした。
• アブレーション研究:
  • 触覚データ: 再構成の品質と把持の成功率を大幅に向上させた。
  • 自由空間: 結果は混在していた。Robotiqグリッパーでは性能をわずかに向上させたが、Barrett Handでは性能を低下させた。これは、強力なBarrett Handが柔軟な物体を押しつぶし、「自由空間」の制約が物体体積の内部に配置されたためと考えられる。
  • リストカメラ: 最良の再構成指標を提供したが、常に利用可能とは限らない。触覚データは堅牢な代替手段として機能する。
• 効率性: 本手法は一部の学習ベースのベースラインよりも低速であるが（補完と計画に約5秒 vs 一部のベースラインの1秒未満）、特定の物体カテゴリに対して事前に訓練されたモデルを必要とせず、失敗を動的に処理する統一されたパイプラインを提供する。

意義および主張
著者らは、ShapeGraspが、形状補完と把持が互いに強化し合う「共生的なパイプライン」を実証していると主張している。主な意義は、現実世界での把持の後に3D形状表現を改善できる能力にあり、これは著者らが独自であると述べている点である。把持の失敗を終止的なエラーではなく、情報提供イベントとして扱うことで、システムは不確実性を減少させるために内部モデルを適応させる。著者らは、本手法が現在、精度よりも再現率（Recall）を優先しており（その結果、形状がわずかに「膨張」している）、それでもなお、視覚データのみに依存する手法や専用の触覚探索ループよりも高い把持成功率と優れた再構成品質を達成していると述べている。本研究は、ロボットによる人間とのハンドオーバーやソーティングタスクなど、物体の特性に関する正確な知識を必要とするシナリオにおける、よりロバストな自律操作への一歩として位置づけられている。