GraspFoM: Towards Reconstruction-Driven Robotic Grasping with 3D Foundation Priors

技術要約: GraspFoM

問題提起
ロボットの把持（グラスピング）は、部分的な観測、遮蔽、および混雑を特徴とする現実世界のシナリオにおいて、依然として大きな課題となっている。効果的な把持には、局所的な接触の手がかりと、物体のグローバルな3D構造の両方に関する推論が必要である。既存のジオメトリ（幾何学的構造）を考慮した手法は、3D再構成の価値を認識しているものの、通常、ジオメトリを再利用可能なオブジェクト・プライア（事前知識）としてではなく、中間的な予測として扱う。さらに、現在の統合フレームワークは、ゼロから学習されたタスク固有の表現に依存しているか、あるいは2Dのセマンティック知識を継承する視覚言語モデル（VLM）に依存していることが多く、その結果、推論速度の低下や3Dポーズのアライメントの不備を招いている。一般的な3D再構成モデル（アセットの忠実度の最適化を目的とする）と、ロボットの把持に求められる特定の操作指向の構造（把持可能な領域やアフォーダンスなど）との間には、ギャップが存在する。

手法: GraspFoM
本論文では、3D基盤モデルのプライア（具体的には SAM3D）を活用して、物体の再構成と把持ポーズ予測の両方に共通する「3Dオブジェクト潜在変数（shared 3D object latent）」を構築する統一フレームワーク GraspFoM を提案する。パイプラインは以下のように動作する：

1. 共有オブジェクト潜在変数の準備:

   • システムは、RGB画像、オブジェクトマスク、およびポイントマップを入力として受け取る。
   • SAM3Dのスパース構造ステージを利用して、共有3Dオブジェクト潜在変数（$z$）と座標アライメントパラメータを初期化する。
   • この潜在変数は、構造化された3D特徴ボリュームに変換され、形状認識グリッドへとリフトアップされる。
   • クエリされた各表面点に対して、モデルは局所的な幾何学的手がかり（点の位置と法線）を、クロスアテンションを介して潜在グリッドから抽出されたグローバルな形状コンテキストと融合させる。これにより、局所的な表面の詳細とグローバルなオブジェクト構造の両方をエンコードした、融合されたポイントトークンが生成される。

2. アンカー初期化ポーズ推論ディフューザー:

   • 単一のポーズを回帰したり、離散的な把持候補に依存したりする代わりに、GraspFoMは、正規化されたポーズ空間における潜在条件付きデノイジング（除去）プロセスとして把持予測をモデル化する。
   • 有効なトレーニングポーズをクラスタリングすることによって、一連の把持アンカーが作成される。
   • モデルは、**切断されたアンカー付き拡散プロセス（truncated anchored diffusion process）**を採用する。純粋なガウスノイズから開始するのではなく、拡散プロセスを最も近いアンカーの近くから初期化することで、マルチモーダルな把持分布をモデル化する能力を維持しつつ、デノイジングの効率を向上させる。
   • ディフューザーは、共有オブジェクト潜在変数から連続的な6D回転と把持深度を直接予測する。

3. 再構成認識スコアリングと潜在変数リファインメント:

   • スコアラー（Scorer）: 再構成認識スコアラーは、3つの点ごとの指標（把持性（graspness）、把理の質（grasp quality）、アフォーダンス）を予測する。これらのスコアは、ポーズのみの手がかりではなく、再構成されたオブジェクト構造に基づいている。
   • 残差潜在変数更新器（Residual Latent Updater）: 双方向の相互作用を強制するために、把持の教師信号が再構成ブランチへとフィードバックされる。把持信号の信頼性加重サマリーが使用され、元の潜在グリッドに加算される残差特徴ボリュームを予測する。
   • 正則化: 表面認識正則化損失により、リファインされた潜在変数が幾何学的な一貫性を維持しながら、操作に関連する手がかりと整合するようにする。

4. 推論:

   • システムは、把持アンカーから切断されたDDIMサンプリングを実行し、連続的なポーズ仮説を生成する。
   • 把持仮説は、把持可能性、ビューのアライメント、およびアンカー確率を組み合わせた複合スコアを用いてランク付けされる。
   • 同じ共有潜在変数がデコードされ、把持ポーズとともに、高忠実度の3Dアセット（メッシュまたは3D Gaussian Splatting (3DGS) 形式）を出力する。

主な貢献

• 統一フレームワーク: 3D基盤モデルを活用して、物体の再構成と把持ポーズ予測を同時に行うための共有3Dオブジェクト潜在変数を構築するGraspFoMを提案。
• 連続的なポーズ生成: 離散的な把持候補への依存を回避し、連続的でマルチモーダルな把持ポーズ分布をモデル化する、アンカー初期化型のポーズ推論ディフューザーを導入。
• 双方向の相互作用: 再構成認識スコアラーと残差潜在変数更新器を設計することで、再構成と把持の学習を結合し、共有潜在変数内での幾何学的接地（grounding）と把持に関連するアフォーダンスの強化を可能にした。
• デュアル出力: 正確な把持ポーズの予測と、高忠実度な3Dアセット（メッシュおよび3DGS）の再構成を同時に実現。

実験結果
著者らは GraspNet-1Billion ベンチマークを用いてGraspFoMを評価した：

• 把持ポーズ予測: GraspFoMは、すべての分割（Seen, Similar, Novel）および摩擦設定において、最先端（SOTA）の結果を達成した。特に、Novel 分割（未知のオブジェクトカテゴリ）において顕著な改善を示しており、再利用可能なオブジェクトレベルのプライアによる強力な汎化性能を示唆している。追加の合成データセットを用いずに公式のGraspNet-1B分割のみで学習されたにもかかわらず、ZeroGraspやMG-Graspといった既存の統合手法を上回った。
• 3D再構成: 本フレームワークは、スパース構造のベースライン（MinkowskiNet, OCNN, OctMAE）および統合型手法であるZeroGraspと比較して、優れた幾何学的品質を達成し、Chamfer Distance (CD)、F1-Score、およびNormal Consistency (NC) において最高の結果を出した。
• アブレーション研究: アンカー数（$K=8$）、拡散ホライゾン（$T_{max}=50$）、およびリファインメントステップ（$N_{ref}=4$）の必要性が実験によって確認された。再構成更新モジュールを除去すると、再構成の品質と把持性能の両方が著しく低下し、2つのタスク間の相互強化が検証された。
• イン・ザ・ワイルド評価: WildRGB-Dデータセットを用いた定性的結果では、ZeroGraspと比較して、より完全な再構成と安定した把持ポーズが示された。

意義と主張
本論文は、ジオメトリを一時的な中間ステップとして扱う既存手法の限界に対処していると主張している。転用可能な3D基盤モデル（SAM3D）を活用することで、本手法は幾何学的に忠実かつ操作に適した共有表現を確立する。著者らは、このアプローチが、タスク固有の表現をゼロから学習する場合と比較して、堅牢な把持の汎化に向けたよりデータ効率の高い経路を提供すると主張している。再構成と把持の間の双方向のリンクにより、システムは操作のニーズに基づいてオブジェクト表現を洗練させると同時に、接地された幾何学的手がかりを使用して把持予測を向上させることができる。本フレームワークは、少数の追加学習パラメータのみで、両方のタスクにおいて最先端の性能を達成している。

限界
著者らは、現在のフレームワークが主に剛体オブジェクトに焦点を当てていることを指摘している。構造化された運動学的プライア（例：URDF）を取り入れ、関節を持つオブジェクトの操作へと発展させることが、今後の課題であるとしている。