技術的概要：変形可能オブジェクト事前知識によるカメラ空間におけるカテゴリレベルの 3 次元対応付け

問題定義

本論文は、カメラ空間における単眼カテゴリレベルの 3 次元対応付けの課題に取り組む。近年の進展によりカテゴリレベルの姿勢推定は改善されたが、既存の表現は、オブジェクトの部品、機能、相互作用に関する推論に必要な微細なセマンティクスを捉えるのに失敗することが多い。

このタスクは以下のように形式的に定義される：同一カテゴリに属するオブジェクトの 2 枚の RGB-D 画像（$I_q$ および $I_t$）と、$I_q$ のカメラ空間におけるクエリ 3 次元点 $x_q$ が与えられたとき、目的は、同じセマンティックな部品を表す $I_t$ のカメラ空間における対応する 3 次元点 $x_t$ を予測することである。NOCS（Normalized Object Coordinate Space）などの正規化された標準空間にピクセルをマッピングする先行研究とは異なり、本研究は直接3 次元カメラ空間における対応付けを目標とする。このアプローチは、視点依存性、遮蔽、対称性といった 2 次元マッチングに内在する曖昧さを解決し、スケールや中心が明確に定義されていないオブジェクト中心の空間の未定義性を回避することを意図している。

特定された重要なギャップは、多様な家庭用オブジェクトに対するアモダルの対応付け（遮蔽されているか見えていない部品を推論すること）と、明示的な対称性の処理（複数の幾何学的位置がセマンティックに同等である場合）を支援するベンチマークの欠如である。

手法：Morpheus

著者は、明示的な対応付けの教師信号なしにセマンティックに整合した 3 次元対応付けを確立するための、変形可能なカテゴリレベルの形状事前知識を学習するフレームワークMorpheusを提案する。中核的なアイデアは、カテゴリ内のすべてのオブジェクトを、共有テンプレートメッシュのアイデンティティを保持する変形として表現することである。

1. メッシュベースの 3 次元対応付け予測

Morpheus は、すべての予測を共有変形可能テンプレートを通じて仲介する。入力 RGB-D 画像に対して、モデルは以下のものを予測する：

• テンプレートメッシュのインスタンス固有の変形。
• 事前学習済みの姿勢拡散ネットワークを用いて推定される 6 次元オブジェクト姿勢（$\omega$）。

対応付けはメッシュ転送を通じて確立される：

1. クエリ 3 次元点 $x_q$ が、変形されたクエリメッシュ（$M_q^{def}$）の表面上に投影される。
2. 点の位置は、基礎となるメッシュの面に対する重心座標として符号化される。
3. すべてのインスタンスが同じメッシュトポロジーを共有するため、これらの座標は直接ターゲット変形メッシュ（$M_t^{def}$）に転送され、ターゲットカメラ空間における対応点 $x_t$ が得られる。
   これにより、画像間の点を直接マッチングするのではなく、共有テンプレートの姿勢と変形を予測する問題に帰着される。

2. 3 次元変形可能事前知識

このフレームワークは、ハイブリッド体積メッシュ表現を利用する：

• 標準形状：符号付き距離場（SDF）$\phi_{sdf}$ として表現され、微分可能なメッシュテトラヘドロン法を通じてメッシュに変換される。これにより、複雑な幾何形状の柔軟なモデリングが可能になる。
• インスタンス固有の変形：アフィン変形場 $\phi_a$ が、標準メッシュを特定のインスタンスに適応させる。この場は、DINOv2 ベースバックボーンに基づく変形エンコーダによって入力画像から抽出された潜在コード $l$ によって駆動される。
• 変形は、潜在コードに基づいて頂点を変位させるアフィン写像として定義され、変形全体を通じてテンプレート頂点のセマンティックなアイデンティティを保持する。

3. 学習目的

Morpheus は、明示的な対応付けラベルなしに幾何学的監督を用いて学習される。すべてのインスタンスが観測データと整合性を保ちながら、同じ標準テンプレートを変形しなければならないため、セマンティックな整合性は暗黙的に出現する。学習損失には以下が含まれる：

• 2D 損失：アモダルのオブジェクトマスク再構成（MSE）と距離変換の重なり。これにより、変形されたメッシュがオブジェクトの可視領域と遮蔽領域の両方に一致することが保証される。
• 3D 損失：変形されたメッシュ頂点と真値メッシュ頂点間の Chamfer 距離。
• 正則化：SDF 特性を強制するための Eikonal 損失、過度な変形を防ぐための $\ell_2$ 変形正則化、およびエッジベースの滑らかさ正則化。
• 姿勢監督：最適化を安定させ、局所解を減らすために 6 次元姿勢監督が提供される。

主要な貢献

1. タスク定式化：本論文は、姿勢中心の表現を超え、セマンティックに整合した 3 次元理解へと至る必要不可欠なステップとして、カメラ空間における単眼カテゴリレベルの 3 次元対応付けを特定する。
2. HouseCorr3D ベンチマーク：著者は、このタスクのための最初の大型ベンチマークであるHouseCorr3Dを導入する。これは以下のものを含む：
   • 50 の家庭用オブジェクトカテゴリにわたる 178,000 枚の画像。
   • 280 のユニークなオブジェクトインスタンス。
   • CAD モデル上の直接 3 次元キーポイント注釈。
   • 遮蔽領域のためのアモダルの対応付けラベル。
   • 幾何学的曖昧さを公平に処理するための明示的な対称性注釈。
3. Morpheus フレームワーク：標準形状、変形、オブジェクト姿勢を分離することで、カメラ空間内で直接セマンティックに整合した 3 次元対応付けを生成する変形可能事前知識を学習する手法。
4. 実証的検証：明示的な対応付け監督なしにセマンティックな 3 次元オブジェクト理解が出現しうることを示し、提案されたベンチマークで最先端の結果を達成したことの証明。

結果

HouseCorr3D 上での実験により、Morpheus は既存のベースラインを大幅に上回ることが示された。これには以下が含まれる：

• 2D 特徴マッチング：DINOv2、MagicPony2D、および 3D に引き上げられた NOCS。
• 3D 空間マッチング：GenPose++ および MagicPony。

主要な知見：

• 性能：Morpheus は、2D、3D モダリティ（可視）、および 3D アモダル（遮蔽）の設定において、PCK@0.1（正しいキーポイントの割合）で最高値を達成する。
• 遮蔽処理：遮蔽された部品で失敗する 2D 手法とは異なり、Morpheus はアモダルの監督と共有事前知識により、遮蔽領域を正常に再構成する。
• 対称性と変形：Morpheus は、正規化されたオブジェクト空間（NOCS など）や、標準空間とカメラ空間が絡み合った空間（MagicPony など）に依存する手法よりも、オブジェクトの対称性と形状のばらつきを適切に処理する。
• 一般化：Omni6DPose から得られた実世界の ROPE データセットのフィルタリングされたサブセット上での評価により、モデルが実データに一般化することが確認された。性能の低下は主に、モデルの失敗ではなく、ノイズの多い深度と注釈に起因する。

意義と主張

本論文は、3 次元カメラ空間における対応付けの確立が、従来の 2D または正規化された 3D オブジェクト空間のアプローチからの根本的な転換であると主張する。変形可能オブジェクト事前知識を活用することで、著者は以下のことを実証する：

• セマンティックな 3 次元対応付けは、共有変形可能表現を通じて暗黙的に学習可能であり、高価で明示的な対応付け監督の必要性を排除する。
• このアプローチはアモダルの推論を可能にし、システムが部品が遮蔽されている場合でもオブジェクトの完全な 3 次元構造を推論することを可能にする。これはロボットの操作や相互作用にとって極めて重要である。
• HouseCorr3Dベンチマークは、文献における重要な空白を埋め、単一画像からのカテゴリレベルの 3 次元対応付けを評価するための、アモダルおよび対称性を意識した注釈を備えた最初の大型データセットを提供する。

この研究は、具身ロボットや AR/VR における将来の進展には、完全なオブジェクト幾何学（遮蔽領域や対称性を含む）を考慮した堅牢な 3 次元推論へと移行し、2D 特徴マッチングを超えていく必要があることを示唆している。