Emergence of a Shared Canonical Object Frame from In-the-Wild Videos

技術要約：自然界のビデオからの共有カノニカル・オブジェクト・フレームの創発

問題提起
異なるインスタンス間での物体の向きや位置を比較するには、それらのポーズを共有されたカノニカル（標準的）なフレーム内で表現する必要があります。従来、このようなフレームの確立は、整列されたCADモデル、制御された合成レンダリング、または注意深い実世界のポーズ注釈を含む、多大な手動の監督に依存してきました。この依存関係はスケーリングのボトルネックを生み出します。すなわち、合成データはドメインギャップを導入し、一方で注釈付きの実世界データはカテゴリやインスタンスの多様性が限られています。その結果、手動のカノニカルポーズラベルなしに、実世界のデータに対して広く汎化できるカノニカルな物体表現を学習することは、依然として未解決の課題となっています。さらに、既存の自己教師あり学習アプローチの多くは、カテゴリごとに個別のモデルを訓練するため、異なる物体タイプ間で共有フレームを生成することができません。

手法
著者らは、Structure-from-Motion (SfM) を介して回収されたノイズを含むカメラポーズのみを利用して、自然界から撮影された物体中心のビデオから共有のカノカルフレームを学習する、自己教師ありかつカテゴリに依存しないアプローチを提案しています。コアとなるメカニズムは、すべての訓練シーケンスを**共有された幾何学的ボトルネック（shared geometric bottleneck）**へとルーティングすることです。

1. 共有カノニカルメッシュ: この手法は、カノニカル座標フレーム内における固定された粗い3Dメッシュ（例：単位立方体または球体）を定義します。このメッシュはカテゴリ固有の幾何学的詳細を持たず、ネットワークが形状マッチングではなく、外観と意味的な事前知識に依存することを強制します。
2. 対応関係ネットワーク: ニューラルネットワークは、画像のピクセルを共有メッシュの頂点へとマッピングすることを学習します。これは特徴抽出器とTransformerデコーダを用いており、学習可能な頂点埋め込みがピクセル特徴に対するクエリとして機能します。出力は各ピクセルに対するメッシュ頂点への高密度な分布となり、実質的に2D-3Dの対応関係を予測します。
3. シーケンスごとのアライメント: SfMによる再構成は任意の座標フレームで行われるため、本手法では、SfMフレームをカノニカルメッシュフレームに整列させるためのシーケンスごとの回転を推定します。
   • 初期化: アライメントは、マスクされたSfMポイントクラウドに対する主成分分析（PCA）によって初期化され、粗い幾何学的広がり（例：細長性）を捉えます。
   • 洗練: 訓練中、ネットワークは、ネットワークが予測したカノニカル座標と、推定された回転によって変換されたSfM由来の座標との距離を最小化する回転を推定します。これは、確信度の高い予測を優先するためにエントロピーに基づく重みを用いた、SVD（特異値分解）によるWahbaの問題として定式化されます。
4. 訓練目的関数: 整列されたSfMポーズを使用してカノニカルメッシュをラスタライズし、疑似ラベル（可視なメッシュ頂点）を生成して、対応関係ネットワークの訓練に使用します。ネットワークは、可視性マスクによって教師あり学習されるマスク予測ヘッドと共に、これらの疑似ラベルと一致するようにクロスエントロピー損失を用いて訓練されます。アライメントと対応関係ネットワークは、訓練中に共に進化します。
5. 推論: テスト時、モデルは単一のRGB画像から高密度な対応関係とセグメンテーションマスクを予測します。6Dポーズは、予測された対応関係を用いて、RANSACを用いたEPnPにより回収されます。この際、シーケンスごとのアライメントステップは必要ありません。

主な貢献

• 自己教師ありによるカノニカルフレームの創発: 本論文は、ノイズを含むSfMカメラポーズのみを使用することで、物体中心のビデオから共有のカノニカルフレームが創発できることを示し、カノニカルポーズの注釈を不要にしました。
• 幾何学的ボトルネック: 著者らは、多様な訓練シーケンスを共有の粗いカノニカルメッシュへとルーティングすることで、シーケンス間の整合性が誘発されることを示しました。これにより、マルチビューアライメントと特徴抽出器の意味的な事前知識を通じて、共通のリファレンスフレームが確立されます。
• カテゴリに依存しない汎化: 本手法は、カテゴリ条件なしにすべてのカテゴリにわたって単一のモデルを訓練します。これは複数のベンチマークにおいて、カノニカルな監督を受けた手法（OrientAnything V1/V2, QWEN3-VLなど）やカテゴリ固有の自己教師あり手法と同等の性能を達成し、訓練中に見られなかった物体カテゴリにも汎化します。

実験結果
本手法は、UCO3Dデータセットから取得された約16万本の自然界の物体中心ビデオを用いて訓練されました。評価は、REAL275、Omni6DPose、Objectron、Pascal3D+、ImageNet3Dの5つのベンチマークで行われました。

• 性能: カノニカルポーズのラベルがなく、実世界のビデオのみで訓練されているにもかかわらず、本手法はこれら5つのデータセットすべてにおいて、教師ありベースラインやカテゴリ固有の自己教師あり手法と比較して、最高のマクロ平均性能を達成しました。
• データスケール: アブレーション研究により、訓練データをスケールアップすること（利用可能なすべてのシーケンスを使用すること）が性能を大幅に向上させることが確認され、汎用的な表現を学習するためのデータ量の重要性が強調されました。
• アブレーション: PCAによる初期化が収束を助ける一方で、学習されたアライメントが意味的な方向（例：前か後ろか）を解決するために不可欠であることが示されました。立方体のメッシュは球体よりもわずかな誘導バイアスを提供しましたが、幾何学的ボトルネックの原理は形状によらず堅牢でした。信頼できるアライメントのためには、マルチビューのカバレッジ（K=4ビュー）が不可欠であることが判明しました。

意義と限界
本論文は、このアプローチがカノニカルな監督のスケーリングのボトルネックに対処し、テスト時のオンボーディングや手動ラベルなしで、未知のカテゴリに転移可能なカテゴリに依存しないポーズ推定を可能にすることを主張しています。学習されたフレームは、多様な物体タイプにわたって概ね一貫しており、カテゴリごとの慣習的なマッピングは少数のモードにクラスター化されています。

しかし、著者らは対称性に関する限界についても謙虚に述べています。創発されたフレームは、明確な意味的軸を持つ物体に対して最も一貫しています。複数の向きが区別不可能な証拠を生むような、連続的に対称な物体については、疑似ラベルがノイズとなるため、本手法は苦戦します。カノニカルラベルや対称性の事前知識なしにこのような曖昧さを解決することは、今後の課題であると示唆されています。