FAMOS: Feed-Forward 3D Articulation Modeling from Sparse Observations

技術要約: FAMOS

問題提起
疎な単眼観測から関節構造を持つ物体をモデリングすることは、個々の視点が部分的な幾何形状と運動のエビデンスしか明らかにしないため、本質的に困難である。既存の手法には以下のような重大な限界がある：

• 最適化ベースの手法は、あらゆる関節状態に対して高密度なマルチビュー観測を必要とし、多くの場合、可動部の数などの事前知識を仮定するため、スケーラビリティと実用性に欠ける。
• ビデオベースの手法は、相互作用シーケンスにおけるポイントトラッキングに依存しており、遮蔽やマルチパートの動きによる誤差伝播の影響を受けやすい。
• 単一状態のフィードフォワード手法は、学習されたカテゴリレベルの形状事前分布のみから関節構造を推論する。単一の静的な観測には運動のエビデンスが含まれないため、これらの手法は曖昧さに弱く、未知の幾何形状や部分的な入力への汎化に失敗する。さらに、異なる状態にある物体の複数の観測が利用可能な場合でも、既存のフィードフォワード手法は通常、それらを独立して処理するため、潜在的な運動キューを活用できない。

手法
著者らは、FAMOS (Feed-Forward 3D Articulation Modeling from Sparse Observations) を提案する。これは、疎で順序のない部分的な点群の集合から、可動部のセグメンテーションと関節パラメータを単一のフィードフォワードパスで予測するモデルである。

• 入力表現: 本モデルは、共有座標系における部分的な点群 ($X_s$) として表される、可変個の観測数 ($S$) を受け入れる。可動部の数や入力状態の数を事前に知る必要はない。
• アーキテクチャ (Multi-state Articulation Transformer):
  • ポイントエンコーディング: 各観測は、凍結された PartField バックボーンと幾何学的埋め込み（座標および法線）を用いて独立してエンコードされる。決定的な点として、ポイントトークンに状態インデックスの埋め込みは追加されない。これにより、モデルは可変数の入力を柔軟に処理できる。
  • アテンション機構: コアとなる革新は、$L$ 層のレイヤーが2つのアテンションステージを交互に繰り返すトランスフォーマー・アーキテクチャである：
    1. 状態別アテンション (State-wise Attention): 各観測のポイントトークン内で自己アテンションを適用し、局所的な幾何学的コンテキストを集約する。パートクエリも、その表現を調整するために自己アテンションを行う。
    2. グローバル・アテンション (Global Attention): 更新されたクエリとすべての観測からのポイントトークンが、単一のシーケンスへと結合される。これにより、クエリはすべての状態にわたるあらゆるポイントからエビデンスを集めることができ、異なる観測間での直接的なポイント間の相互作用が可能になる。この直接的なクロス観測対応は、順序がなく部分的に重なり合う入力に対処するために不可 memperhatikan（不可欠）である。
  • 予測ヘッド: 軽量なMLPが洗練されたトークンをデコードし、以下の情報を出力する：(i) パート・セグメンテーション（全状態にわたってポイントを各パートに割り当て）、(ii) 関節タイプ（固定、回転、または直動）、(iii) 関節パラメータ（軸、原点、または方向）。
• 観測された関節スパン目的関数 (Observed Articulation Span Objective): モデルが単一の観測や学習された事前分布に依存すること（「学習のショートカット」）を防ぐため、著者らは補助的な損失項を導入している。この目的関数は、観測された関節スパン ($\Delta_p$) を監督する。これは、可視な入力観測全体を通じて、あるパートが示す関節値（角度または変位）の範囲と定義される。このスパンを予測させることで、モデルに対し、単一のビューから静的な特性を推論するのではなく、全セットから運動キューを集約し、すべての状態において同一の物理的パートを一貫して特定することを強制する。
• プロシージャル・データ生成: 既存の関節付きデータセットの希少性と多様性の限界に対処するため、著者らはプロシューラル・アセット・ジェネレータを導入する。このパイプラインは、幾何学的プリミティブ（ボックス、シリンダーなど）を様々なファミリー（例：キャビネット、ドア）へと組み立て、ランダムな寸法と関節配置を与える。これにより、トレーニング中に自己アノテーションされたアセットをオンザフライで合成し、手動のアノテーションなしに事実上無限のトレーニング・ストリームを提供する。

主な貢献

1. FAMOS モデル: 疎な観測の集合を共同で推論し、関節構造を予測するフィードフォワード手法であり、可変数の入力をサポートし、形状事前分布だけでなく観測された運動に基づいた予測を実現する。
2. Multi-state Articulation Transformer: 順序のない部分的な点群間で関節のキューを集約するために、状態別およびグローバル・アテンションを交互に使用するアーキテクチャ。
3. Observed Articulation Span Loss: パーツの観測可能な運動範囲を監督することで、モデルが全観測セットを活用するように促す新しいトレーニング目的関数。
4. Procedural Asset Generator: 計算オーバーヘッドを最小限に抑えつつ、トレーニングデータをスケールアップし多様化させるために、自己アノテーションされた関節付きオブジェクトをオンザフライで合成するパイプライン。

実験結果
FAMOSは、PartNet-Mobility（イン・ディストリビューション）、ACD（クロスデータセット、高い幾何学的多様性）、ArtiCraft-10K（プロシューラルに生成された、異なる特性を持つもの）の3つのベンチマークで評価された。

• 性能: FAMOSは、最適化ベースのベースライン（ReArt, ArtGS）およびフィードフォワードのベースライン（Particulate）の両方を一貫して上回った。
  • PartNet-Mobility において、FAMOSはセグメンテーションF1で98.4%、運動推定F1 (MAO) で98.4%を達成し、最強のフィードフォワード・ベースラインの93.6%および90.3%を上回った。
  • ACD において、FAMOSはマルチステートのParticulateベースラインに対し、セグメンテーションF1を28.2ポイント、運動推定F1を27.8ポイント向上させた。
  • ArtiCraft-10K において、FAMOSはセグメンテーションF1で92.5%、運動推定F1で90.0%を達成した。
• 効率性: FAMOSは、最適化ベースの手法よりも約3,000倍高速に動作する。
• 汎化性能: 合成データ（プロシューラル・アセットを含む）のみで訓練されているにもかかわらず、FAMOSは現実世界のカジュアルなキャプチャに対して強力な汎化性能を示した。
• アブレーション研究: グローバル・アテンションまたは観測された関節スパン損失を除去すると、性能が著しく低下した。これは、クロス観測間の相互作用と運動スパンの監督の必要性を裏付けている。プロシューラルな事前学習を行い、生成されたアセットを精選されたデータと混合して訓練することで、特にアウト・オブ・ディストリビューションのベンチマークにおいて大幅な利得が得られた。

意義
本論文は、FAMOSが、静的な形状事前分布から関節構造を推論するパラダイムから、疎な入力における観測された運動を推論するパラダイムへと転換することで、重要な一歩を踏み出したと主張している。順序のない部分的な観測からキューを効果的に集約し、スケーラブルなプロシューラル・データ生成パイプラインを活用することで、FAMOSは高い推論速度を維持しながら、未知の幾何形状や現実世界のシナリオに対する堅牢な汎化を実現する。これは、従来の関節付き物体モデリングのアプローチを阻んできたスケーラビリティとデータの多様性のボトルネックに対処するものである。