技術要約: INSTRUCT-PARTICULATE

問題提起

3Dオブジェクトの連結構造（キネマティックなパーツと、それに付随するジョイント・パラメータへの分解）を再構成することは、アニメーション、ゲーム、ロボットシミュレーションにおいて極めて重要である。しかし、この領域の進展は、高品質でアノテーションされた連結3Dデータの不足によって停滞している。既存の手法は、小規模で手動により精査されたデータセット（例：PartNet-Mobility）に依存しており、これが新しいオブジェクトカテゴリや多様なジオメトリへの汎化能力を制限している。さらに、特定の3Dオブジェクトに対するパーツの粒度や意味論的な定義には固有の曖昧さが伴うため、異種混合のデータで学習したモデルは、最適とは言えない「平均化された」結果を出力してしまうことが多い。

手法

著者らは、明示的なキネマティック指示に従って、静的な3Dアセット（メッシュ）から連結構造を推論するように設計されたフィードフォワードモデルである INSTRUCT-PARTICULATE を提案する。

1. データ構築とスケーリング

データの不足を克服するため、著者らは3つの補完的な戦略を用いて、15万個以上の連結3Dオブジェクトからなる異種混合データセットを構築した。

• VLMベースの疑似ラベル付け: 27,000個の合成3Dアセットのマルチビューレンダリングから、キネマティック構造（パーツ名、接続性、ジョイント型）を抽出するために、視覚言語モデル（VLM）を利用したパイプラインを使用する。VLMはセグメンテーションマスクを生成し、それを3Dへと逆投影する。
• パーツ分割済みモデルの拡張: 既存のパーツ分解はあるがキネマティックラベルを欠いている120,000個のアセットに対し、パイプラインはパーツのテキストキャプションを生成する。決定的なことに、曖昧さ（例：同一のテーブルの脚）に対処するため、システムは標準的な向きが存在する場合にのみ空間的な手がかりを使用し、それ以外の場合は意味的に同一のパーツには同一のキャプションを割り当て、幾何学的なポイントプロンプトによって区別を行う。
• コーディングエージェントによる生成: 特化した3Dコーディングエージェントである Articraft を用いて、正確なジョイントパラメータを持つ10,000個の完全監督された連結オブジェクトを生成した。

2. モデルアーキテクチャ

本モデルは、3Dメッシュ（ポイントクラウドとして表現）とキネマティック条件 $C$ を処理する、スケーラブルなエンコーダ・デコーダアーキテクチャを採用している。条件 $C$ には以下が含まれる：

• キネマティックツリー構造 $K$ （パーツと接続性）。
• 各パーツを記述するテキストプロンプト ($t_p$)。
• パーツ上の特定の位置を示すオプションの3Dポイントプロンプト ($x_p$)。

エンコーディング:

• 形状トークン (Shape Tokens): メッシュからサンプリングされた点は、法線と特徴量（PartField経由）と共にエンコードされ、クロスアテンションを通じて潜在的な形状トークンへと圧縮される。
• クエリトークン (Query Tokens): 表面上にサンプリングされた追加の点は、パーツへの所属を予測するためにエンコードされる。
• パーツトークン (Part Tokens): テキストプロンプトはCLIPを通じてエンコードされ、ポイントプロンプトの埋め込みと結合される。

プロセッシング:
これらのトークンは $B$ 個のトランスフォーマーブロックを通じて処理される。パーツトークンは、アテンションおよび形状トークンへのクロスアテンションを通じて更新され、連結パラメータを推論する。クエリトークンは、形状トークンと更新されたパーツトークンの両方にクロスアテンションを行い、パーツへの所属を決定する。特筆すべき点として、クエリ数の多さに依存しない速度と独立性を確保するため、クエリトークン間の自己アテンションは省略されている。

デコーディング:

• パーツセグメンテーション: MLPがクエリとパーツのペアに対してスコアを付け、表面の点を特定のパーツに割り当てる。
• ジョイント運動パラメータ: 各可動ジョイントについて、モデルは過剰パラメータ化された手法で運動パラメータ（軸の方向、ピボットポイント、および運動範囲）を予測する。モデルは各クエリ点に対して、ジョイント軸上の最も近い点と、ジョイントの下限および上限における点の位置を予測する。これらのクエリごとの予測は、幾何学的に集約され、各ジョイントの単一の共有運動軸と範囲を復元する。

主な貢献

1. INSTRUCT-PARTICULATE モデル: 静的な3Dオブジェクトとキネマティック指示を受け取り、パーツセグメンテーションとジョイント運動パラメータを含む、完全に連結された3Dオブジェクトを出力する、最先端のフィードフォワードモデル。
2. スケーラブルなデータエンジン: VLMとコーディングエージェントを活用して、疑似ラベル付けおよび生成を行い、15万個以上の大規模かつ多様な連結3Dオブジェクトからなるデータセットを構築するパイプライン。これにより、既存のラベル付きコレクションを大幅に拡張した。
3. キネマティック・コンディショニング: 明示的な指示（構造、テキスト、ポイント）によってターゲットとなる連結構造を曖昧さを排除する、新しい定式化。これにより、モデルは、以前は最適ではない出力へと平均化されてしまうような、多様なアノテーションから学習することが可能になる。
4. 画像からの3D連結生成: 本モデルを市販の3Dジェネレーターと組み合わせることで、現実世界の画像から多様でリアルな連結3Dアセットを直接生成できる実用的なパイプラインのデモンストレーション。

実験結果

モデルは、過去のデータセットには存在しないカテゴリを含む14カテゴリの243個の高品質な連結オブジェクトを含む Lightwheelデータセット で評価された。

• 定量的性能: INSTRUCT-PARTICULATEは、すべての入力モード（画像のみ、メッシュ、およびメッシュ＋キネマティック）において、8つの既存のベースライン（SINGAPO、PAct、PhysX-Anything、URDF-Anything+を含む）を一貫して上回った。
  • 「メッシュ + キネマティック」の設定において、パーツ一致精度 97.3%、再現率 95.9% を達成し、レストポーズのセグメンテーションで 0.821 gIoU、連結ジオメトリで 0.757 gIoU を記録した。
  • ジョイント軸の誤差（角度誤差：9.5°、位置誤差：0.015）をベースラインと比較して大幅に減少させた。
• アブレーション研究:
  • データ: 既存のデータセット（PartNet-Mobility、GRScenes）のみで学習したモデルは、深刻な過学習を起こし、汎化に失敗した。疑似ラベルおよびコーディングエージェント生成データの導入は、セグメンテーションとジョイント推定の両方において相補的な利点をもたらした。
  • コンディショニング: キネマティック・コンディショニングを除去すると性能が激減し、パーツの粒度や意味論的な曖昧さを解決するためには明示的な指示が必要であることが確認された。ポイントプロンプトは、プロンプトの種類の中で最大の性能向上をもたらした。
• 定性的結果: モデルは、ベースラインが失敗した小さな連結パーツ（ボタン、ノブ）や複雑な構造（スタンドミキサー、コーヒーマシン）を正常に復元した。また、テキストによる「左の引き出しと右の引き出しの区別」や、「24個の異なるボタンのジョイントの処理」といった、特定のキネマティックプロンプトに従う能力も示した。

意義と主張

本論文は、INSTRUCT-PARTICULATE が、VLM駆動のスケーラブルなデータエンジニアリングを通じてデータ不足のボトルネックに対処することで、連結オブジェクトの理解における重要な一歩を踏み出したと主張している。キネマティック制御を導入することで、モデルは特定の注釈粒度をターゲットにすることができ、これまで利用不可能であった異種混合のトレーニングデータを使用することが可能になる。

著者らは、このアプローチが、現実世界の画像から多様で物理シミュレーション可能な連結アセットを直接生成することを可能にし、静的な3D生成と動的なシミュレーションの間のギャップを埋めるものであると断言している。本研究は、小規模な手動アノテーションデータセットの限界を超え、大規模かつカテゴリに依存しない学習の領域へと移行するための、エンボディドAI（Embodied AI）向けのシミュレーションアセット作成の実用的なソリューションとして提示されている。