技術的概要：Artiverse

問題定義

既存の可動部を持つ物体の 3D データセットは、現実的なシミュレーションや具現化 AI（embodied AI）に必要な幾何学的忠実性、機能的現実性、物理的基盤を欠いていることが多い。大規模なリポジトリ（ShapeNet、Objaverse など）は多様な幾何学形状を提供するが、主に静的である。専門的な可動部データセット（PartNet-Mobility、AKB-48 など）は運動アノテーションを提供するが、関節の複雑さ（ほとんどが単一自由度）、視覚的現実性（簡略化されたテクスチャ、内部の欠落）、物理的属性（質量、材質、メトリックスケール）において制限されている。ArtVIP や PhysX-3D などの最近の取り組みは物理的性質の解決を開始したが、規模とカテゴリの多様性において依然として限られている。その結果、機能モデリングとシミュレーションの進展に必要な、構造的分解、運動学的依存関係、物理的妥当性という機能的双方向性の全スペクトルを捉えた高品質で物理的に基盤されたアセットが不足している。

手法

著者は、ShapeNet、ABO、3D-Future、HSSD、Objaverse など 10 の多様な 3D リポジトリから集約された、88 カテゴリにわたる 5,402 個の人間作成による可動部物体のデータセット「Artiverse」を紹介する。Artiverse の構築は、スケーラビリティと高品質な人間による検証のバランスを取るために設計された半自動アノテーションパイプラインに依存している。

1. データ選択と前処理

モデルは、DuoDuoCLIP 埋め込みによる自動特徴分析と人間の監督を組み合わせたハイブリッド検索ワークフローを用いて、複数のリポジトリからフィルタリングされる。物体は、一貫した y 軸上向きの座標フレームに標準化され、原点に整合され、メトリック単位にスケーリングされる。メトリックスケールは、元のデータが欠落しているサブカテゴリの物理的寸法を推定するために、LLM（GPT-4o）を使用して推論される。

2. 半自動アノテーションパイプライン

パイプラインは 4 つの連続した段階で構成され、重要なポイントで人間による検証が統合されている。

• 機能的部品セグメンテーション:

  • テンプレート駆動: カテゴリ固有のテンプレートが、機能的な部品ラベル（取っ手、ふた、棚など）と運動タイプを定義する。
  • 少 shot セグメンテーション: ASIA モデル（少数の画像注釈を用いた適応的 3D セグメンテーション）は、カテゴリごとに少量の手動注釈付き例を用いて訓練され、多視点レンダリング上の初期 2D 部品マスクを生成する。
  • 3D 集約: 2D マスクは 3D メッシュの過分割 onto 投影される。ラベル付けされていない内部表面は、距離ベースの伝播を通じてラベルが割り当てられる。Union-find アルゴリズムは、接続されたセグメントを不相交な部品インスタンスにクラスタリングする。
  • 検証: 人間の注釈者が 3D UI を介してセグメンテーションエラーを修正し、その後、専門家による検証が行われる。

• 内部の補完:

  • 物理的現実性を確保するため、パイプラインは 3 つのシナリオで欠落した内部幾何形状に対処する。
    1. 部分的な可動部品: 内部の箱が欠落している引き出しなどの部品について、運動範囲全体で妥当性を確保するために幾何形状を拡張する。
    2. 欠落した可動部品: 類似の物体からのテンプレートを参照することにより、食器洗い機のかごや電子レンジのターンテーブルなどの欠落した内部部品を手続き的に挿入する。
    3. 欠落した相互作用 affordance: 現実的な相互作用を支援するために、空洞の家具に棚やラックなどの構造的要素を追加する。

• 運動アノテーション:

  • 自動提案: 幾何学的ヒューリスティックは、運動学的に依存する部品間の PCA 整合境界ボックスと接触領域分析を用いて、関節パラメータ（タイプ、軸、原点、限界）を推論する。運動学的グラフは、空間的接続性とテンプレート制約に基づいて構築される。
  • 検証: 人間の専門家が運動の妥当性を検証し、運動のコピーと即時プレビューをサポートするインタラクティブな Web インターフェースを用いて関節パラメータを調整する。

• 物理的性質:

  • 質量と材質: 部品ごとの質量は、体積（固体部品の四面体分割または中空部品のシェルオフセットによる計算）を計算し、材質密度を乗じることで推定される。材質ラベルと密度範囲は、セマンティックラベルと LLM によって推論された範囲に基づいて割り当てられる。

3. 効率性

この半自動アプローチは、セグメンテーションにおいて完全手動プロセスと比較して 32.0%、運動アノテーションにおいて 33.5% の手動アノテーション時間を削減する。自動提案の約 50.12% は、人間の修正を必要としない。

主要な貢献

1. Artiverse データセット: 機能的部品、運動学的依存関係、多自由度関節（ユニバーサル、円筒形など）、物理的属性（メトリックスケール、材質、質量）を含む豊富な注釈を備えた、5,402 個の多様な可動部物体のコレクション。88 のサブカテゴリを網羅し、既存のデータセットの多様性と複雑さを大幅に拡張する。
2. 半自動パイプライン: 少 shot セグメンテーション、幾何学的推論、多段階の人間による検証を統合し、高品質なアノテーションを効率的に生成するスケーラブルなワークフロー。
3. ベンチマークと検証: 論文は以下の点を通じてデータセットの有効性を示している。
   • 部品可動性分析: Artiverse で FPNGroupMot モデルを訓練すると、PartNet-Mobility で訓練した場合と比較して優れた汎化性能を示すが、データセットの複雑さは既存のモデルにとって新たな課題をもたらす。
   • 可動部物体生成: 画像条件付き生成（SINGAPO、Articulate-Anything）を評価した結果、Artiverse で訓練されたモデルは、VLM 事前知識のみに依存するモデルよりも構造的および幾何学的に一貫した結果を生成することが示された。
   • シミュレーション対応性: アセットは GLB、USD、URDF 形式でリリースされ、具現化 AI タスクのための物理エンジン（Genesis など）とのシームレスな統合を可能にする。

結果

• 統計: Artiverse には 24,607 個の部品と 23,640 個の関節が含まれており、その大部分は複雑な多自由度関節（480 個の 2 自由度関節）である。これは PartNet-Mobility の単一自由度への焦点と比較される。
• クロスデータセット評価: Artiverse で訓練されたモデルは、部品セグメンテーションおよび運動予測の指標（F1 スコアなど）において、PartNet-Mobility で訓練されたモデルを上回り、データセットの多様性と品質がモデルの汎化を強化することを示している。
• 生成性能: 画像から可動部物体への生成において、Artiverse で訓練された SINGAPO は、VLM 事前知識に依存するモデルよりも高い gIoU と低い衝突率（AOR）を達成し、詳細な可動部合成のための構造化データ事前知識の重要性を浮き彫りにしている。

意義

本論文は、Artiverse が可動部物体の機能的理解の進展にとって重要なリソースであると主張している。物理的に基盤され、多様で、運動学的に複雑なアセットを提供することで、以下を可能にする。

• 部品可動性分析および可動部物体生成のための、より堅牢な学習ベース手法の開発。
• 現実的なインタラクティブなシーンおよび没入型仮想環境の作成。
• 物体操作などのインタラクティブタスクのための物理ベースシミュレータにおける具現化エージェントの訓練と評価。

著者は、Artiverse を単なるデータ収集ではなく、複雑な多自由度可動部に関する推論における現在の手法の限界を露呈させるベンチマークとして位置づけており、それによって可動部行動の統合推論に関する将来の研究を動機づけている。データセットは、シミュレーションおよび生成モデリングタスクへの即時採用を促進するために、標準化された形式でリリースされている。