技術要約: PartMat: 単一のグローバル潜在変数を用いた素材認識型3Dパーツ分解

問題定義

現在の3D生成および分解手法は、主に機能的な意味論（例：椅子の脚、座面）や幾何学的構造に焦点を当てています。しかし、インテリアデザインやエンボディド・シミュレーション（身体化されたシミュレーション）といった実用的なアプリケーションでは、編集可能な素材境界（例：布地、木材、金属、ガラスの領域を分離する）に基づいた分解が求められます。既存のアプローチには、以下の2つの決定的な限界があります：

1. 非効率性: パーツを個別に生成する手法（例：PartCrafter, PartPackza）は、計算コストがパーツ数に対して線形にスケールするため、多くの素材領域を持つオブジェクトに対して非効率的です。
2. 不整合性: 個別のコンポーネント表現はグローバルな協調性を弱めることが多く、素材領域の割り当てミス、同一素材の連結されたコンポーネントの分断、あるいはパーツの重複や重複生成といった問題を引き起こします。さらに、テクスチャを生成してからそれらをセグメンテーションするカスケード型のパイプラインは、外観生成から幾何学的分解へのエラーを伝播させます。

本研究の目的は、素材認識型の3Dパーツ分解です。参照画像と単一のオブジェクト全体のジオメトリメッシュ（パーツ注釈なし）が与えられたとき、オブジェクトを、独立した編集とプロパティ割り当てを可能にする、編集可能な素材割り当てに厳密に従った境界を持つパーツへと分解します。

手法

PartMatは、単一のグローバル潜在変数を用いてマルチパーツのジオメトリを表現し、推論コストをパーツ数からデカップリング（分離）するように設計された3段階のフレームワークです。

ステージ I: PartVAE (統一表現)

著者らは、マルチコンポーネントのジオメトリのための統一された表現を学習する変分オートエンコーダであるPartVAEを導入しています。

• アーキテクチャ: Hunyuan3D 2.1 ShapeVAEアーキテクチャを適応させています。パーツ認識ポイントエンコーダが表面点（位置、法線、素材ID、シャープエッジ指標）を処理し、それらをクロスアテンションを介して単一のグローバル潜在ベクトル ($z$) へと集約します。
• デコーディング: パーツを逐次的にデコードする手法とは異なり、PartVAEはマルチチャネルSDFデコーダを採用しています。これは単一のグローバル潜在変数 $z$ を受け取り、$K$（例：32）個の符号付き距離関数（SDF）チャネルを一度のフォワードパスで共同デコードします。各チャネルは、潜在的な素材パーツに対応します。
• 効率性: 潜在変数のサイズとデコーダのパス数は、実際の有効なパーツ数（$M \le K$）に関わらず固定されているため、デコーディングのレイテンシは一定であり、パーツ数に依存しません。
• 学習目的関数: モデルは、有効なパーツに対する再構成損失と、存在しないパーツがゼロレベルセットから離れるようにするための抑制損失を用いて学習されます。

ステージ II: PartDiT with RL Alignment (生成)

条件付き拡散モデルであるPartDiTは、参照画像と入力されたオブジェクト全体のジオメトリからグローバル潜在変数を生成します。

• アーキテクチャ: Hunyuan3D 2.1 DiTに基づいており、画像トークン（DINOv2から）とジオメトリトークン（凍結されたPartVAEエンコーダから）にそれぞれアテンションを向けるための別々のクロスアテンション層を使用しています。
• RLアライメント: パーツの重複や不正確な素材割り当ての問題に対処するため、著者らは直接勾配強化学習（Direct-Gradient Reinforcement Learning: RL）を採用しています。すべてのサンプルを評価のためにメッシュへデコードすることはコストが高いため、凍結されたPartVAEの暗黙的なSDF空間内で直接微分可能な報酬を計算します。
  • マッチング報酬 ($R_{match}$): 予測されたチャネルが、ソフト占有類似度と微分可能な割り当てを用いて、グランドトゥルースの素材領域と一致するように促します。
  • 重複ペナルティ ($R_{overlap}$): 異なる予測コンポーネントによる同時占有を罰します。
  • モデルはこの微分可能な報酬を最大化する損失関数を用いてファインチューニングされ、効果的に重複を抑制し、素材境界を精緻化します。

ステージ III: Part-Aware Sparse Geometry Refinement (パーツ認識型疎なジオメトリ精緻化)

PartVAEは一貫したジオメトリを提供しますが、コンパクトな潜在変数によって薄い構造が滑らかになってしまうことがあります。

• アプローチ: 高解像度の疎ボクセルフローマッチングモデルが、粗いコンポーネントを精緻化します。
• メカニズム: 精緻化ネットワークは、粗いパーツ、グローバルなジオメトリ、および参照画像に基づいています。決定的なのは、フルセルフアテンションとパーツ内アテンション層を交互に配置するパーツアテンションを導入している点です。これにより、各素材スロットのアイデンティティを保持しつつ、素材間のインターフェースにおける通信を可能にし、シームレスな境界を確保しながら高周波な幾何学的詳細を復元します。

主な貢献

1. PartVAE: 単一のグローバル潜在変数でマルチコンポーネントのジオメトリを表現する初のVAEであり、デコーディングのレイテンシをパーツ数からデカップリングすることに成功しました。
2. PartMatフレームワーク: 以下の要素を統合した3段階のパイプラインを提供します：
   • 精密な素材分解と重複抑制のための直接勾配強化学習。
   • シームレスなコンポーネント境界を持つ高解像度ジオメトリを復元するための、パーツ認識型疎なフローリファイア。
3. パフォーマンス: 約30万個の素材注釈付きオブジェクトを用いた広範な実験により、最先端の素材分解精度（Sem-IoU）と、既存のベースラインに匹敵する幾何学的品質を示しながら、効率的な推論を維持できることを実証しました。

実験結果

著者らは、約30万個の家具および家庭用品のデータセットを用いてPartMatを評価しました。

• VAE再構成: PartVAEは、単一オブジェクトVAE（Hunyuan2.1, TRELLIS2）と比較して競争力のある幾何学的再構成（CDおよびF1スコア）を達成しつつ、編集可能な素材チャネルを提供します。PartCrafterとは異なり、そのデコードレイテンシは線形にスケールすることなく、ほぼ一定（例：32コンポーネントで約1.7秒）に保たれます。
• Image-to-3D生成: 画像条件付き生成において、PartMatは素材分解の精度（RL使用時でSem-IoU: 50.51% vs X-Partの43.00%）および幾何学的忠実度（CD: 3.67 vs 5.13）の両面で、ベースライン（X-Part, PartCrafter, PartPacker, HoloPart, OmniPart）を大幅に上回っています。
• アブレーション研究:
  • 表現形式: グローバルなマルチチャネル戦略は、ローカルボックス（薄い構造に苦戦する）やパックド・セミ（境界がギザギザになる）のアプローチよりも優れた結果を示しました。
  • RLアライメント: マッチング報酬と重複ペナルティの組み合わせは、グランドトゥルースに最も近い分解を実現し、空間的な競合や境界のぼけを減少させました。
  • 精緻化: 疎なフローリファイアは、コンパクトな潜在変数によって失われた鋭いエッジや微細構造を正常に復元しました。

意義と主張

本論文は、PartMatが3Dアセット作成における重要なギャップ、すなわち構造化され、素材編集が可能なアセットを効率的に生成する能力に対処していると主張しています。機能的な意味論から素材の境界へと移行することで、本手法はインテリアデザイン（「塗装された木材」や「ブラッシュド真鍮」のような特定の素材の置換）や物理シミュレーション（特定の領域に異なる摩擦や密度特性を割り当てる）などのダウンストリームアプリケーションを可能にします。

著者らは、パーツの複雑さに関わらず一定のデコーディングレイテンシを維持できる点が、自己回帰型やパーツごとの生成手法に対する大きな利点であることを強調しています。彼らは、PartMatを、幾何学的に正確であるだけでなく、リアルなレンダリングや相互作用に必要な物理的素材と意味的に一致した3Dアセットを作成するための基礎的なステップとして位置付けています。

認められた限界:
本手法は固定されたコンポーネント容量（$K=32$）を前提としており、高品質な素材注釈に依存しています。弱教師あり学習の代替案は、境界のノイズを導入する可能性があります。また、極めて微細な詳細の再構成は依然として課題であり、さらなる精緻化が必要です。