技術的サマリー：MeshReGen — 統合された 3D 幾何形状再生フレームワーク

問題定義

現在の 3D 生成モデルは、主にテキストまたは単一画像から 3D 物体への変換を行う「ワンショット」方式で動作しています。初期作成には効果的ですが、これらのモデルは制御性が不足しており、複雑で多段階の 3D アーティストのワークフローとの統合に苦慮することが多いです。現実世界の 3D 制作では、粗い幾何形状の微調整、不完全なスキャン（例えばフォトグラメトリ）からの物体再構築、または既存メッシュの特定領域の編集が頻繁に行われます。これらのタスクは、粗い、ノイズの多い、歪んだ、または部分的な「低情報」3D 形状（$y_L$）を、「高情報」3D 形状（$x_H$）にマッピングすることを必要とします。

既存のアプローチは、これら特定の事例（強化、再構築、編集）に対して、カスタマイズされたタスク固有のアーキテクチャを用いて対応しています。さらに、低品質と高品質の 3D 形状のペアからなるトレーニングデータセットの不足が、汎用再生器の学習能力を制限しています。本論文は、タスク固有の設計や高価な手動アノテーションを必要とせずに、多様な 3D 再生タスクを処理できる統合アーキテクチャと学習定式化の欠如を指摘しています。

手法

中核概念：3D 形状再生

著者らは、3D 再生を、補助的な低情報 3D 形状（粗いメッシュ、ポイントクラウド、またはマスクされた領域など）$y_L$ と、任意の 2D 画像ガイド $I$ を条件として、高忠実度形状 $x_H$ を分布 $p(x_H | y_L, I)$ からサンプリングすることと定義しています。

モデルアーキテクチャ

MeshReGen は、コンパクトな 3D 潜在空間で動作する事前学習済み潜在拡散モデルに基づいており、VecSet [78] を使用しています。

1. 潜在表現: 対象となる高品質形状（$x_H$）と条件となる低品質形状（$y_L$）の両方が、同一の VecSet エンコーダを用いて潜在ベクトル（$z_H$ および $z_L$）に符号化されます。VecSet は、サンプリングされたポイントクラウドから導出された $K$ 個の潜在ベクトルの集合として 3D 形状を表現します。
2. 統合条件付けメカニズム: 条件付けに個別のクロスアテンション経路を使用する先行研究（高密度入力に対して非効率的になり得る）とは異なり、MeshReGen は条件トークン $z_L$ をノイズのあるターゲットトークン $z_H^t$ に直接連結します。
   • トークン前処理: 新規制御トークンの導入によってモデルが「ショック」を受けるのを防ぐため、条件トークン $z_L$ はゼロ初期化された重みを持つ多層パーセプトロン（MLP）を通過させます（ControlNet と同様）。位置エンコーディングも $z_L$ に追加され、モデルがそれらの空間的位置を区別できるようになります。
   • 拡散プロセス: 拡散トランスフォーマ（DiT）が、画像 $I$ と時間ステップ $t$ を条件として、連結された入力 $z_H^t \oplus \text{MLP}(z_L + \text{PE})$ のノイズ除去を行います。
3. 効率性: VecSet の主な利点は、トークン数 $K$ を形状の複雑さに応じて調整できる点です。粗い入力（$y_L$）は、ターゲットよりもはるかに少ないトークン数（$C \ll K$）で符号化でき、自己アテンションの二次的な複雑さにより計算効率を向上させます。

データ構築（自己教師ありプレテキストタスク）

ペアリングされた 3D データの不足を克服するため、著者らは手動アノテーションなしで汎用 3D データセット（Objaverse 風のコレクションなど）をトレーニングトリプレット $(z_H, z_L, I)$ に変換する自動データエンジニアリングパイプラインを提案しています。具体的な拡張戦略は、対象タスクに依存します。

• 構成的強化: 高品質な物体をグリッドに配置し、単一の潜在空間に符号化します。特定のレベル $t^*$ でシーントークンにノイズを追加し、その後 $t=0$ までノイズ除去を行います。生成された「劣化」シーンをデコードし、個々の物体を元の高品質物体（$x_H$）に対応する低品質ペア（$y_L$）として抽出します。これは、構成的生成において一般的に発生する詳細の喪失をシミュレートします。
• ガイド付き画像から 3D へ（再構築）: 真の物体（Ground-truth）を 1〜4 視点にレンダリングします。これらのビューをフィードフォワード再構築ネットワーク（VGGT）に入力し、疎で不完全なポイントクラウド（$y_L$）を生成します。これらを真の物体と整合させることでトレーニングペアを形成します。
• 3D 形状編集: 真の物体に 3D マスクを適用して領域を除去します。残りの幾何形状を符号化し、欠落領域を潜在空間内で初期化された学習可能な「マスクトークン」で表現します。ガイド画像 $I$ は、テキストから 2D へのモデルを使用してレンダリングされたビューのマスク領域をインペインティングすることで生成されます。

主要な貢献

1. 統合フレームワーク: MeshReGen は、3D 強化、疎なビューからの再構築、3D 編集を実行できる単一のアーキテクチャを導入し、以前は異なるモデルによって処理されていたタスクを統合します。
2. 新規条件付けメカニズム: 本論文は、VecSet 潜在空間内での 3D 条件付けのためのシンプルかつ効果的な連結戦略を提案し、高密度またはノイズの多い入力に対してクロスアテンションの代替案を上回ります。
3. スケーラブルなデータプロトコル: 著者らは、自己教師あり拡張を介して汎用 3D データセットからタスク固有のペアリングトレーニングデータを自動的に生成するプロトコルを実証し、高価な手動ペアリングの必要性を排除しました。
4. 最先端のパフォーマンス: このフレームワークは、タスク固有のベースラインと比較して、幾何学的整合性と微細な詳細の回復において優れた結果を達成しました。

結果と評価

著者らは MeshReGen を 3 つの主要タスクで評価しました。

• 構成的 3D 強化: 分解されたシーン物体において、MeshReGen は幾何学的忠実度（ULIP-3D）と知覚的品質（MV-ImageReward）において、ベースライン（DetailGen3D など）を大幅に上回りました。これは、一度のパスで大規模なシーンを生成する際に失われる詳細を正常に回復しました。
• ガイド付き画像から 3D へ（再構築）: GSO データセットを使用し、VGGT と組み合わせた MeshReGen（VGGT+MeshReGen）は、最先端の再構築指標（CD、F-score、IoU、PSNR）を達成しました。これは単一視点生成器を顕著に上回り、入力ビュー数が少なくても TRELLIS や MeshLRM などの多視点専用モデルと同等かそれ以上の性能を発揮しました。これは、可視幾何形状を維持しながら遮蔽された領域を効果的に埋め込みます。
• 3D 形状編集: Edit3D-Bench データセットで評価された MeshReGen は、元の物体のアイデンティティと大域構造を維持しつつ、特定の 3D 領域を編集する能力を実証しました。これは、2D から 3D へのリフティング手法に共通するアーティファクトやビューの不一致を回避します。

アブレーション研究:

• 条件付けメカニズム: ゼロ初期化 MLP を用いた提案されたトークン連結は、CLAY に着想を得た個別のクロスアテンションブロックを使用する設計や、Hunyuan3D-Omni に着想を得た拡張クロスアテンションを使用する設計を上回りました。
• 拡散パラメータ化: 標準的な拡散定式化は、再構築タスクにおいて整流化フロー（rectified flow）のベースラインを上回りました。
• 汎化能力: 既存の生成フレームワーク（TRELLIS、Hunyuan3D-Omni）は、微調整なしでは劣化入力に対する再生タスクに汎化できず、専用の再生定式化とデータの必要性を浮き彫りにしました。

意義と主張

本論文は、MeshReGen が統合され、汎用性があり、多用途な 3D 再生の事前知識への重要な一歩であると主張しています。単一のアーキテクチャが、統合された条件付けメカニズムと自己教師ありデータ構築を通じて、多様な下流タスク（強化、再構築、編集）を処理できることを実証することで、この研究はタスク固有の 3D モデルという支配的なトレンドに挑戦しています。

著者らは、彼らのアプローチが大域幾何形状（ポーズ、粗い形状）に対する明示的な制御を可能にしつつ、微細な詳細を改善することを強調しており、生成 AI の柔軟性とプロフェッショナルな 3D ワークフローに必要な精度の間のギャップを埋めています。彼らは MeshReGen を単なる生成器としてではなく、既存の 3D アセットをアップグレード、修復、変更できる「再生」ツールとして位置づけており、3D コンテンツ制作をよりアクセスしやすく効率的にすることを可能にします。