技術サマリー：3D 生成・編集のための離散ボクセル拡散（DVD）

1. 問題定義

最近の 3D 生成モデルの進展では、SLAT（Structured LATent） パイプラインの採用が増加しており、これは 2 段階で動作する。まず、粗い形状を定義するために疎なボクセル足場を生成し、次にアクティブなボクセルに付随する連続的な潜在特徴を予測して、メッシュ、3DGS、または NeRF への高忠実度デコーディングを行う。

しかし、これらのパイプラインの第一段階は、通常、VAE 潜在空間上で動作する連続拡散モデルに依存している。このアプローチは、ボクセル占有を連続的に生成し、閾値処理によって離散化する連続から離散への変換を強いる。著者は、このパラダイムにはいくつかの重要な問題があると指摘している。

• アーティファクト: 二値化閾値付近の小さな誤差が、ボクセルを占有状態から空（またはその逆）に反転させ、メッシュ化を通じて持続する局所的な穴や切断された断片を生み出す。
• ミスマッチ: ボクセル占有のネイティブな構造は疎で二値的であるが、連続分布としてモデル化されるため、解釈性が低下し、下流の編集が複雑化する。
• 不確実性: 連続モデルはガウス事後分布を近似するため、不確実性を明示的に定量化したり、曖昧な幾何学的領域を特定したりすることが困難である。

本論文は、疎なボクセル占有を直接離散データとしてモデル化することが、この特定のサブタスクにとってより自然かつ効果的なアプローチであると主張している。

2. 手法

2.1 離散ボクセル拡散（DVD）

核心的な貢献は、SLAT パイプラインの第一段階に適用される離散拡散フレームワークである。連続潜在変数を生成する代わりに、DVD はボクセルグリッド $X \in \{0, 1\}^{N \times N \times N}$ を離散トークンの列として扱う。

• 一様状態離散拡散（USDM）: 著者は USDM を採用しており、事前分布はすべての可能な状態（占有または空）にわたって一様である。前方過程では、各ボクセルを時間依存の確率に基づいて 0 または 1 にランダムに再割り当てする。
• 逆過程: モデルは、ノイズサンプルが与えられたときのクリーンな状態に対するカテゴリカル分布 $q(x_0 | x_t)$ を予測する。平均を推定する連続拡散とは異なり、離散モデルは各ボクセルの状態に対する確率分布を明示的に出力する。
• サンプリング: 生成は祖先サンプリングを通じて行われ、各時間ステップで予測事後分布からサンプルを抽出する。

2.2 不確実性推定

離散定式化のユニークな特徴は、予測カテゴリカル分布への明示的なアクセスである。著者は、堅牢な不確実性指標として予測エントロピーを活用する。

• ボクセルレベル: 高いエントロピーは、モデルがボクセルの占有の有無を確信していない曖昧な領域を示す。
• 形状レベル: ボクセルエントロピーを集約（特にゼロに近い時間ステップ $t=\epsilon$ において）することで、軽量な不確実性スコア（$\gamma_{\epsilon, \rho}$）を導出する。このスコアは幾何学的複雑さと相関しており、データフィルタリング、品質評価、および「困難な」サンプルの特定に使用できる。

2.3 編集のためのブロック構造化摂動（BSP）

標準的な離散モデルは、空間的に均一なノイズで訓練されるため、特定の領域がマスク（既知）され、他の領域が破損するインペインティングや編集には不向きである。この訓練と推論のギャップを埋めるため、著者は**ブロック構造化摂動（BSP）**を提案する。

• 戦略: 微調整中、個々のボクセルを独立して摂動させる代わりに、モデルはさまざまなスケールの**軸方向に整列したハイパーキューブ（ブロック）**で訓練される。
• メカニズム: ランダムなブロックが選択されて破損され、残りのボリュームはほぼ無傷のままとなる。これは局所的な編集シナリオをシミュレートし、モデルにクリーンなコンテキストと整合する構造を生成することを学習させる。
• 効率性: これにより、反復的なリサンプリング戦略（RePaint など）や追加のネットワーク評価を必要とせず、単一ラウンドの編集およびインペインティングが可能となる。

3. 主要な貢献

1. 疎ボクセル生成のための離散拡散: 本論文は、SLAT パイプラインの第一段階に対する離散拡散定式化を導入する。連続から離散への閾値処理によるアーティファクトを回避し、連続的なベースラインと比較して、より小さなモデルサイズと少ない訓練データで、ほとんどの指標において性能を向上させた。
2. 明示的な不確実性モデリング: 著者は、離散拡散がネイティブな予測確率を提供し、軽量でエントロピーベースの不確実性スコアの導出を可能にすることを示した。このスコアは、曖昧な幾何学的領域を効果的に局所化し、形状複雑性の代理指標として機能する。
3. BSP による効率的なボクセル編集: ブロック構造化摂動を用いた新しい微調整戦略が提案された。これにより、単一のサンプリング軌跡内でシームレスなボクセルのインペインティングと編集が可能となり、補助的な計算なしに構造的完全性が維持される。

4. 実験結果

著者は、TripoSRおよびToys4Kデータセットを使用して画像から 3D、テキストから 3D のタスクにおいて DVD を評価し、連続ベースラインであるTRELLISやDirect3D-S2、TripoSRなどの他の手法と比較した。

• 定量的性能: DVD は、以下の評価指標のほとんどにおいて連続ベースライン（TRELLIS）を上回った。
  • FID（画像レンダリング $FID_D$ および点群 $FID_{PC}$ の両方）。
  • チャーマー距離（CD およびボクセルからメッシュへの整合性のための $CD_V$）。
  • CLIP スコア（プロンプト整合性）。
  • 注目すべきは、これらの改善が約 4 億パラメータのモデル（TRELLIS は約 5.5 億）とわずかに小さい訓練セットで達成されたことである。
• 定性的改善: 可視化により、DVD が連続的な手法で一般的に見られる「穴」や切断された断片を、特に薄層構造において大幅に減少させたことが示された。
• 不確実性の有用性: 不確実性スコアは、複雑な領域（消火器の取っ手、キノコ型家の屋根の詳細など）を正常に特定した。このスコアを用いてデータ拡張（不確実性の高い形状の過剰サンプリング）を行うことで、生成品質がさらに向上した。
• 編集性能: インペインティングタスクにおいて、BSP 微調整モデルは、高い空間的一貫性を持って欠落した幾何学を再構築したが、微調整されていないモデルや RePaint を用いた連続ベースラインは、断片的または整合しない構造を生成した。

5. 意義と主張

本論文は、離散ボクセル拡散が SLAT ベースの 3D 生成のための実用的かつ効果的な第一段階の事前分布であると主張している。その意義は以下の点にある。

• ネイティブモデリング: 生成プロセスをボクセル占有の離散的・二値的な性質に整合させ、閾値処理によるアーティファクトを排除する。
• 解釈性: 生成ダイナミクスの検査や、連続拡散では得ることが難しい不確実性指標の導出を可能にする明示的なカテゴリカルモデリングを提供する。
• 効率性: 複雑な反復サンプリングではなく、単純な微調整（BSP）を通じて効率的な編集とインペインティングを可能にする。

著者は、離散拡散は数百のサンプリングステップを必要とする（リアルタイムアプリケーションにおける制限）が、疎なボクセル足場に対して優れた帰納的バイアスを提供し、より堅牢で制御可能な 3D アセット作成への道を開くと結論づけている。今後の研究としては、サンプリングの加速と、特徴量とボクセルの結合離散 - 連続モデリングへのこれらの原則の拡張に焦点を当てるべきであると示唆されている。