技術要約: PointDiT

問題提起

単眼幾何推定（単一のRGB画像から高密度な3D構造を予測するタスク）は、3Dシーン理解における根本的な課題である。深度マップはスカラー値の距離を提供するが、3D構造を復元するには既知のカメラ内部パラメータが必要となる。対照的に、**ポイントマップ（点マップ）**はカメラ座標系（X, Y, Z）で直接幾何学を表現するため、キャリブレーションなしで即座に3D再構成を可能にする。しかし、このマッピングはスケールと深度の曖昧さにより、本質的に不良設定（ill-posed）の問題を抱えている。

既存のアプローチには、以下のような重大な限界がある：

1. 決定論的な回帰モデル: これらは多くの場合、複雑なハイブリッドアーキテクチャ（Vision Transformerと畳み込みの組み合わせ）や複雑な損失関数に依存している。このタスクの曖昧さゆえに、出力分布の平均を予測する傾向があり、その結果、複雑な領域や透明な領域において高周波の詳細が欠落した過度に平滑化された幾列をもたらす。
2. 潜在拡散モデル (LDMs): GeometryCrafterのような手法は生成的な事前知識を利用するが、VAEを介してポイントマップを潜在空間に圧縮する必要がある。これはアーキテクチャのオーバーヘッドと情報の損失を招く。幾何学的データのためのトークナイザーを構築することは容易ではなく、VAEの再構成目的と拡散生成の目的が相反することで、再構成される微細構造の忠実度が制限されることが多い。

手法: PointDiT

著者らは、生の3Dポイントマップパッチ上で直接動作する、ミニマリストなピクセル空間拡散トランスフォーマー（pixel-space Diffusion Transformer）であるPointDiTを提案する。これにより、潜在空間、VAE、またはハイブリッドアーキテクチャの必要性を排除している。

コアアーキテクチャ

• バックボーン: 最初から学習させたプレーンなVision Transformer (ViT)。LDMとは異なり、事前学習済みのトークナイザーやVAEエンコーダー/デコーダーを必要としない。
• 入力表現: 3Dポイントマップ ($H \times W \times 3$) はマルチチャネル画像として扱われる。これは重なり合わない $p \times p$ パッチ（デフォルト $p=16$）にパッチ化され、トークン埋め込みへと投影される。
• 条件付け: モデルは、凍結されたDINOv3エンコーダーからのトークンを用いて、入力RGB画像によって条件付けられる。著者らは、DINOv3の均等に配置された4つの中間層から特徴量を結合することで、表現学習と拡散学習を橋渡しする豊かな特徴階層が得られることを見出した。
• 融合: 画像トークンとポイントマップのトークンはチャネル方向に結合され、スタックされたTransformerブロックを通じて処理される。

学習戦略

• フローマッチング (Flow Matching): モデルはフローマッチングの枠組みを採用し、ガウスノイズ分布からポイントマップのデータ分布へと輸送する常微分方程式 (ODE) を学習する。
• 予測対象 (x-prediction): 主要な革新は、x-prediction（クリーンなポイントマップを直接予測すること）の使用である。これは、他の拡散モデルで一般的な速度予測 ($v$-prediction) ではなく、クリーンなデータを直接予測するものである。著者らは、x-predictionが幾何学的データにおいて極めて重要であり、大幅に優れた結果をもたらすことを示している。
• 損失関数: 主要な目的関数は速度損失（velocity loss）（推定された速度と真の速度の間のMSE）である。さらに、ターゲットの大きさに応じて誤差を正規化するための補助的な**相対ポイント損失（relative point loss）**が追加されており、これにより遠方の点が損失を支配することを防ぎ、局所的な詳細を保持している。
• 正規化と空の処理: ポイントマップは、ノイズの事前分布のスケールに合わせるため、重心を減算し、平均ユークリッド距離で除算することで標準化される。空の点（無限遠の深度）は仮想的な球面上に投影され、屋内および屋外の両方のシーンにおいて安定した学習を確保するために損失が重み付けダウンされる。
• 学習スケジュール: モデルは、まず $256 \times 256$ の合成データ (SceneNet-RGBD) で大規模な事前学習を行い、続いて11種類の高精度な合成データセットの混合を用いて $512 \times 512$ でファインチューニングを行う。

推論

• サンプリング: モデルは、オイラーソルバーを使用して、$t=0$（純粋なノイズ）から $t=1$（クリーンなデータ）までODEを解く。
• 効率性: 驚くべきことに、PointDiTはシングルステップ推論で競争力のある結果を達成する。追加のサンプリングステップを行うことで、境界の鋭さをさらに精緻化できる。
• 決定論モード: モデルは、すべてゼロで初期化された状態での推論（決定論的）も行うことができ、これは確率的サンプリングと同等の結果を生み出す。これは入力ノイズに対する堅牢性を示している。

主な貢献

1. 幾何学のためのピクセル空間拡散: ピクセル空間での拡散が、高密度な3D幾何学に対して計算可能であるだけでなく、鋭い詳細を再構成し曖昧さを解消する上で潜在ベースのアプローチよりも優れていることを示した。
2. ミニマリストなアーキテクチャ: VAEやハイブリッドネットワークのアーキテクチャ上のオーバーヘッドを取り除き、生のポイントマップ上で最初から学習させたプレーンなViTを利用している。
3. 3Dのためのx-Prediction: クリーンなデータを直接予測すること（x-prediction）が幾何学的データに対して非常に効果的であり、速度ベースのターゲットよりも優れていることを確立した。
4. 曖昧さへの堅牢性: 生成的な定式化により、モデルは決定論的な回帰器よりも鋭い高周波の詳細を捉え、曖昧な領域（例：透明な物体）をより良く扱うことができる。

実験結果

7つの実世界のデータセット (DIODE, KITTI, NYUv2, ETH3D, HAMMER, iBims-1, Booster) を $512 \times 512$ 解像度で評価した：

• 精度: PointDiT-Hは、比較されたすべての手法の中で最高の深度精度 ($Reld$, $\delta^1_d$) およびポイントマップ精度 ($\delta^1_p$) を達成した。
• 境界の鋭さ: PointDiTは最も高い境界忠実度指標 (BF1) を達成し、潜在拡散モデル (GeometryCrafter) や決定論的回帰モデル (MoGe-2) を大幅に上回った。これは、細い構造や鋭いエッジを復元する能力が優れていることを示している。
• 効率性: PointDiTは潜在拡散モデルよりも大幅に高速である。シングルステップ推論において、PointDiT-Hは72msかかるのに対し、GeometryCrafterは1,178msを要する。
• 定性的性能: 視覚的な比較により、PointDiTは回帰による平滑化やVAEベースの潜在拡散によるノイズ・アーティファクトを避け、複雑な構造（例：椅子の脚）や透明な物体をより忠実に復元していることが示されている。

重要性と主張

本論文は、PointDiTが将来の3Dおよび4D生成モデルのためのよりシンプルなパラダイムを提示していると主張している。高密度な幾何学がVAEなしでピクセル空間において効果的にモデリングできることを示すことで、著者らは標準的な画像生成と3D再構成の間の溝を埋めている。

著者らは、自身のアプローチが以下の点を強調している：

• 複雑な潜在ベースの拡散モデルを凌駕しながら、それらよりも大幅にシンプルであること。
• より鋭い幾何学的構造を生成し、高度に曖昧な領域においてより堅牢であること。
• ピクセル空間の拡散が自然な画像から構造化された幾何学的信号へと自然に拡張できることを示唆しており、VAEフリーのエンドツーエンドな3Dおよび4D生成への道を開くものであること。

論文は、現在のモデルが固定解像度で学習されていることや、屋外シーンでの性能はより多様な学習データによって改善される可能性があることに触れつつ、限界については控えめに述べている。また、今後の展望として、プレーンなViTバックボーンを拡張してRGBの外観を共同で出力したり、マルチビュー生成を扱ったりすることも示唆している。