技術要約: SplatPainter

問題提起

3D Gaussian Splatting (3DGS) はフォトリアルな3Dアセット作成に革命をもたらしましたが、インタラクティブな外観の洗練と編集における決定的なギャップが依然として存在します。既存のワークフローは、主に以下の3つの課題に直面しています。

1. アイデンティティの保持: 現在の手法は、編集を適用する際に元の資産のアイデンティティや複雑な構造の詳細を維持できず、「アイデンティティのドリフト（変質）」や意図しないグローバルな変化を引き起こすことがよくあります。
2. 精度と制御: 中間的なマルチビュー生成や拡散モデルに依存するアプローチは、「空間的編集のリーク（漏れ）」、つまり局所的な編集が意図しない領域まで浸食してしまう現象や、再構成がぼやけるためにユーザーの特定の意図に一致しない現象に悩まされることがあります。
3. レイテンシ: 反復的な拡散サンプリングやシーンごとの最適化に基づく最先端の手法は、極めて低速であり（多くの場合、数百秒を要する）、流動的なクリエイティブ・プロセスに必要なリアルタイム性を損なっています。

ユーザーが使い慣れた2Dツールを使用して、元の3D構造を厳格に保持しながら、精密かつ微細な調整を行えるフレームワークが求められています。

手法

SplatPainterは、3DGSアセットの連続的かつ高忠実度な編集のために設計された、状態認識型（state-aware）のフィードフォワード・フレームワークです。これは、破壊的なマルチビューの再生成やシーンごとの最適化を回避し、2D画像空間の編集からGaussian属性の更新を直接予測します。パイプラインは主に2つのステージで構成されます。

1. コンパクトで特徴豊かな3DGS表現 (ステージ I)

効率的な編集を可能にするため、本手法はまず入力された3DGSアセットを、コンパクトで構造化された潜在表現へと変換します。

• Gaussian LRM 初期化: 入力された3DGSを標準的な視点からレンダリングし、Gaussian Large Reconstruction Model (LRM) によって処理することで、高密度で特徴豊かなGaussianクラウドを生成します。
• ボクセル化: 密なGaussianクラウドを、近接するGaussianをローカルなボクセルセルにグループ化することで、規則的な潜在グリッドへと再編成します。
• ローカル・ボクセル・トランスフォーマー: トランスフォーマーベースのモジュールが、各ボクセル内の情報を圧縮します。これは自己注意（self-attention）を通じてボクセル内の関係性を集約し、その後、クロスアテンション・メカニズムのクエリとして機能する最も重要な上位$K$個のGaussian（不透明度に基づく）を選択することで、情報を蒸留します。これにより、メモリオーバーヘッドを削減しつつ、グローバルなコンテキストを保持した、コンパクトで構造化されたボクセル潜在変数が得られます。

2. テスト時学習 (TTT) による精緻化 (ステージ II)

インタラクティブな編集のための核心的な革新は、モデルを状態認識型にするためのテスト時学習 (TTT) の使用です。

• スロー重みとファスト重み: 精緻化ネットワークは、「スロー重み」（凍結されたバックボーン）と「ファスト重み」（適応可能なマッピングネットワーク）を含むトランスフォーマー・ブロックで構成されます。
• 適応メカニメント: ユーザーが新しい2D編集（例：ズームアップしたビューやペイントのストローク）を提供すると、モデルは新しい入力トークンを用いた自己教師あり損失に対する単一ステップの勾スト計算を行い、ファスト重みを更新します。
• 反復的な適用: 適応後、更新されたファスト重みが、画像トークンと3Dボクセル潜在変数の両方に並列に適用されます。これにより、ネットワークは元の資産の知識を上書きすることなく、新しい外観情報をオンザフライで統合できます。
• ローカル編集 vs グローバル編集:
  • ローカル編集: レイトレーシングによって、編集されたビューに対応する可視ボクセルを特定します。更新はこれらのボクセルのみに適用され、トークンセットが拡張されて微細な構造が導入されます。
  • グローバル編集: 更新されたファスト重みがすべてのGaussianトークンに適用され、ジオメトリを保持しながら、一貫したグローバルな変化（例：再照明）を可能にします。

主な貢献

1. 新しいフィードフォワード編集フレームワーク: SplatPainterは、インタラクティブな3DGS編集のための、状態認識型フィードフォワードモデルを導入します。TTTを活用することで、破壊的な再生成を行うことなく、2D編集を反復的に取り込み、Gaussian属性を直接更新します。
2. 多才なアプリケーション: 統一されたアーキテクチャは、以下を含む多様なタスクをサポートします。
   • 高忠実度な局所詳細の精緻化: 疎なズームアップビューから欠落した詳細を復元します。
   • インタラクティブなクリエイティブ編集: ユーザーによるペイントオーバー、グラフィティ、または生成的な編集（例：Nano Bananaからの編集）を統合しつつ、アセットのアイデンティティを厳格に保持します。
   • 一貫したグローバルな再照明: 少数のリライトされたビューに基づき、シーン全体に照明の変化を伝播させます。
3. インタラクティブな速度での最先端性能: 広範な実験により、SplatPainterが視覚的な品質と速度の両面において既存の手法を大幅に上回っていることが示されました。最適化ベースのベースラインが数百秒を要するのに対し、本手法は約0.3秒（ローカル編集あたり）というインタラクティブな速度で動作します。

実験結果

著者らは、ObjaverseおよびTexVerseのデータセットを用い、3つの主要なタスクについてSplatPainterを評価しました。

• 局所的な精緻化: 本手法は、直接的な再構成（GS-LRM）、フィードフォワードによる高密度化（GenDen）、および最適化ベースのアプローチ（3DGS, SRGS）と比較して、優れたPSNR、SSIM、LPIPSスコアを達成しました。決定的なことに、最適化手法が300〜500秒を要したのに対し、本手法は約0.3秒でこの品質を実現しました。
• クリエイティブ編集: VoxHammerおよびVineDresser3Dとの比較において、SplatPainterは著しく高いアイデンティティ保持能力を示しました。ベースライン手法は「空間的リーク」やグローバルなアイデンティティの変質（例：特定の領域を編集する際に顔の構造を歪ませるなど）を示しましたが、SplatPainterは未編集の領域を元の状態とビット単位で一致させて保持しました。非編集領域に関する定量的指標では、SplatPainterはVoxHammerの13.86に対し、33.02のPSNRを達成しました。
• グローバルな再照明: 本手法は、再構成精度（4ビューにおいてPSNR 25.03、ReLitLRMは21.68）においてReLitLRMおよび3DGS最適化を上回り、色のトーンの不一致のない、より一貫したシェーディングを生成しました。
• アブレーション研究: 2段階のパイプラインが検証され、ステージIが品質低下を最小限に抑えつつ積極的な圧縮（Gaussian数を約70%削減）を実現し、ステージIIが効果的に詳細を精緻化することが示されました。また、TTT更新メカニズムが、一貫性を維持する上で標準的なクロスアテンションのベースラインよりも優れていることが示されました。

重要性と主張

本論文は、SplatPainterが非破壊的、高速、かつ精密な代替手段を提供することで、現在の3D編集ワークフローの根本的な限界に対処していると主張しています。その重要性は以下の点にあります。

• ギャップの解消: アーティストが直感的な2Dツールを使用して3Dアセットを精緻化できる、流動的なリアルタイム・クリエイティブ・ワークフローを可能にします。これは、従来の3DGSエコシステムにおいて欠落していた機能です。
• アセット・アイデンティティの保持: 状態認識型の適応を用いてGaussian表現に直接作用することで、「アイデンティメント・ドリフト」の問題を解決します。
• スケーラビリティ: フィードフォワードな性質により、即時のフィードバックが可能となり、ゲーミングからEコマースに至るまでの幅広い業界におけるリアルタイム3Dコンテンツ制作の解となります。

著者らは、現在の設計は外観の更新に焦点を当てており、新しいジオメトリを導入するものではないため、幾何学的な編集は今後の課題であると述べています。