技術要約: EditFlow3D

問題提起

3Dアセットの制御可能な局所編集には、精密なターゲットの特定と適切な視覚的ガイダンスが必要です。既存の手法は、主に以下の2つの課題に直面しています。

1. マスクの取得: 特定の領域に対する3Dマスクを取得するための、簡便かつ正確な手法が不足しています。
2. 領域の保持: 現在のアプローチは、望ましい編集を実現しつつ、非ターゲット領域の構造や外観を忠実に保持することに苦慮しています。特定の部分を変更する際に、意図しない劣化、ビュー間の不一致、または境界のアーティファクトが発生することがよくあります。

近年の3D生成モデルの進歩により、テキストや画像からのアセット作成が可能になりましたが、既存のアセット（例：コンポーネントの置換やジオメトリの削除）を修正するには、ターゲットの変更とソースの保持のバランスを取る必要があります。空間マスクだけでは、ターゲットの条件付けが非ターゲット領域に影響を与えることを防ぐことはできず、直接的な特徴量の置換は領域間の整合性を損なう可能性があります。

手法

EditFlow3Dは、3Dアセットの正確な局所編集のために設計された、学習不要（training-free）のフレームワークです。これは、事前学習済み3D生成モデル（具体的にはTRELLISファミリー）のネイティブな表現空間内で動作し、主に以下の2つのステージで構成されます。

1. VLM駆動による自動編集制御の構築

このステージでは、柔軟なユーザー入力（テキスト指示、オプションの参照画像、およびソースとなる3Dアセット）を、精密な視覚的および空間的制御へと変換します。

• ビュー選択とガイダンス生成: ビジョン言語モデル（VLM）がソースアセットのマルチビューレンダリングを分析し、ターゲット領域が露出している最適なビュー（$I_{src}$）を選択します。その後、VLMは画像編集モデルを誘導し、望ましい変更を描写した視覚的ガイダンス画像（$I_{edit}$）を生成します。
• 3Dマスクの構築:
  • 初期分解: P3-SAMを使用して、ソースアセットをネイティブ3D空間内のパーツへと分解します。
  • 精緻化: パーツの接合部における領域のリークに対処するため、システムはPartFieldによる階層的分割とS2AM3Dによるマルチグラニュラリティ（多粒度）分割を利用します。これらの出力をサーフェスポイントにマッピングし、「オーバーラップの純度（overlap purity）」に基づいて初期マスクに対する候補パーツを選択します。
  • 融合: 候補は幾何学的連結性とサーフェスノーマルの整合性に基づいてフィルタリングおよび融合され、精緻化されたサーフェスマスク（$M_{ref}$）が生成されます。
  • 最終マッピング: $M_{ref}$ を生成モデルのネイティブな疎な座標にマッピングすることで、最終的な編集マスク（$M_{edit}$）とその補集合（$M_{keep}$）を作成します。

2. 局所3Dフロー編集

このステージでは、生成モデルのフロー内において、二段構えのガイダンス戦略を用いて編集を実行します。

• 微分フローガイダンス (DFG):
  • 疎なボクセル生成中に動作します。
  • ソースの視覚条件（$c_{src}$）とターゲットの視覚条件（$c_{edit}$）の下で予測される速度場を比較することで、編集方向を計算します。
  • 差分（$\Delta v_t$）が編集ベクトルとして機能します。
  • 3Dマスク（$S_{edit}$）がこの更新を空間的に制約し、フローの変化をターゲット領域のみに厳密に制限します：$z_{edit} \leftarrow z_{edit} + \gamma \Delta t S_{edit} \odot \Delta v_t$。
• 軌跡保持ガイダンス (TPG):
  • その後の特徴量生成（ジオメトリおよびテクスチャ）中に動作します。
  • グローバルな視覚的条件付けによって、非ターゲットの特徴がソースの状態からドリフトしてしまう問題に対処します。
  • 中間的な特徴量をハードに置き換える（これはアーティファクトの原因となる）代わりに、TPGはソフトな制約を課します。非ターゲット領域における予測されたクリーンな状態（$S_{keep}$）と、エンコードされたソースの状態（$x_{src}$）を比較することで、保持損失（$L_{pres}$）を計算します。
  • 編集可能な状態は、この損失の勾配を通じてソフトに補正されます：$z_{edit} \leftarrow z_{edit} - \lambda (\nabla_{z_{edit}} L_{pres})$。これにより、生成の軌跡を乱すことなく、境界のコヒーレンスを維持し、意図しない劣化を抑制します。

主な貢献

1. EditFlow3Dフレームワーク: ユーザー入力を正確な視覚的および空間的制御へと自動的に変換する、学習不要かつインバージョン不要のフレームワーク。
2. 新しい編集アルゴリズム: マスク誘導型微分フロー（ターゲットの変更用）とステップごとの軌跡保持（非ターゲットの整合性用）を組み合わせた、新しい局所3Dフロー編集アルゴリズム。このアプローチは、フローの更新をターゲット領域に限定すると同時に、ハードな特徴量置換を行うことなく非ターゲット領域のドリフトを抑制します。
3. EditFlow-Bench: 5つのタイプ（追加、削除、置換、ジオメトリ変更、外観変更）にわたる100のソースアセットと200の編集ケースで構成される新しいベンチマーク。これは、より幅広い構造的およびテクスチャの変化をカバーすることで、既存のEdit3D-Benchを補完します。

結果

本フレームワークは、TRELLISおよびTRELLIS.2バックボーンを用い、EditFlow-Benchおよび公開されているEdit3D-Benchの両方で評価されました。

• 定量的パフォーマンス: EditFlow3Dは、両方のベンチマークにおいてすべての指標（Similarity, CD, PSNR, SSIM, LPIPS, DINO-I, FID）で最高の総合結果を達成しました。Nano3D、PartFlow、VoxHammer、Vinedresser3Dといったベースラインと比較して、ターゲット領域のアライメントにおいて優れた性能を示し、非ターゲット領域の保持においてそれらを大幅に上回りました。
• 定性的比較: 視覚的な結果では、ベースラインがグローバルな暗転、不完全な変更、または境界の不連続性を引き起こすことが多いのに対し、EditFlow3Dは未編集領域のジオメトリと外観を保持しながら、変更を局所化することに成功しました。
• アブレーション研究:
  • DFGを除去すると、編集精度が著しく低下しました（Sim.が0.318から0rec0.287に低下）。
  • TPGを除去すると、編集精度は維持されましたが、保持指標（PSNR, SSIM, LPIPS, FID）が大幅に悪化しました。これにより、非ターゲット領域のドリフトを防ぐ役割が確認されました。
  • 適応的なビュー選択とマスクの精緻化が、精度と保持の両方において極めて重要であることが示されました。
• ユーザー調査: 40人の参加者を対象とした調査において、EditFlow3Dは、指示への適合性で43%、視覚的品質で57%、ソースの保持で49%のケースにおいて、すべてのベースラインよりも好まれました。

意義

本論文は、EditFlow3Dが3D編集における「ターゲットの変更」と「ソースの保持」の間の決定的なトレードオフに対処することを主張しています。**軌跡保持ガイダンス（Trajectory Preservation Guidance）**を導入することで、空間マスクを使用してもなお残る、ターゲットの条件付けが生成プロセス全体に影響を与えるという問題を解決しています。本フレームワークは、新しいモデルの学習やソースアセットのインバージョンに頼ることなく、事前学習済み生成モデルのネイティブな表現空間と、VLM駆動の自動制御構築を用いることで、精密な局所編集が可能であることを示しています。また、EditFlow-Benchの導入は、多様な構造的・テクスチャ的編集を評価するための必要な標準を提供し、既存の評価プロトコルのギャップを埋めるものです。