技术摘要：EditFlow3D

问题陈述

可控的 3D 资产局部编辑需要精确的目标定位和适当的视觉引导。现有方法面临两个主要挑战：

1. 掩码获取（Mask Acquisition）： 缺乏一种简单且准确的方法来获取特定区域的 3D 掩码。
2. 区域保持（Region Preservation）： 当前的方法难以在实现预期编辑的同时，忠实地保持非目标区域的结构和外观。在修改资产的特定部分时，这些方法往往会导致意外的退化、跨视图不一致或边界伪影。

虽然最近 3D 生成模型的进展允许通过文本或图像创建资产，但修改现有资产（例如，替换组件或移除几何体）需要平衡目标修改与源保持。仅靠空间掩码无法防止目标调节（target conditioning）影响非目标区域，而直接的特征替换则会破坏跨区域的一致性。

方法论

EditFlow3D 是一个无需训练（training-free）的框架，旨在对 3D 资产进行精确的局部编辑。它在预训练 3D 生成模型（具体为 TRELLIS 系列）的原生表示空间内运行，由两个主要阶段组成：

1. VLM 驱动的自动化编辑控制构建

该阶段将灵活的用户输入（文本指令、可选的参考图像和源 3D 资产）转换为精确的视觉和空间控制。

• 视图选择与引导生成： 视觉语言模型（VLM）分析源资产的多视图渲染图，以选择能够展示目标区域的最佳视图（$I_{src}$）。随后，VLM 指导图像编辑模型生成描绘期望修改效果的视觉引导图像（$I_{edit}$）。
• 3D 掩码构建：
  • 初始分解： 使用 P3-SAM 在原生 3D 空间中将源资产分解为各个部件。
  • 精细化： 为了解决部件接合处的区域泄漏问题，系统利用来自 PartField 的层次化分区和来自 S2AM3D 的多粒度分区。它将这些输出映射到表面点，并根据针对初始掩码的“重叠纯度（overlap purity）”选择候选部件。
  • 融合： 候选部件基于几何连通性和表面法线一致性进行过滤和融合，从而生成精细化的表面掩码（$M_{ref}$）。
  • 最终映射： 将 $M_{ref}$ 映射到生成模型的原生稀疏坐标，以创建最终的编辑掩码（$M_{edit}$）及其补集（$M_{keep}$）。

2. 局部 3D 流编辑（Local 3D Flow Editing）

该阶段在生成模型的流（flow）过程中，通过双管齐下的引导策略执行编辑：

• 微分流引导（Differential Flow Guidance, DFG）：
  • 在稀疏体素生成期间运行。
  • 通过比较在源视觉条件（$c_{src}$）和目标视觉条件（$c_{edit}$）下预测的速度场来计算编辑方向。
  • 差异（$\Delta v_t$）即为编辑向量。
  • 3D 掩码（$S_{edit}$）在空间上约束此更新，将流的变化严格限制在目标区域内：$z_{edit} \leftarrow z_{edit} + \gamma \Delta t S_{edit} \odot \Delta v_t$。
• 轨迹保持引导（Trajectory Preservation Guidance, TPG）：
  • 在随后的特征生成（几何与纹理）期间运行。
  • 解决全局视觉调节导致非目标特征偏离源状态的问题。
  • TPG 不采用硬替换中间特征（这会导致伪影）的方法，而是实施一种软约束。它通过比较非目标区域中的预测洁净状态（$S_{keep}$）与编码的源状态（$x_{src}$）来计算保持损失（$L_{pres}$）。
  • 通过该损失的梯度对可编辑状态进行软修正：$z_{edit} \leftarrow z_{edit} - \lambda (\nabla_{z_{edit}} L_{pres})$。这在不破坏生成轨迹的情况下，维持了边界相干性并减少了意外退化。

核心贡献

1. EditFlow3D 框架： 一个无需训练、无需反转（inversion-free）的框架，能够自动将用户输入转换为用于局部 3D 编辑的精确视觉和空间控制。
2. 新型编辑算法： 一种结合了掩码引导的微分流（用于目标修改）和分步轨迹保持（用于非目标一致性）的局部 3D 流编辑算法。该方法将流更新限制在目标区域，同时抑制非目标区域的漂移，而非进行硬性的特征替换。
3. EditFlow-Bench： 一个新的基准测试，包含 100 个源资产和涵盖五种类型（添加、删除、替换、几何修改、外观修改）的 200 个编辑案例。它通过覆盖更广泛的结构和纹理变化，补充了现有的 Edit3D-Bench。

结果

该框架使用 TRELLIS 和 TRELLIS.2 作为骨干网络，在 EditFlow-Bench 和公开的 Edit3D-Bench 上进行了评估。

• 定量性能： EditFlow3D 在两个基准测试的所有指标（相似度、CD、PSNR、SSIM、LPIPS、DINO-I、FID）上均取得了最佳的整体结果。与 Nano3D、PartFlow、VoxHammer 和 Vinedresser3D 等基准方法相比，它展示了更优的目标区域对齐能力，同时在保持非目标区域方面显著优于它们。
• 定性比较： 视觉结果显示，虽然基准方法经常引入全局变暗、修改不完全或边界不连续等问题，但 EditFlow3D 在成功实现局部变化的同时，能够很好地保持未编辑区域的几何与外观。
• 消融实验：
  • 移除 DFG 会显著降低编辑准确度（相似度从 0.318 降至 0.287）。
    • 移除 TPG 虽然能维持编辑准确度，但会严重降低保持指标（PSNR、SSIM、LPIPS、FID），证实了其在防止非目标区域漂移方面的作用。
  • 自适应视图选择和掩码精细化被证明对于提高准确度和保持度都至关重要。
• 用户研究： 在一项包含 40 名参与者的研究中，EditFlow3D 在指令对齐方面在 43% 的案例中优于所有基准方法，在视觉质量方面优于 57%，在源保持方面优于 49%。

意义

论文声称 EditFlow3D 解决了 3D 编辑中目标修改与源保持之间的关键权衡问题。通过引入轨迹保持引导，该方法解决了即使使用空间掩码也依然存在的非目标区域退化问题，因为目标调节仍会影响全局生成过程。该框架表明，无需训练新模型或反转源资产，仅依靠预训练生成模型的原生表示空间结合自动化的 VLM 驱动控制构建，即可实现精确的局部编辑。EditFlow-Bench 的引入提供了一个评估多样化结构与纹理编辑的必要标准，填补了现有评估协议的空白。