TexEditor: Structure-Preserving Text-Driven Texture Editing

这是一篇关于TexEditor（一种结构保持的文本驱动纹理编辑模型）的技术论文总结。该论文针对现有图像编辑模型在进行纹理修改时难以保持物体几何结构一致性的问题，提出了一套从数据构建到训练策略再到评估基准的全方位解决方案。

以下是详细的技术总结：

1. 研究背景与问题 (Problem)

• 核心挑战：文本驱动的纹理编辑旨在修改物体的外观属性（如材质、粗糙度、颜色），同时必须保持物体的底层几何结构、空间布局和语义身份不变。
• 现有痛点：
  • 即使是目前最先进的（SOTA）编辑模型（如 Nano Banana Pro），在执行纯外观相关的纹理编辑指令时，也频繁出现结构不一致的问题。
  • 模型倾向于“重新生成”整个物体，导致形状变形、边界模糊或细节丢失，而不是仅仅改变纹理。
  • 现有的训练数据缺乏有效的结构保持信号，且现有的评估基准（如基于 Blender 单物体的合成数据）缺乏真实世界的复杂性和多样性，无法全面评估模型在真实场景下的表现。

2. 方法论 (Methodology)

TexEditor 基于 Qwen-Image-Edit-2509 构建，采用“数据 + 训练”双管齐下的策略来增强结构保持能力：

A. 数据构建：TexBlender (高保真合成数据集)

为了解决真实数据中纹理与结构耦合难以分离的问题，作者构建了 TexBlender 数据集：

• 生成工具：利用 Blender 和 3D-Front 数据集，结合 3D-Front 的复杂室内布局，生成具有多样背景的场景级数据。
• 核心优势：
  • 完美配对：在渲染过程中，仅修改目标物体的纹理参数（如粗糙度、金属度）或替换全局纹理，而3D 几何结构完全保持不变。这为模型提供了纯净的结构保持监督信号。
  • 多粒度编辑：不仅针对单个物体，还针对成组的 3D 物体（如整套家具）进行编辑，涵盖局部和场景级纹理修改。
  • 指令生成：利用 Qwen3-VL 和 SAM3（分割模型）结合视觉差异图，自动生成精确且语义对齐的文本编辑指令。

B. 训练策略：两阶段训练

1. 监督微调 (SFT)：
   • 使用 TexBlender 数据集对模型进行冷启动训练，让模型初步学习纹理编辑技能并建立“保持几何结构”的先验知识。
2. 强化学习 (RL) - StructureNFT：
   • 目标：将 SFT 学到的结构保持能力泛化到真实世界场景（基于 COCO 数据集构建的 RL 训练数据）。
   • 奖励机制：引入 StructureNFT，一种基于 RL 的优化方法。
     • 指令遵循奖励 ($Score_{ins}$)：使用多模态大模型（Gemini 3）评估编辑结果是否符合文本指令。
     • 结构保持损失 ($Score_{struct}$)：引入辅助损失函数，利用低层结构线索（如 SAM3 分割掩码或 SAUGE 提取的线框）计算编辑前后图像的结构距离（使用 SSIM 而非 IoU，以增强对微小扰动的鲁棒性）。
   • 平衡：通过奖励函数平衡指令遵循与结构不变性，抑制模型重新生成物体的倾向。

C. 评估基准：TexBench 与 TexEval

• TexBench：构建了一个基于真实世界图像（COCO）的通用纹理编辑基准。利用实例掩码定位目标，自动生成多样化的编辑指令，并经过人工验证，解决了现有基准场景单一、缺乏遮挡和复杂背景的问题。
• TexEval：提出了一种综合评估指标。
  • 传统 MLLM 评分往往忽略细微的结构变化。
  • TexEval 结合了指令遵循度（MLLM 评分）和结构一致性（基于视觉线索的 SSIM 分数），通过加权公式 $TexEval = \alpha \cdot Score_{ins} + (1-\alpha) \cdot Score_{struct}$ 来更全面地评估质量。用户研究表明该指标与人类偏好高度一致。

3. 主要贡献 (Key Contributions)

1. TexBlender 数据集：首个专注于场景级、多粒度纹理编辑的高质量合成数据集，提供了强结构先验。
2. StructureNFT 训练方法：提出了一种结合 SFT 和 RL 的两阶段训练策略，通过引入结构保持的辅助损失，在不改变骨干网络架构的前提下显著提升了结构保持能力。
3. TexBench 与 TexEval：建立了更贴近真实世界的评估基准和综合评估指标，填补了现有评估在真实场景覆盖度和结构一致性量化方面的空白。
4. 性能突破：TexEditor 在纹理编辑任务上超越了包括 Nano Banana Pro 在内的多个强基线模型。

4. 实验结果 (Results)

• 定量表现：
  • 在 TexBench（真实场景）上，TexEditor 在指令遵循度（Instruction Following）和结构保持度（Structure Preservation）上均显著优于基线模型（如 Nano Banana Pro, Alchemist, Qwen-2509）。
  • 在 Blender 基准上，TexEditor 同样取得了最高分，证明了其在合成数据上的有效性。
  • 消融实验表明，TexBlender 的冷启动 SFT 和带有正则化的结构损失（StructureNFT）对最终性能提升至关重要。
• 定性表现：
  • 可视化结果显示，TexEditor 能够准确修改材质（如将桌子变为抛光胡桃木、将苹果变为铜质），同时完美保留物体的形状、边缘和透视关系，而竞品模型往往会出现物体变形或背景扭曲。
• 泛化能力：
  • 在通用图像编辑基准 ImgEdit 上，TexEditor 在涉及纹理编辑的子任务（如背景替换、属性调整）中表现优于基线模型，证明了其结构保持能力具有良好的泛化性。

5. 意义与影响 (Significance)

• 技术突破：解决了文本驱动图像编辑中“改纹理”与“保结构”这一长期存在的矛盾，为高保真的虚拟场景构建、内容生成和数字人制作提供了关键技术支撑。
• 社区贡献：开源了 TexEditor 模型、TexBlender 数据集、TexBench 基准以及 TexEval 评估工具，推动了纹理编辑领域的标准化研究。
• 未来方向：指出了多物体同时编辑等当前仍存在的挑战，为后续研究提供了方向。

总结：TexEditor 通过构建高保真合成数据、引入结构感知的强化学习策略以及建立更科学的评估体系，成功实现了在复杂真实场景中“只改纹理，不改形状”的高精度图像编辑，是目前该领域的 State-of-the-Art 方案。