🤖 AI

VecSet-Edit: Unleashing Pre-trained LRM for Mesh Editing from Single Image

VecSet-Edit 是首个利用预训练 VecSet 大型重建模型直接从单张图像进行 3D 网格编辑的流水线，它采用新颖的基于 token 的定位、漂移感知剪枝以及细节保留的纹理烘焙技术，以克服现有体素化和多视图方法的局限性。

原作者： Teng-Fang Hsiao, Bo-Kai Ruan, Yu-Lun Liu, Hong-Han Shuai

发布于 2026-05-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Teng-Fang Hsiao, Bo-Kai Ruan, Yu-Lun Liu, Hong-Han Shuai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个猫的 3D 模型，想要把它的耳朵变成西瓜片，同时不弄乱身体的其他部分。或者，你或许想把一辆车的轮子变成巨大的甜甜圈，同时保持车身完全不变。

过去做这件事，就像试图用大锤从一块冰上雕刻雕像：你往往会破坏想要保留的部分，或者不得不花费数小时手动雕刻出你想要修改的特定区域。

VecSet-Edit 是一款新工具，能让这个过程变得更智能、更快速、更精准。以下是其工作原理，分解为简单的概念：

1. 问题：无序的“弹珠袋”

大多数从单张图片生成物体的现代 3D 工具都使用一种称为 VecSet 的方法。不要把 VecSet 想象成一个实心的 3D 模型，而要把它想象成一个装满隐形弹珠的袋子。每颗弹珠代表物体形状和纹理的一小部分。

问题在于，这些弹珠是无序的。它们只是漂浮在袋子里。如果你想改变猫的耳朵，计算机本质上并不知道哪些弹珠属于耳朵，哪些属于尾巴。如果你试图通过告诉计算机改变“某些弹珠”来编辑“耳朵”，你可能会不小心也改变了尾巴，或者整只猫可能会融化成一团模糊的 blob。

2. 发现：弹珠拥有“记忆”

研究人员发现了一件惊人的事：尽管弹珠在袋子里，但它们实际上记得自己属于哪里。如果你仔细观察计算机“思考”的方式（其内部注意力机制），你会发现，构成耳朵的弹珠会一致地关注你提供的 2D 图片中的“耳朵”部分。

这是核心洞察：你只需查看 2D 图片，就能找到正确的弹珠。

3. 解决方案：三步编辑流程

VecSet-Edit 使用一个巧妙的三步流程，仅利用 2D 图像和一个简单的遮罩（一张显示你想在哪里进行修改的绘图）来编辑 3D 模型。

步骤 A：找到正确的弹珠（Token 种子与门控）

类比：想象你在拥挤的房间里寻找特定的人，以便向他们传递信息。
方法：
1. 种子（Seeding）：系统查看你的 2D 绘图（遮罩），并询问计算机：“哪些弹珠正在关注图片的这个特定部分？”它会挑选出一组粗略的弹珠，这些弹珠可能是耳朵。
2. 门控（Gating）：这组粗略的弹珠可能太大，或者包含了错误的弹珠。系统随后检查这些弹珠如何相互“交流”。如果弹珠 A 在与弹珠 B 交流，而弹珠 B 确定是耳朵，那么弹珠 A 很可能也是耳朵。这一步收紧了群体，使其仅包含修改所需的精确弹珠。

步骤 B：“重绘”之舞（VecSet-Edit）

类比：想象你在绘制壁画，但只想重绘天空，而不是树木。
方法：计算机从一个带有噪点、模糊的 3D 模型版本开始。它慢慢清除噪点（去噪）。
- 对于你想要改变的弹珠（耳朵），它会聆听你的新 2D 图像（西瓜片）并重塑它们。
- 对于你想要保留的弹珠（身体），它会忽略你的新图像，并强制它们保持在原来的位置。
- 这个过程在一个循环中发生，逐步细化形状，直到耳朵看起来像西瓜，而身体保持原样。

步骤 C：“漂移”安全网（Token 剪枝）

类比：想象你在房间里 rearranging 家具。有时，在移动椅子时，你会不小心撞到桌子，导致桌子滑进走廊。
方法：由于弹珠在编辑过程中会移动，有时一颗“身体”弹珠可能会漂移到“耳朵”区域，反之亦然。这会导致奇怪的故障。
- 系统在流程中途有一个安全检查。它会寻找那些漂移到错误区域的弹珠。如果一颗“身体”弹珠在“耳朵”区域闲逛，它就会被踢出（剪枝），以免破坏形状。

4. 最后一步：保持纹理完美

一旦形状改变，计算机就需要绘制新的表面。

问题：如果你重绘整只猫，身体上的毛发可能会变得模糊，或与原始图像不同。
解决方案：系统使用一种“细节保留”技术。它只重绘那些实际改变了形状的部分（西瓜耳朵）。对于身体的其余部分，它直接复制原始的高质量毛发纹理。这确保了编辑后的猫看起来像是一只长着西瓜耳朵的真正的猫，而不是一团模糊的乱码。

为什么这很重要？

无需 3D 遮罩：你不需要成为 3D 艺术家就能在 3D 空间中绘制遮罩。你只需在 2D 图片上绘图即可。
高质量：与使用“体素”（3D 像素，像《我的世界》的方块世界）的旧方法不同（那些方法会让物体看起来像方块），这种方法保留了原始模型平滑、高质量的曲线。
身份保留：它非常擅长保留物体的“灵魂”。如果你改变一辆车的轮子，这辆车看起来仍然是那辆特定的车，只是换了新轮子。

简而言之，VecSet-Edit 就像一根魔法棒，让你只需使用简单的 2D 绘图就能编辑 3D 物体的特定部分，同时自动知道确切要移动哪些部分、保留哪些部分，确保结果看起来专业且逼真。

以下是论文《VecSet-Edit: Unleashing Pre-trained LRM for Mesh Editing from Single Image》的详细技术总结。

1. 问题陈述

尽管自动化 3D 资产生成技术取得了快速进展，但局部 3D 网格编辑仍然是一个重大瓶颈。现有方法面临以下局限：

表示问题： 大多数方法基于中间表示（如 3D 高斯泼溅 3DGS 或神经辐射场 NeRF）进行操作，这些表示缺乏动画和物理模拟所需的显式拓扑结构。
分辨率与保真度： 基于体素的编辑方法（例如 VoxHammer）在细粒度下受限于分辨率且计算成本高昂。
监督负担： 当前的网格编辑技术通常需要劳动密集型 3D 掩码或边界框来定义编辑区域，阻碍了可扩展性。
身份保持： 基于文本或图像提示重新生成资产往往会改变原始对象的身份，或导致未编辑区域的精细细节退化。

作者提出了一种解决方案，仅利用单张 2D 图像和2D 二值掩码，基于高保真VecSet 大型重建模型（LRM），实现无需训练的局部 3D 网格编辑。

2. 方法论

所提出的框架VecSet-Edit直接在预训练的 VecSet LRM（具体为 TripoSG）的潜在空间中运行。该流程包含四个核心组件：

A. VecSet 几何属性分析

作者观察到，尽管 VecSet token 是无序的，但它们表现出空间局部性。一部分 token 始终对应网格的特定几何区域。这使得编辑问题可以被重构为token 选择问题：识别负责编辑区域的 token 子集（ $V_E$ ），同时保留其余部分（ $V_P$ ）。

B. Token 选择（定位）

为了在没有 3D 监督的情况下将 2D 图像掩码映射到正确的 3D token，该方法采用两阶段选择过程：

掩码引导的 Token 种子生成：
- 利用 VecSet token 与 2D 图像特征之间的交叉注意力图。
- 聚合输入图像中掩码区域的注意力分数。
- 基于KL 散度过滤层，仅选择信息量最大的注意力层，识别出与 2D 掩码对齐的粗略种子 token 集（ $V_I$ ）。
注意力对齐的 Token 门控：
- 利用 VecSet DiT（扩散 Transformer）内的自注意力图扩展种子集。
- 由于自注意力捕捉几何邻近性和拓扑邻接性，此步骤检索与种子集强耦合的 token，确保所选区域在空间上连贯，并覆盖目标对象的完整 3D 结构。

C. VecSet-Edit 框架（扩散与剪枝）

一旦识别出可编辑 token 子集（ $V_E$ ），框架执行受限扩散：

VecSet RePaint： 将 RePaint 策略适配到潜在 token 空间。可编辑 token（ $V_E$ ）在目标编辑图像（ $I_E$ ）的引导下进行迭代去噪，而保留 token（ $V_P$ ）被约束遵循其原始扩散轨迹以维持身份。
漂移感知 Token 剪枝： 这是处理 VecSet token 空间移动性的关键创新。在早期去噪阶段，可编辑 token 可能会“漂移”到本应保留的区域，导致几何重叠。该方法在特定时间步（ $T_{pruning}$ $T_{p r u nin g}$ ）进行干预：
- 识别已漂移至保留区域的 token（ $V_{conflict}$ ）。
- 移除这些冲突 token，除非它们对于编辑是严格必要的（由目标图像条件支持）。
- 这确保了清晰的边界并防止几何伪影。

D. 细节保持的纹理烘焙

为了在不模糊原始细节的情况下更新纹理：

该方法计算源网格与编辑网格之间的几何差异掩码。
使用MV-Adapter（多视图适配器）生成多视图纹理。
关键在于，纹理生成仅限制在几何发生变化的区域。这种“图像修复”方法确保了未编辑区域的高频细节从原始网格中得到完美保留。

3. 主要贡献

首个无需训练的 VecSet 网格编辑： 提出了首个直接在高质量 VecSet LRM 潜在空间中执行局部 3D 网格编辑的框架，避免了基于体素方法的分辨率瓶颈。
新颖的 Token 选择机制： 提出了掩码引导的 Token 种子生成和注意力对齐的 Token 门控，仅利用 2D 监督即可精确定位编辑区域，解决了将 2D 掩码映射到无序 3D token 的挑战。
漂移感知 Token 剪枝： 一种独特的策略，用于在扩散过程中移除几何异常值，确保结构一致性并防止编辑“渗透”到保留区域。
细节保持的纹理烘焙： 一个纹理合成模块，仅更新修改后的几何部分，在未编辑区域保持原始资产的高频外观。

4. 实验结果

该方法在Edit3D-Bench数据集（300 个样本）上进行了评估，并与 VoxHammer、Trellis、MVEdit 和 Instant3DiT 等最先进（SOTA）方法进行了比较。

保持质量： VecSet-Edit 在所有编辑方法中实现了最低的 Chamfer 距离（CD）（0.011），显著优于 VoxHammer（0.018）和 Trellis（0.014）。这表明其对未编辑几何的保持能力更优。
视觉指标： 在未编辑区域实现了最先进的 PSNR（29.63）和 SSIM（0.97），证明了高保真度。
效率： 由于 VecSet 骨干网络的高效性，该方法比 Trellis 和 VoxHammer 快约2 倍（约 200 秒对比 600 秒）。
用户研究： 在针对 12 名 3D 从业者的研究中，VecSet-Edit 在“区域保持”方面获得了**59.17%的投票，在“条件对齐”方面获得了58.33%**的投票，显著优于所有基线。
定性结果： 视觉对比显示，VecSet-Edit 成功处理了复杂的拓扑结构（如手、风扇），并保留了其他方法经常扭曲或丢失的精细细节。

5. 意义

VecSet-Edit弥合了生成式 3D 模型与可控生产工作流之间的差距。通过仅使用单张图像和 2D 掩码实现显式网格的精确局部编辑，它消除了对昂贵 3D 标注和手动 3D 掩码的需求。在修改特定区域的同时保持资产身份和精细细节的能力，使其对于游戏、动画和虚拟现实等需要在使用前对生成资产进行细化的行业极具价值。这项工作还为在扩散模型中操纵无序潜在表示确立了新范式。