💻 computer science

NeuMesh++: Towards Versatile and Efficient Volumetric Editing with Disentangled Neural Mesh-based Implicit Field

NeuMesh++ 引入了一种通用且高效的基于神经网格的隐式场，该场将几何、纹理和语义编码解耦在网格顶点上，从而实现全面的 3D 编辑能力，包括引导式几何操控、纹理替换与绘制，以及语义引导的修改。

原作者： Chong Bao, Yuan Li, Bangbang Yang, Yujun Shen, Hujun Bao, Zhaopeng Cui, Yinda Zhang, Guofeng Zhang

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Chong Bao, Yuan Li, Bangbang Yang, Yujun Shen, Hujun Bao, Zhaopeng Cui, Yinda Zhang, Guofeng Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个神奇的 3D 全息投影，比如一个乐高小车或一个泰迪熊。在过去，如果你想改变这个全息图的形状（比如弯曲它的手臂）或给它重新上色（比如给熊戴上墨镜），你必须使用非常复杂的、“黑盒式”的数学运算。你无法轻松地抓取特定部分进行移动，否则整个物体就会出现故障；你也无法像在真实的画布上那样直接在上面“绘画”。

这篇名为 NeuMesh++ 的论文介绍了一种构建此类 3D 全息图的新方法，它让这些物体感觉更像是你可以拿在手中的传统 3D 模型，同时又具备计算机生成电影般的高质量视觉效果。

以下是其工作原理，我们使用简单的类比来解释：

1. “脚手架”的概念

把一个 3D 物体想象成一个被肌肉和皮肤覆盖的骨架（线框网格）。

旧方法： 以前的方法试图用看不见的“雾气”或巨大的 3D 像素网格来构建物体。这种方法看起来很棒，但如果你尝试弯曲手臂，雾气就会变得混乱且模糊。
NeuMesh++ 的方式： 这种方法是在脚手架（网格）上构建物体的。想象一个线框鸟。神奇之处不在于那根线本身，而在于附着在每一处连接点（顶点）上的“智能油漆”。

2. “智能油漆”（解耦编码）

在每一个线框点上，系统都存储了三个独立的“旋钮”或“编码”：

形状编码（Shape Code）： 控制几何形状。
纹理编码（Texture Code）： 控制颜色和图案。
语义编码（Semantic Code）： 一个标签，说明这个部分是什么（例如，“轮子”、“眼睛”、“毛皮”）。

因为这些是分离的，你可以旋转“形状”旋钮而不影响“纹理”旋钮。这就像是一个黏土雕塑，你可以拉伸黏土（形状），而不会抹掉原本涂在上面的油漆（纹理）。

3. 超能力（编辑功能）

由于物体是建立在这个智能脚手架之上的，作者展示了三种主要的编辑方式：

弯曲线框（几何编辑）：
如果你想弯曲麦克风的头部，只需在 3D 程序中抓取线框并进行弯曲。因为“智能油漆”是粘在导线上的，所以全息图会完美地随之弯曲。不需要重新渲染或复杂的数学计算。这就像弯曲一个铁丝衣架，但衣架依然保持着照片级的真实感。
替换与填充（纹理编辑）：
- 替换： 想象你有一个金色的兔子和一个银色的罐子。你可以把兔子的“金色皮肤”取下来，贴到罐子上。系统会自动计算如何将金色图案拉伸以完美契는罐子的形状，同时保持罐子上的文字清晰锐利。
- 填充： 如果你想在佛像的特定位置覆盖上“泰迪熊毛皮”，你可以选择那个区域，系统就会用毛皮图案进行填充，使其像壁纸一样自然地重复。
绘画与点击（“所见即所得”的神奇体验）：
- 绘画： 你可以打开一张 3D 物体的 2D 图片，用数字画笔在泰迪熊上画一个胡须。系统会瞬间知道这层油漆在 3D 空间中的位置。它不仅仅是涂抹油漆，而是将其包裹在物体周围，这样你从任何角度看，都能看到那个胡须。
- 点击： 这是最简单的部分。如果你想改变汽车“轮子”的颜色，你只需在单张照片中点击其中一个轮子。系统会自动找到 3D 世界中所有的轮子（即使是那些被遮挡住的部分），并同时改变它们。这就像拥有一个理解“轮子”概念的神奇魔杖，而不需要你手动去画圈圈。

4. 为什么这更好？

作者解释说，以前的方法就像是在编辑一团烟雾；你可以移动整团烟雾，但你很难塑造某个特定的手指，或者在特定位置涂色，否则会毁掉整个物体。

NeuMesh++ 就像是在编辑一个数字木偶。

它很快： 它可以实时渲染图像（就像玩电子游戏一样）。
它很精准： 你可以编辑微小的细节，而不会导致模糊。
它很简单： 你不需要成为数学天才，只需点击和绘画；系统会处理所有的繁重工作。

简而言之，这篇论文提出了一种创建 3D 世界的新方法，它将现代 AI 的高质量视觉效果与艺术家们沿用数十年的直观、易用的编辑工具结合在了一起。

技术摘要：NeuMesh++

问题陈述

虽然神经隐式渲染技术（如 NeRF）在新型视角合成和 3D 场景重建方面取得了显著成功，但它们在 3D 建模和编辑工作流中表现不足。现有的用于编辑的神经渲染方法局限于刚性变换或特定类别的操作。它们缺乏艺术家所要求的精度和灵活性，而艺术家更倾向于基于网格的工作流（例如在 Blender 或 Maya 中），这类工作流允许进行非刚性几何变形、细粒度纹理编辑（更换、填充、绘画）以及语义操控。此外，现有方法通常需要大量的手动标注来进行细粒度编辑，并且在使用简单的网格顶点插值时，难以处理局部空间可区分性问题（例如，区分网格面内部与外部的点）。

方法论

作者提出了 NeuMesh++，一种新型的基于网格的神经辐射表示法，它将神经隐式场编码到网산을架（mesh scaffold）上。这种方法弥合了体积神经渲染与传统基于网格建模之间的鸿沟。

核心表示

场景被分解为一组局部的、受顶点约束的辐射场。网格架上的每个顶点 $v$ 存储四个不同的可学习参数：

几何编码 ( $l_g$ )： 编码局部几何结构。
纹理编码 ( $l_t$ )： 编码局部外观。
语义编码 ( $l_s$ )： 编码语义属性。
修改颜色 ( $c_m$ )： 一种与视角无关、无需解码器的颜色属性，用于增强纹理编辑的保真度。

渲染管线

对于相机射线上的查询点 $x$ ：

局部空间参数化： 系统识别 $K$ 个最近的网格顶点。该系统不使用全局坐标，而是将 $x$ 投影到每个邻居的法线上以计算局部指示器 $h_k = (p_k, w_k)$ ，其中 $p_k$ 是投影距离， $w_k$ 是归一化的逆距离。这解决了空间可区分性（内外表面）问题，且无需使用符号距离场 (SDF)。
解码： 几何和辐射解码器 ( $F_G, F_R$ ) 以这些局部编码和指示器作为输入，预测每个邻居的密度 $\sigma_k$ 和颜色 $c_k$ 。最终颜色包含修改颜色： $c_k = F_R(l_t^k, h_k, d, n_k) + c_m^k$ 。
后插值： 空间插值策略融合来自相邻顶点的贡献，以获得点 $x$ 处的最终密度 $\sigma$ 和颜色 $c$ 。这在每个顶点周围创建了一个“局部辐射场”，该场与网格拓扑无关（包括非水密网格）。

编辑能力

这种解耦的表示特性实现了多种编辑功能：

网格引导的几何编辑： 由于辐射场与网格对齐，变形网格顶点（例如通过 ARAP 或物理模拟）可以直接变形渲染对象，而无需重新训练。
纹理更换： 通过使用 Umeyama 和 ARAP 对齐源网格和目标网格，根据欧几里得距离在顶点之间传输纹理编码和修改颜色。
纹理填充： 使用 UV 空间中的基于平铺的方法，将从预捕获模型中获取的模板纹理重复到目标区域。
纹理绘画： 用户在 2D 视图中进行绘画。一种空间感知优化策略通过探测射线识别受影响的修改颜色，并仅微调这些特定的颜色，从而防止过拟合到单一视角并保留视角相关效应。
语义引导编辑： 语义编码是从 2D 开集词汇分割（如 DINO, SAM）中蒸馏而来的。一种传播机制将用户的 2D 点击转化为 3D 语义掩码，从而实现通过单次点击进行区域选择和编辑。

核心贡献

新型基于网格的表示法： 在网格顶点上编码具有解耦几何、纹理和语义编码的神经辐射场，实现了与基于网格工作流的无缝集成。
提升稳定性与保真度的技术增强：
- 局部空间参数化： 一种使用局部指示器和后插值的新方法，在无需预训练教师模型的情况下稳定训练，并提高空间可区分性。
- 可学习的修改颜色： 每个顶点上的视角无关颜色参数，提高了纹理编辑的保真度，特别是对于解码器学习谱系之外的颜色。
- 空间感知优化： 一种用于纹理绘画的策略，通过选择性地微调修改颜色来保持跨视角的连贯性。
语义传播： 一种将 2D 语义先验聚合到 3D 顶点编码中的机制，实现了通过单次点击交互进行轻松的区域选择。
效率： 该方法通过使用紧凑的潜码和占用引导采样，实现了实时渲染（约 15 fps）和快速编辑（几何/纹理操作仅需数秒）。

结果

在真实世界（DTU）和合成（NeRF 360°）数据集上进行了广泛的实验。

渲染质量： NeuMesh++ 在 PSNR、SSIM 和 LPIPS 指标上优于其他可编辑神经渲染方法（NeuTex, NeuManifold, BakedSDF, NeuMesh）。它达到了与非编辑类最先进方法（如 Neuralangelo 和 DVGRO）相当的质量，同时提供了更优越的编辑能力。
编辑性能：
- 几何： 展示了成功的非刚性变形和物理模拟（例如，跳动的椅子、摇曳的植物），且无需微调。
- 纹理： 与经常产生模糊或扭曲结果的 NeuMesh 相比，在纹理更换和填充方面展示了卓越的细节保持能力。修改颜色使得绘制新的颜色（例如，不饱和的绿色）具有高保真度，而标准的解码器无法生成此类颜色。
- 语义： 成功实现了通过单次 2D 点击进行 3D 区域选择和编辑。
效率： 该方法以约 15 fps 的速度渲染 800x800 图像，明显快于 Neuralangelo（~~28s）和 NeuMesh（~~99s）。编辑操作（几何变形、纹理更换/填充、绘画）大约耗时 1-2 秒。

重要性

论文声称 NeuMesh++ 成功打破了体积神经渲染与传统基于网格的 3D 建模之间的障碍。通过在网格架上使用解耦编码来编码神经场，它提供了一套多功能且高保真的编辑功能集（几何变形、纹理更换/填充/绘画以及语义编辑）。该方法消除了语义编辑对大量手动标注的需求，并通过移除对预训练教师模型的依赖，避免了以往基于网格的隐式场中存在的次优收敛问题。作者强调，这种方法为编辑神经隐式场景提供了一个实用的、对艺术家友好的工作流。