🤖 AI

MeshFIM: Local Low-Poly Mesh Editing via Fill-in-the-Middle Autoregressive Generation

MeshFIM 引入了一种填中自回归框架，通过根据周围上下文再生特定区域，实现对低多边形网格的高效、高质量局部编辑与修复，从而克服了传统全有或全无再生方法效率低下且破坏结构的问题。

原作者： Dingdong Yang, Jian Liu, Biwen Lei, Haohan Weng, Zhuo Chen, Song Guo, Hao Richard Zhang, Ali Mahdavi Amiri, Chunchao Guo

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Dingdong Yang, Jian Liu, Biwen Lei, Haohan Weng, Zhuo Chen, Song Guo, Hao Richard Zhang, Ali Mahdavi Amiri, Chunchao Guo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于MeshFIM论文的解读，已用通俗易懂的语言并辅以生动的类比进行翻译。

核心难题：“全有或全无”的混乱局面

想象你是一位数字雕塑家，正在制作一个角色的 3D 模型，比如一位电子游戏英雄。该模型由成千上万个微小的三角形（即“网格”）构成，形成了角色的皮肤。

最近，AI 模型在从头创建这些 3D 模型方面表现得非常出色。然而，它们的工作方式就像一台只能复制整页内容的复印机。如果你在角色的手肘处犯了一个小错误，或者 AI 在膝盖上生成了一个奇怪的凸起，你无法仅仅修复那个特定的部位。当前的 AI 模型会说：“好吧，手肘错了，所以我得扔掉整个角色，从头开始生成一个全新的。”

这非常浪费。这就像因为你在厨房地毯上洒了咖啡，就烧掉整栋房子一样。此外，这也可能毁掉模型中那些你原本不想触碰的完美部分。

解决方案：MeshFIM（“中间填充”魔法）

腾讯混元与西蒙弗雷泽大学的研究人员开发了MeshFIM。你可以把它想象成一种专为 3D 模型设计的智能“查找并替换”工具。

MeshFIM 不需要重建整个角色，而是允许你仅选择损坏或混乱的部分（例如手肘），然后智能地“填充中间”，生成一个完美的替换部分，使其与模型的其余部分无缝衔接。

他们借鉴了计算机程序员使用 AI 编写代码的思路。如果程序员高亮显示一段损坏的代码块并请求 AI 修复，AI 会查看断裂处前后的代码，以编写完美的连接桥。MeshFIM 做的正是同样的事情，只不过对象是 3D 形状。

为什么这如此困难？（三个棘手难题）

修复 3D 网格并不像修复书中的一句话那么简单。该论文强调了 MeshFIM 解决的三个具体难题：

“无缝缝合”问题：
- 类比： 想象你在修补被子上的一个洞。如果你缝上新补丁，但边缘与现有织物没有完全匹配（即使相差几分之一毫米），也会出现可见的缝隙，或者在纱线交叉处形成奇怪的"T"形。
- 解决方法： MeshFIM 使用特殊的“边界标记”。这就像在洞的边缘插上鲜红的旗帜，告诉 AI：“不要移动这些特定点！你必须将新补丁精确地粘合到这些位置。”这防止了模型出现裂缝。
“溢出”问题：
- 类比： 想象你在粉刷墙壁，只想修复一个小方块。如果你太不小心，油漆可能会溢出到天花板或地板上。在 3D 建模中，如果 AI 生成了过多的新三角形，它们可能会“溢出”到你想要修复的区域之外，破坏周围的几何结构。
- 解决方法： MeshFIM 为 AI 提供了周围区域更广阔的“视野”（就像观察整面墙，而不仅仅是那个方块）。这有助于 AI 理解形状的流向，从而确切知道在哪里停止绘制。
“顺序丢失”问题：
- 类比： 3D 模型是复杂的网络。当将它们展平以便计算机处理时，顺序会变得混乱。这就像把一张城市地图切成条状并打乱顺序。AI 可能会忘记左边的街道与右边的公园相连。
- 解决方法： MeshFIM 为数据添加了“位置标签”。这就像在地图的每一条碎片上放置 GPS 坐标，让 AI 确切知道这些碎片如何在 3D 空间中拼接在一起，从而保留设计的自然流向。

它是如何工作的（秘密配方）

该论文描述了 MeshFIM 为实现这一目标所使用的五个巧妙技巧：

边界标记： 明确告诉 AI 哪些点是新补丁的“锚点”。
更广阔的上下文： 向 AI 展示更多周围区域，防止其溢出。
位置标签： 追踪事物在 3D 世界中的位置。
数据增强： 使用“有噪声”或不完善的数据训练 AI，这样当真实世界的模型存在小错误时，AI 就不会感到困惑。
“减法”编码器： 这是最酷的部分。AI 会观察“完美”的参考形状和当前“损坏”的形状。它计算差异（缺失的部分），并仅将精力集中在填补该缺口上，而忽略那些已经完美的部分。

它能做什么？

该论文演示了使用此工具的两种主要方式：

交互式笔刷编辑： 想象一支数字画笔。你可以涂抹 3D 模型中混乱的部分，AI 会立即重新生成该特定区域，使其看起来完美，并与模型的其余部分相匹配。
自动修复： AI 可以扫描模型，自动发现“损坏”的部位（如缺失的面或奇怪的几何结构），并在无需人工干预的情况下进行修复。

总结

MeshFIM 是一项突破，因为它终结了“为了修地毯而烧掉房子”的做法。它允许对 3D 模型进行精确的局部修复，既节省了时间，又保持了模型完好部分的完整性。它是首款成功将这种“中间填充”逻辑应用于复杂的 3D 网格世界的工具。

技术摘要：MeshFIM

问题陈述

自回归（AR）模型已展现出从点云生成高质量、艺术家级低多边形网格的能力。然而，现有的 AR 生成器以“全有或全无”的方式运行：若要修改单个局部区域，必须从头重新生成整个网格。这种方法计算浪费，且会破坏未受影响区域的满意拓扑结构。此外，经典的局部编辑技术（如孔洞填充、细分）在低多边形设置中往往无法保持拓扑连贯性或设计意图，因为在低多边形网格中，网格结构编码的是特定的语义信息，而不仅仅是表面的离散化。

将 AR 模型适配于局部编辑的核心挑战在于 3D 网格独特的几何和拓扑约束：

序列化顺序：网格是嵌入在 3D 空间中的 2D 复形。当被序列化为扁平的 Token 序列以进行 AR 生成时，空间上连续的邻域会失去其局部顺序，使得模型难以保持边缘流向和密度过渡。
精确边界附着：生成的补丁必须精确重用暴露的边界顶点。即使是次量化级别的坐标不匹配，也会导致可见的裂缝或 T 型连接。
生成溢出：若无严格约束，生成的面可能会溢出到预期的目标区域之外。
训练 - 推理差距：训练上下文是从干净的真实网格中提取的，而推理上下文可能包含先前步骤或用户选择产生的伪影，从而导致鲁棒性问题。

方法论：MeshFIM

作者引入了MeshFIM，这是一种从代码补全模型改编而来的“中间填充”（FIM）框架，用于自回归网格生成。MeshFIM 将局部网格编辑视为条件填充任务，其中目标区域 $B$ 基于周围上下文 $A\setminus B$ 和参考几何体 $P$ 进行重新生成。

该框架采用五种互补的设计选择来解决网格编辑的具体挑战：

1. 边界顶点标记

为了强制精确附着，模型明确标记了对应于暴露边界（ $V_\partial$ ）顶点的上下文 Token。这些嵌入通过添加一个学习到的标记向量（ $m_{bdry}$ ）进行修改。这为解码器提供了关于哪些上下文顶点必须被重用为缝合锚点的明确线索，从而确保无缝连接。

2. 扩展上下文宽度

为了防止生成溢出（面溢出到目标区域之外），上下文窗口被扩展。模型不使用最小邻域，而是利用更宽的上下文（例如，三个广度优先环）。这暴露了更多的周围几何体，为模型推断局部曲率和边缘流向提供了充分的依据，从而将生成限制在局部范围内。

3. 上下文位置嵌入

由于序列化将网格展平，模型可能会将上下文视为无序的顶点集合。为了恢复局部拓扑结构，向序列化的上下文序列添加了学习到的位置嵌入。这有助于模型保持周围的模式，如边缘流向和面密度。

4. 带门控减法的低多边形几何编码器

标准的点云条件编码器编码参考表面，但缺乏对现有低多边形网格已覆盖内容的了解。MeshFIM 引入了一种机制来弥合这一差距：

一个共享的 Perceiver-IO 编码器使用同一组查询位置，同时编码参考点云（ $P_{gt}$ ）和现有的低多边形网格（ $P_{lp}$ ，已移除目标区域）。
一个轻量级门控网络基于对齐的潜在变量（ $z_{gt}$ 和 $z_{lp}$ ）之间的差异生成向量 $g$ 。
最终的 conditioning 信号是对参考潜在变量的衰减： $\hat{z} = (1 - g) \cdot z_{gt}$ 。
机制：在现有网格已很好地覆盖参考表面的区域，门控会抑制参考信号。在网格缺失（即孔洞）的区域，门控允许完整的参考潜在变量通过，从而将生成专门导向缺失区域。

5. 上下文增强

为了缩小训练 - 推理差距，训练过程包含了上下文增强。上下文顶点坐标被随机偏移扰动，边界顶点也进行类似扰动。这使得模型在训练期间接触到噪声和不完整的上下文，从而提高了推理时的鲁棒性。

主要贡献

首个局部低多边形网格编辑器：MeshFIM 是首个能够利用自回归生成实现低多边形网格精确、局部编辑的框架，避免了完全重新生成的需求。
面向 3D 的 FIM 适配：它成功地将“中间填充”范式适配到 3D 网格，解决了 3D 数据独有的非平凡几何和拓扑约束。
新颖的架构组件：本文引入了特定的机制（边界标记、门控减法、上下文增强），共同解决了边界匹配、溢出和拓扑连贯性问题。
双重应用：该框架支持交互式、基于笔刷的编辑以及自动缺陷修复流程。

实验结果

作者将 MeshFIM 与一系列基线进行了评估，包括经典的孔洞填充、神经细分以及带有缝合回方案的整个网格生成。

定量性能：MeshFIM 在边界正确性（平均顶点匹配率为 99.75%，而其他方法低于 34%）和几何质量（Chamfer 距离正率为 95.54%）方面显著优于基线。它还表现出卓越的局部性，对周围几何体的影响最小。
消融研究：详细的消融实验证实了每个组件的必要性。边界顶点标记在完美匹配率方面提供了最大的单项增益。扩展上下文宽度显著降低了溢出率。低多边形几何编码器进一步抑制了溢出并提高了生成质量。
应用：
- 交互式编辑：基于 Web 的界面允许用户绘制目标区域，随后这些区域被无缝重新生成。
- 自动修复：一个使用图形启发式方法的流程检测缺陷（如缺失的面、翻转的法线），并使用 MeshFIM 迭代修复它们，在四轮修复后对损坏网格实现了 88.9% 的修复率。

意义与主张

该论文声称，MeshFIM 代表了实际 3D 建模工作流程的重大进步。通过在不破坏现有拓扑结构的情况下实现局部编辑，它与专业建模的迭代性质相一致。作者强调，他们的方法是首个将 AR 模型的高质量拓扑生成能力与局部编辑所需的精度相结合的，有效地弥合了生成式 AI 与实际网格操作之间的差距。这项工作表明，未来的 3D 资产创建可以从“重新生成一切”的方法转向有针对性的、感知上下文的细化。