LATO: 3D Mesh Flow Matching with Structured TOpology Preserving LAtents

本文提出了 LATO，一种基于流匹配的新型 3D 网格生成方法，它通过顶点位移场与稀疏体素变分自编码器的结合，在无需等值面提取或启发式网格化的情况下，实现了具有复杂几何结构和良好拓扑保持性的高效显式网格合成。

要点

这篇论文介绍了一个名为 LATO 的新发明，它的目标是让电脑能像人类艺术家一样，快速、精准地“画”出 3D 模型（比如角色、建筑、道具），而且画出来的模型结构非常完美，可以直接拿去用，不需要后期修补。

为了让你更容易理解，我们可以把生成 3D 模型的过程想象成**“用乐高积木搭建一座城堡”**。

1. 以前的难题：要么“一团浆糊”，要么“累死累活”

在 LATO 出现之前，生成 3D 模型主要有两种流派，但都有大毛病：

• 流派一：隐式场（Implicit Fields）——“像做泥塑”

  • 原理：电脑先想象一团看不见的“泥巴”（数学上的隐式场），然后像用模具压一样，把表面的泥巴切下来变成模型。
  • 比喻：这就像你捏了一个泥人，最后切出来时，表面全是密密麻麻、乱七八糟的小三角片（就像被切碎的豆腐渣）。
  • 缺点：虽然形状像，但结构太乱。如果你想给这个泥人穿上衣服（绑定骨骼）或者做动画，这些乱糟糟的“碎片”根本没法用。而且，如果泥人中间有个洞（比如耳朵），这种算法通常要求泥人必须是“密封”的，不能有空洞，这限制了很多创意。

• 流派二：自回归模型（Autoregressive）——“像排排坐的蚂蚁”

  • 原理：电脑像蚂蚁搬家一样，一个面一个面地“数”着生成模型。
  • 比喻：这就像你让一只蚂蚁从第一个积木开始，一个一个往后搭。
  • 缺点：如果城堡很大（细节很多），蚂蚁得排成长长的队伍，速度极慢，而且排到后面容易“断片”，导致城堡缺胳膊少腿（模型破碎）。

2. LATO 的绝招：给积木装上“导航仪”和“连接图”

LATO 发明了一种全新的方法，它结合了上述两者的优点，既快又准。它的核心思想可以分三步来理解：

第一步：给积木装上“导航仪”（顶点位移场 VDF）

以前的模型只告诉电脑“这里有一块积木”，但没说“这块积木的角在哪里”。
LATO 发明了一种叫 VDF（顶点位移场） 的东西。

• 比喻：想象你在乐高积木的每一个表面贴了一张**“寻宝地图”**。这张地图不仅告诉你“这里有积木”，还明确指着：“往左走 1 厘米是角 A，往右走 1 厘米是角 B"。
• 作用：这样，电脑在生成时，不仅知道积木在哪，还精确知道每个顶点（角） 的具体位置。这就解决了“泥塑”表面乱糟糟的问题。

第二步：把地图压缩成“加密压缩包”（T-Voxels）

有了这么多详细的地图，数据量太大了。LATO 用一种特殊的“压缩技术”（稀疏体素 VAE），把这些地图压缩成一个个**“智能积木块”（T-Voxels）**。

• 比喻：这就像把一座城市的详细规划图，压缩成了几个**“魔法方块”**。每个方块里都藏着这座城市的结构密码（哪里是墙，哪里是门，哪里是连接点）。
• 关键点：这些方块不仅记录了“哪里有东西”，还记录了**“这些东西是怎么连在一起的”**（拓扑结构）。

第三步：像“剥洋葱”一样还原模型（流匹配 Flow Matching）

生成模型时，LATO 不是一下子全画出来，而是分两步走：

1. 先搭骨架：先生成那些“魔法方块”的大致分布，确定城堡大概长什么样（哪里有大楼，哪里有空地）。
2. 再填细节：然后像剥洋葱一样，一层层把方块细化。电脑会问：“这个方块里到底有几个顶点？它们之间怎么连线？”

• 比喻：就像先画出城堡的轮廓，然后慢慢把窗户、门、楼梯的细节一个个“长”出来。最后，电脑会直接画出**“连接说明书”**，告诉每个积木块该和谁连在一起。

3. LATO 带来的改变

• 速度快：它不像蚂蚁排队那样慢，而是像**“瞬间成像”**，几秒钟就能生成复杂的模型。
• 结构完美：生成的模型没有乱糟糟的碎片，也没有破洞。它的线条（拓扑结构）非常清晰，就像人类艺术家画的一样，可以直接拿去给游戏角色做动画、做变形。
• 能处理“烂”数据：以前的模型怕“破洞”或“非密封”的物体（比如一个没盖子的杯子），但 LATO 可以完美生成这些，因为它不依赖“密封”的假设。

总结

如果把生成 3D 模型比作**“盖房子”**：

• 以前的方法要么是**“用泥浆糊墙”（形状像但没法装修），要么是“一块砖一块砖地数”**（太慢且容易数错）。
• LATO 则是直接拿到了**“带有详细施工图纸的预制件”**。它不仅能快速把房子盖起来，还能保证每一根梁、每一块砖的连接方式都完美符合建筑规范，盖好后直接就能住人（直接用于游戏或工业）。

这项技术让 AI 生成的 3D 内容从“只能看”变成了“真正能用”，是 3D 创作领域的一大飞跃。

技术摘要

LATO: 基于结构化拓扑保持潜变量的 3D 网格流匹配技术总结

1. 研究背景与问题 (Problem)

当前的 3D 生成模型主要分为两类，但都存在显著局限性：

• 隐式场方法 (Implicit Fields)：如基于 SDF 或 Occupancy 的扩散模型（例如 TRELLIS, CLAY, Hunyuan3D）。它们虽然能生成高保真几何形状且推理高效，但解码后依赖等值面提取算法（如 Marching Cubes）。这导致生成的网格拓扑结构是隐式推导的，通常表现为过度密集、不规则的三角化，缺乏艺术家友好的拓扑结构，难以直接用于后续的绑定（rigging）、变形或游戏引擎部署。此外，隐式场通常假设数据是“水密”的（watertight），难以处理开放表面或非流形（non-manifold）资产。
• 显式网格生成方法 (Explicit Mesh Generation)：如自回归模型（MeshGPT, MeshAnything）或基于扩散的面级生成（PolyDiff）。这些方法直接建模网格连接性，但面临计算瓶颈。由于网格复杂度与 Token 数量呈二次方或线性增长，为了适应显存限制，这些方法通常需要在截断序列上训练，导致生成的网格出现断裂、碎片化或孔洞。

核心痛点：如何在保持可扩展性（scalability）和推理效率的同时，实现显式的、拓扑保持的3D 网格生成，并支持开放表面和非流形几何。

2. 方法论 (Methodology)

LATO 提出了一种新颖的拓扑保持稀疏体素表示（Topology-Preserving Sparse Voxel Representation），核心包含三个部分：

2.1 顶点位移场 (Vertex Displacement Field, VDF)

为了解决传统点云或体素表示丢失拓扑信息的问题，LATO 引入了 VDF。

• 定义：在网格表面采样点 $p$，其场值 $F(p)$ 定义为指向其所在三角形面片三个顶点的相对位移向量集合。
• 优势：与直接分类点为“顶点/边/面”的离散标签不同，VDF 提供了稠密且连续的监督信号。位移向量的零模值精确定位顶点，而场的不连续性描绘了边。这避免了离散标签带来的梯度不连续和类别不平衡问题。

2.2 结构化拓扑保持体素潜变量 (T-Voxels)

LATO 使用一个稀疏体素变分自编码器（VAE）将 VDF 压缩为结构化的潜变量，称为 T-Voxels。

• 编码器：将表面采样点及其 VDF 特征离散化为稀疏体素网格，通过 PointNet 和稀疏 Transformer 提取特征，输出高斯分布的潜变量。
• 解码器：
  • 层级细分与剪枝 (Hierarchical Subdivide and Prune)：从粗粒度潜变量开始，通过多级“细分 - 精炼”模块，逐步将体素细分为 8 个子体素，并利用可学习的剪枝头（Pruning Head）去除空体素，最终精确定位顶点位置。
  • 连接预测头 (Connection Head)：并行地查询 T-Voxels，直接预测顶点对之间的边连接性。假设三角形面片是图中的闭合 3-循环。通过交叉注意力机制聚合全局上下文，并采用采样策略（正样本 + 邻居采样 + 随机采样）来降低 $O(N^2)$ 的计算复杂度。

2.3 两阶段流匹配生成 (Two-Stage Flow Matching)

为了生成新网格，LATO 采用级联流匹配（Flow Matching）策略：

1. 几何结构合成：首先合成稀疏体素的占用分布（Structure Voxels），确定网格的大致空间范围。此阶段支持开放表面和非流形几何。
2. 拓扑特征细化：在确定的空间锚点上，生成 T-Voxel 的拓扑特征（T-Voxel Features）。
3. 解码：将生成的 T-Voxels 输入解码器，直接实例化顶点并预测连接，输出显式网格。

3. 关键贡献 (Key Contributions)

1. 拓扑保持的显式表示 (T-Voxels)：提出了一种将网格几何与拓扑连接性共同编码的稀疏体素潜变量，打破了隐式场无法直接输出优质拓扑的局限。
2. 顶点位移场 (VDF)：设计了一种连续、稠密的特征表示，有效解决了传统离散标签在扩散/流匹配学习中的梯度不连续和采样不平衡问题。
3. 可扩展的生成范式：通过“结构合成 + 拓扑细化”的两阶段流匹配，LATO 能够处理复杂的几何细节，同时避免了自回归模型的序列长度限制和显存瓶颈。
4. 支持开放与非流形几何：由于不依赖水密性假设，LATO 能够直接训练在开放表面和非流形资产上，扩大了 3D 生成数据的适用范围。

4. 实验结果 (Results)

• 重建质量：在 VAE 重建任务中，LATO 在 Chamfer Distance (CD)、Hausdorff Distance (HD) 和法线一致性 (NC) 上均优于现有的显式基线（如 MeshGPT, MeshCraft）和隐式基线。
• 生成质量：
  • 与自回归方法（MeshAnything, DeepMesh 等）相比，LATO 生成的网格无孔洞，拓扑结构完整，且能生成复杂的几何细节。
  • 与隐式基础模型（TRELLIS, Hunyuan3D）相比，LATO 生成的网格具有艺术家友好的边缘流向，避免了不规则的三角化。
• 推理效率：LATO 采用并行流匹配求解器，推理时间稳定在 3~10 秒，而自回归方法在处理高保真输出时通常需要数分钟，且随网格复杂度增加而急剧变慢。
• 应用场景：成功应用于图像到 3D 生成以及大规模城市场景合成（City Synthesis），展示了其组合性和可扩展性。

5. 意义与影响 (Significance)

LATO 解决了 3D 生成领域长期存在的“可扩展性”与“显式拓扑控制”之间的权衡难题。

• 工业价值：生成的网格具有清晰、规则的拓扑结构，可直接用于游戏开发、动画绑定和物理模拟，无需繁琐的后处理重拓扑（Retopology）。
• 数据利用：通过支持非流形和开放表面，LATO 能够利用更广泛的 3D 资产数据，缓解了 3D 生成中的数据稀缺问题。
• 范式转变：为显式 3D 网格生成提供了一种新的、高效的基于流匹配的范式，证明了结构化潜变量在保持拓扑一致性方面的巨大潜力。

局限性：目前 VDF 的分辨率受限于底层稀疏体素网格，难以表示极小的三角形或超精细几何细节。未来计划引入八叉树（Octree）表示来进一步提升精度。