QuadGPT: Native Quadrilateral Mesh Generation with Autoregressive Models

本文提出了首个端到端生成四边形网格的自回归框架 QuadGPT，通过统一三角与四边形的混合拓扑分词方法以及特化的 tDPO 强化学习微调策略，显著超越了传统的“三角转四边”流程，在几何精度和拓扑质量上均实现了突破。

要点

这篇论文介绍了一个名为 QuadGPT 的新技术，它能让电脑像专业艺术家一样，直接“画”出高质量的 3D 模型网格。

为了让你更容易理解，我们可以把 3D 建模想象成用乐高积木搭建城堡。

1. 以前的痛点：拼凑出来的“烂”城堡

在 QuadGPT 出现之前，AI 生成 3D 模型主要有两种笨办法，就像是在用错误的乐高玩法：

• 方法一（先拼三角形再硬改）：
  以前的 AI 就像个只会拼三角形积木的孩子。它先不管三七二十一，用无数个小三角形把城堡拼出来（这叫“三角网格”）。

  • 问题： 专业建筑师（游戏开发者、动画师）需要的是正方形（四边形）的积木，因为正方形更容易弯曲、变形和贴图。
  • 后果： 为了得到正方形，工程师们不得不把两个三角形强行粘在一起。这就像把两个三角形积木硬掰成正方形，结果往往是歪歪扭扭、结构混乱，甚至有些地方粘不上（出现裂缝）。这就好比你想盖个圆顶，结果全是参差不齐的三角形，根本没法铺瓷砖。

• 方法二（先画草图再算）：
  另一种方法是先算出复杂的数学公式，强行把三角形变成正方形。

  • 问题： 这就像让一个数学天才去搞艺术创作，虽然理论上能算出正方形，但一旦遇到复杂的形状（比如弯曲的手臂或尖锐的屋顶），算法就会崩溃，或者算出来的东西毫无美感，甚至破碎。

2. QuadGPT 的突破：天生就是“正方形大师”

QuadGPT 的出现，相当于培养了一个天生就懂正方形积木的 AI 建筑师。

• 核心创新：直接生成“正方形”
  它不再先生成三角形再硬改，而是直接用正方形（以及少量的三角形作为补充）来构建模型。

  • 比喻： 就像它手里拿的积木盒子里，装的全是正方形。它不需要把三角形掰弯，而是直接一块块正方形地拼，拼出来的城堡线条流畅、结构整齐，完全符合专业动画师的要求。

• 创新点一：统一的“语言”（Tokenization）
  虽然它主要用正方形，但现实中的模型偶尔也需要几个三角形（比如尖尖的屋顶）。

  • 比喻： QuadGPT 发明了一种特殊的“乐高说明书”。它把正方形和三角形都用同一种语言描述。对于三角形，它会在说明书里加几个“占位符”（就像在写诗时为了凑字数加个虚词），这样 AI 就能用同一套逻辑处理所有形状，不会搞混。

• 创新点二：强化学习（RL）——“名师指导”
  光会拼还不够，还要拼得漂亮。

  • 比喻： 在训练初期，AI 只是学会了“把积木搭起来”（预训练）。但为了让它拼出专业级的作品，作者给它安排了一位“严厉的美术老师”（强化学习，具体叫 tDPO）。
  • 老师怎么教？ 老师不看它拼得准不准，而是看它拼出来的线条是否连贯。比如，老师会奖励那些“能形成完整闭环”的积木排列（就像衣服上的纹理要顺着肌肉走向），惩罚那些“断断续续”的排列。经过这种“特训”，AI 生成的模型不仅形状对，连纹理走向都完美符合人体工学或物体结构。

3. 为什么这很重要？（实际效果）

想象一下你要制作一个 3D 游戏角色：

• 以前的 AI 生成的模型： 就像是用一堆碎玻璃拼成的人，虽然大体像人，但表面坑坑洼洼，稍微动一下关节（动画），模型就会撕裂或变形得很丑。
• QuadGPT 生成的模型： 就像是用高级的柔性材料（正方形网格）做的，关节弯曲自然，表面光滑。
  • 动画更顺滑： 角色跳舞时，衣服和肌肉的褶皱会自然流动，不会卡顿。
  • 贴图更清晰： 因为网格整齐，给模型“穿衣服”（贴图）时，图案不会扭曲。

4. 总结

简单来说，QuadGPT 就是 3D 建模界的“原生正方形生成器”。

它不再走“先歪后正”的弯路，而是一步到位，直接生成符合工业标准的高质量模型。通过引入类似“名师点评”的强化学习机制，它不仅能画出形状，还能画出有灵魂、有结构的 3D 资产。这标志着 AI 生成 3D 内容从“能看”迈向了“能用”（可以直接用于游戏和电影制作）的新阶段。

技术摘要

这是一篇关于 QuadGPT 的论文技术总结，该论文发表于 ICLR 2026。QuadGPT 是首个能够以端到端方式直接生成原生四边形（Quad）主导网格的自回归模型。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 行业痛点：在游戏开发和影视制作等专业 3D 内容创作中，四边形主导（Quad-dominant） 的网格是行业标准。它们对于平滑细分表面、自然的关节变形、动画准备以及 UV 展开至关重要。
• 现有方法的局限：
  • 间接生成路径：现有的生成模型（如基于隐式表示的扩散模型）通常先生成三角形网格，再通过启发式规则合并为四边形。这种方法往往导致拓扑结构混乱、边缘流（Edge Flow）不自然，且容易产生伪影（如图 2 所示）。
  • 三角形生成限制：最新的自回归网格生成方法（如 MeshAnything, BPT 等）虽然能生成高质量的三角形网格，但无法直接生成四边形。
  • 传统重拓扑方法：基于交叉场（Cross-field）引导的传统重拓扑方法通常不是端到端的，且对输入网格质量要求极高，缺乏鲁棒性。
• 核心挑战：如何设计一个能够直接生成原生四边形网格，同时保持几何精度和高质量拓扑结构（如连贯的边缘环）的生成框架。

2. 方法论 (Methodology)

QuadGPT 将网格生成 formulated 为序列预测（Sequence Prediction） 问题，包含三个核心支柱：

2.1 混合拓扑的统一序列化 (Unified Serialization)

• 问题：网格包含三角形和四边形，传统方法难以统一处理。
• 解决方案：提出了一种统一的 Token 块结构。
  • 将每个面（Face）序列化为固定长度（12 个 Token）的块。
  • 四边形：直接展平 4 个顶点的坐标（4×3=12 个 Token）。
  • 三角形：在 3 个顶点的坐标前填充 3 个特殊的 Padding Token（$\tau_{pad}$），使其总长度也为 12 个 Token。
  • 优势：模型无需显式的类型标记即可隐式学习面的类型，实现了混合拓扑的并行化处理和可扩展性。
• 坐标量化：顶点坐标被归一化并量化为 1024 级（10-bit）整数，确保序列的确定性。

2.2 自回归预训练 (Autoregressive Pre-training)

• 架构：采用 Hourglass Transformer 架构。
  • 通过因果保持的缩短层（Shortening layers）对序列进行下采样（因子为 3 和 4），在瓶颈层捕捉全局上下文，在外层捕捉局部细节，最后上采样回原始长度进行预测。
• 条件输入：
  • 几何条件：输入点云（带法线）通过预训练的 Michelangelo 编码器编码为全局形状嵌入，通过 Cross-Attention 注入到解码器。
  • 拓扑条件：引入可学习的嵌入，由参数 $r \in [0, 1]$ 控制，用于调节三角形与四边形的比例（课程学习策略）。
• 训练策略：
  • 截断序列训练：处理高分辨率长序列。
  • 课程学习（Curriculum Learning）：模型先在纯三角形网格上预训练，然后逐渐增加四边形比例（$r$ 从 0 到 1）进行微调，以稳定学习复杂的四边形拓扑规则。

2.3 基于强化学习的拓扑优化 (Topological Refinement with RL)

• 问题：交叉熵损失仅优化局部 Token 预测，无法优化全局拓扑属性（如长边缘环）。
• 解决方案：引入 截断直接偏好优化 (Truncated DPO, tDPO)。
  • 奖励机制：设计了一个拓扑奖励函数，主要奖励长连续边缘环（Long Edge Loops）的形成，并惩罚断裂（Fractures）。
  • 截断机制：由于网格序列很长，tDPO 在随机截断的序列片段上进行优化，计算前缀到截断窗口的偏好对。
  • 目标：通过 RL 微调，使模型学会生成具有结构化边缘环、符合专业艺术家工作流的网格。

3. 关键贡献 (Key Contributions)

1. 首个端到端原生 Quad 生成模型：QuadGPT 是第一个直接生成原生四边形主导网格的自回归框架，无需后处理转换。
2. 混合元素统一表示：提出了基于 Padding 的序列化方法，能够统一处理三角形和四边形，实现了异构拓扑的可扩展生成。
3. tDPO 拓扑优化：提出了截断直接偏好优化（tDPO），通过新颖的拓扑奖励机制（边缘环长度、断裂惩罚）优化全局四边形流向。
4. SOTA 性能：在几何精度和拓扑质量上均超越了现有的“三角形生成 + 转换”管线及传统重拓扑方法。

4. 实验结果 (Results)

• 数据集：使用了 130 万个高质量四边形主导模型（来自 ShapeNet, Objaverse 等经过严格筛选和转换的数据），以及 Hunyuan3D 生成的密集网格作为测试集。
• 对比基线：
  • 生成式：MeshAnything V2, BPT, DeepMesh, FastMesh（均配合三角形转四边形算法）。
  • 传统方法：QuadriFlow（基于场的重拓扑）。
• 定量指标：
  • 几何精度：在 Chamfer Distance (CD) 和 Hausdorff Distance (HD) 上表现优异，优于大多数基线。
  • 拓扑质量：四边形比例（Quad Ratio, QR）达到 78%-80%，显著高于转换管线（通常<60%）。
  • 用户研究 (User Study)：专家评分显示 QuadGPT 显著优于所有基线（4.8-4.9 分 vs 最高 3.3 分），生成的网格具有更清晰的边缘流和更少的伪影。
• 定性分析：
  • 在复杂形状（如角色、硬表面物体）上，QuadGPT 生成的网格边缘流连贯，适合动画和 UV 展开。
  • 对比图显示，转换管线常导致边缘断裂和几何细节丢失，而 QuadGPT 保持了结构完整性。
• 消融实验：
  • 课程学习：从三角形预训练开始比从头训练（From Scratch）收敛更快、效果更好。
  • tDPO 有效性：tDPO-Pro（完整拓扑奖励）比标准 DPO 和基础 tDPO 在各项指标上均有显著提升。
  • 原生 vs 转换：即使使用相同的架构和 RL 策略，原生生成（QuadGPT）的拓扑质量也远优于“先生成三角形再转换”（TriGPT）的管线。

5. 意义与影响 (Significance)

• 填补行业空白：解决了生成式 AI 在 3D 资产生产管线中“最后一公里”的问题，即从文本/图像直接生成生产就绪（Production-ready） 的四边形网格。
• 范式转变：证明了结合大规模自回归模型与拓扑感知强化学习（RL）可以有效生成结构化 3D 资产，打破了必须依赖“先生成三角网格再转换”的传统范式。
• 应用价值：生成的网格具有高质量的边缘环，直接适用于游戏角色的动画变形、UV 展开和细分曲面，大幅降低了人工重拓扑的成本。
• 未来方向：为端到端几何与拓扑协同生成、可控多边形数量生成以及基于人类偏好的 RL 奖励模型设计奠定了基础。

总结：QuadGPT 通过创新的序列化表示、分层 Transformer 架构以及拓扑感知的 RL 微调，成功实现了高质量、原生四边形网格的端到端生成，为自动化 3D 内容创作设立了新的基准。