💻 computer science

PLLM: Pseudo-Labeling Large Language Models for CAD Program Synthesis

本文提出了 PLLM 框架，通过利用预训练大语言模型对无标签 3D 形状进行伪标记和自训练，有效解决了 CAD 程序合成中配对数据稀缺的问题，并显著提升了生成程序的几何保真度与多样性。

原作者： Yuanbo Li, Dule Shu, Yanying Chen, Matt Klenk, Daniel Ritchie

发布于 2026-02-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuanbo Li, Dule Shu, Yanying Chen, Matt Klenk, Daniel Ritchie

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 PLLM 的新方法，它的核心任务是：教人工智能（AI）如何“逆向工程”3D 模型，把一张静态的 3D 图片变回原本的设计图纸（CAD 程序）。

为了让你更容易理解，我们可以把这个过程想象成 “教一个只会看菜谱的厨师，如何根据一道菜猜出原始菜谱”。

1. 遇到的难题：没有“标准答案”

背景：在工业设计中，设计师用代码（CAD 程序）一步步画出 3D 模型。现在的 AI 很聪明，能学会写这些代码。
问题：以前教 AI 的方法，需要大量的“标准答案”（即：一张 3D 图 + 对应的原始代码）。但这就像你想教 AI 做菜，却只有成千上万道做好的菜，却没有对应的菜谱。
现状：网上有很多现成的 3D 模型（比如 ABC 数据集），但没人知道它们是怎么画出来的。没有“菜谱”，AI 就学不会怎么“写代码”。

2. 解决方案：PLLM（自我进化的“试错”大师）

作者提出了 PLLM，这是一种**“自我训练”**的框架。它不需要老师给标准答案，而是让 AI 自己当老师，通过不断的“试错”来学习。

我们可以把这个过程比作 “盲人摸象”式的烹饪特训：

第一步：大胆猜测（采样）

做法：AI 看着一道做好的菜（3D 模型），凭直觉猜一个菜谱（生成 CAD 程序）。
比喻：厨师看着红烧肉，猜：“可能是先放糖，再放酱油，炒 5 分钟？”
结果：猜出来的菜谱可能不太对，做出来的菜味道（形状）可能有点怪。

第二步：亲自下厨验证（执行与筛选）

做法：AI 把自己猜的菜谱真的运行一遍，看看做出来的 3D 模型长什么样。然后，把“猜出来的模型”和“原本的目标模型”放在一起对比。
比喻：厨师按猜的菜谱做了一遍，发现做出来的红烧肉颜色太深了，形状也不对。
筛选：如果做出来的菜和原图很像（几何保真度高），AI 就把它记下来：“这个菜谱虽然是我瞎猜的，但这次猜得挺准，可以当教材！”如果完全不像，就直接扔掉。

第三步：举一反三（数据增强）

做法：这是 PLLM 最聪明的地方。它不满足于只保留猜对的那一个菜谱。它会尝试修改这个菜谱：
- 加料（扩展）：在原菜谱基础上多加几个步骤，看看能不能做出更复杂的形状。
- 减料（缩短）：删掉一些多余的步骤，看看能不能用更简单的步骤达到同样的效果。
比喻：厨师发现“炒 5 分钟”是对的，于是他想：“如果炒 6 分钟会怎样？”或者“如果少放点盐会怎样？”通过这种**“微调”**，他创造出了更多变体，并验证哪些是有效的。
目的：这样不仅保留了正确的，还创造出了更多样化的“伪菜谱”，让 AI 学到的东西更全面。

第四步：循环升级（自我训练）

做法：把上面筛选和创造出来的“高质量菜谱”收集起来，重新喂给 AI 进行训练。
比喻：厨师拿着自己总结出的“最佳实践笔记”重新学习。经过几轮这样的“猜测 -> 验证 -> 修改 -> 再学习”，厨师的水平越来越高，即使面对从未见过的菜，也能猜出非常接近的菜谱。

3. 这个方法的厉害之处

不需要老师：只要有 3D 模型（哪怕没有代码），AI 就能自己学。
越练越精：论文中的实验显示，经过几轮这样的自我训练，AI 生成的 3D 模型越来越像原图（误差越来越小），而且生成的代码也越来越丰富多样。
解决死胡同：以前因为没有数据，AI 学不动了；现在通过“自己造数据”，打破了这个瓶颈。

4. 总结

这就好比一个没有教材的学徒：

他先瞎猜怎么画。
画完自己看，发现画得像的，就记下来。
他还会故意把画好的图改得复杂点或简单点，看看哪些改法依然合理。
把这些“靠谱的修改版”当成新教材，继续练。
练了几轮之后，他从一个“瞎猜的学徒”变成了“能根据成品反推图纸的大师”。

一句话总结：PLLM 让 AI 学会了**“在黑暗中通过不断试错和总结，自己给自己出题、自己给自己批改，最终学会逆向设计”**的本领。

论文标题

PLLM：用于 CAD 程序合成的伪标签大语言模型

1. 研究背景与问题 (Problem)

核心任务：从 3D 几何形状逆向恢复计算机辅助设计（CAD）程序（即“逆向工程”）。恢复出的程序支持语义编辑、程序化修改和紧凑的 3D 模型表示。
现有挑战：
- 现有的基于大语言模型（LLM）的 CAD 程序合成方法主要依赖监督学习，需要成对的“形状 - 程序”标注数据。
- 高质量的标注数据极其昂贵且稀缺。许多大型 CAD 数据集（如 ABC 数据集）仅提供几何形状，缺乏对应的生成程序（Ground Truth）。
- 这种数据匮乏限制了将 CAD 程序合成模型迁移到新领域或新 CAD 语言的能力。
研究目标：在没有真实程序标注的情况下，利用未标记的 3D 形状数据集，通过自训练（Self-training）框架微调预训练的 LLM，以提升 CAD 程序合成的能力。

2. 方法论 (Methodology)

作者提出了 PLLM (Pseudo-Labeling Large Language Models) 框架，这是一个迭代式的自训练流程，旨在从未标记数据中合成高质量的监督信号。

核心流程

输入：
- 预训练的 CAD 能力 LLM（在 DeepCAD 上训练，使用 CadQuery 语言）。
- 目标未标记形状数据集 $S^*$ （如 ABC 数据集）。
- 黑盒执行器（Executor）：用于将程序转换为 3D 几何体。
迭代步骤：
- 步骤 1：程序采样 (Program Sampling)
  - 对于输入形状，LLM 通过随机解码（Nucleus Sampling）生成多个候选程序。
  - 执行这些程序，计算生成几何体与输入形状之间的Chamfer 距离 (CD)。
  - 选择 CD 最小（几何保真度最高）的程序作为“最佳样本”。
- 步骤 2：程序级数据增强 (Program-Level Data Augmentation)
  - 为了解决预训练模型生成的程序结构单一（长度和复杂度分布窄）的问题，对选中的程序进行程序化编辑：
    - 扩展 (Expansion)：追加操作或生成新的工作空间序列，增加结构复杂度。
    - 缩短 (Shortening)：移除顶层布尔运算，生成更简洁的变体。
  - 这些编辑后的程序与其执行结果构成新的训练对，丰富了数据的多样性。
- 步骤 3：构建合成训练对
  - 形成 $(X, Z)$ 对，其中 $Z$ 是编辑后的程序， $X$ 是该程序执行后的几何体。
  - 关键优势：由于 $X$ 是 $Z$ 的直接执行结果，这种配对是完美一致的，消除了标注噪声。
- 步骤 4：模型微调 (Fine-tuning)
  - 使用构建的合成数据集对 LLM 进行 LoRA (Low-Rank Adaptation) 微调。
  - 模型更新后，进入下一轮迭代，利用改进后的模型生成更高质量的程序，形成自我强化的循环。

具体实现细节

基座模型：CAD-Recode（基于 DeepCAD 训练）。
目标领域：ABC 数据集（无程序标注）。
语言：CadQuery。
训练策略：LoRA 微调中间 Transformer 层（第 4-8 层），秩 $r=8$ ， $\alpha=32$ 。

3. 主要贡献 (Key Contributions)

提出 PLLM 框架：首个针对 CAD 程序合成的自训练框架，能够从完全未标记的 3D 数据集中合成并丰富 CAD 程序，构建监督信号。
创新的数据合成策略：提出了一种结合采样与程序化编辑（扩展与缩短）的策略。这不仅利用了模型输出，还通过人工规则扩展了程序长度和结构的多样性，生成了比原始预测更丰富、信息量更大的“程序 - 形状”对。
实证有效性：证明了在从 DeepCAD 迁移到无标注 ABC 数据集的任务中，合成自训练能显著提升几何保真度（降低 Chamfer 距离）和程序多样性。

4. 实验结果 (Results)

实验在 ABC 数据集的 75,000 个形状上进行，经过 6 次迭代训练。

几何保真度 (Chamfer Distance)：
- 随着迭代次数增加，平均 Chamfer 距离显著下降。
- 从初始的 26.12 (CAD-Recode 基线) 降至 9.73 (PLLM 最终结果)。
- 前 4 次迭代提升明显，随后趋于平稳（受限于基座模型的操作集）。
程序多样性：
- 通过数据增强，程序的最大长度从基线的 768 tokens 增加到 1200 tokens 以上，平均长度也显著增加，使模型能生成更复杂的几何细节。
对比实验 (Baselines)：
- Baseline 1 (仅最佳样本 + 执行结果)：性能较差 (CD=28.24)，因为训练数据逐渐偏离目标形状分布。
- Baseline 2 (最佳样本 + 原始输入形状)：性能一般 (CD=10.28)，存在监督噪声（程序无法完美重建输入形状）。
- PLLM (最佳样本 + 执行结果 + 程序增强)：表现最佳 (CD=9.73)，证明了程序增强和完美一致性配对的重要性。
定性分析：
- 可视化结果显示，随着迭代进行，生成的 CAD 模型在形状细节和结构合理性上逐渐逼近真实几何体，优于原始 CAD-Recode 模型。

5. 意义与局限性 (Significance & Limitations)

意义：
- 打破数据瓶颈：为 CAD 程序合成提供了一种不依赖昂贵人工标注的解决方案，使得利用海量未标记 CAD 几何库（如 ABC 数据集）成为可能。
- 通用性：该方法不仅适用于特定 CAD 语言，其“执行引导 + 程序增强”的思路可推广至其他程序合成领域。
- 性能提升：在缺乏 Ground Truth 的情况下，实现了超越原始监督训练模型的性能。
局限性：
- 计算成本：迭代过程涉及大量的程序采样、执行和筛选。实验显示 6 次迭代耗时约 150 小时（4 张 A100/L40S 级别 GPU）。
- 基座模型限制：最终性能受限于预训练模型（CAD-Recode）本身的操作集能力，如果基座模型无法执行某些操作，自训练也无法突破该上限。

总结

PLLM 通过巧妙的“自举”策略，将未标记的 3D 形状转化为高质量的合成训练数据。它利用 LLM 的生成能力结合执行器的验证能力，并通过程序化编辑丰富数据分布，成功解决了 CAD 程序合成中数据标注稀缺的难题，显著提升了模型在未见领域的泛化能力和几何重建精度。