🤖 machine learning

Clarify Before You Draw: Proactive Agents for Robust Text-to-CAD Generation

本文介绍了 ProCAD，这是一个主动式智能体框架，它通过在代码合成前进行针对性的澄清来解决模糊或不一致的文本提示，在生成鲁棒且有效的 CadQuery 程序方面显著优于现有模型。

原作者： Bo Yuan, Zelin Zhao, Petr Molodyk, Bin Hu, Yongxin Chen

发布于 2026-06-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Bo Yuan, Zelin Zhao, Petr Molodyk, Bin Hu, Yongxin Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位想要打造一件定制家具的建筑师，但你不是亲自绘制蓝图，而是向一个非常聪明、但有点过于死板的机器人建造师进行描述。

问题所在：“建造中的猜谜游戏”
过去，如果你告诉机器人，“给我做一个圆顶四条腿的桌子”，它会立即尝试开始建造。但问题在于，你并没有说明这张桌子有多大、桌腿有多粗，或者桌面应该是木头还是金属。

因为机器人急于表现，它会猜测缺失的细节。有时它猜对了，但通常它会造出一个摇摇晃坠、极小或根本无法实现的桌子。如果你的指令稍有矛盾（例如，“一个既是正方形又是完美的圆形的顶面”），机器人就会陷入混乱，或者造出一些散架的东西。

解决方案：“澄清代理”（ProCAD）
作者 Bo Yuan 及其团队意识到，解决这个问题最好的方法不是让机器人变得更擅长猜测，而是让它先提问。

他们构建了一个名为 ProCAD 的系统，其运作方式就像一个两人协作的施工队：

侦探（澄清代理/Clarifying Agent）： 在机器人开始建造之前，这个代理充当一名细心的项目经理。它会阅读你的请求并说：“等等。你说‘圆顶’，但你没说尺寸。是 2 英尺还是 20 英尺？另外，你说‘正方形’又说‘圆形’——你到底是指哪一个？”
- 它只在确实必要时才提问，因此不会用无数个问题来烦扰你。
- 它会等待你的回答，以创建一个完美、完整的蓝图。
建造者（编码代理/Coding Agent）： 一旦侦探拥有了清晰、无矛盾的蓝图，它就会将蓝图交给建造者。这个代理是一个专家，它完全知道如何将这些清晰的指令转化为实际构建 3D 模型的计算机代码（CadQuery）。

他们是如何训练这个团队的
为了教会这个团队如何协作，研究人员并没有仅仅给它们随机的指令。他们创建了一个特殊的训练库：

针对建造者： 他们使用了 1,600 个完美的示例，其中指令清晰，生成的 3D 模型也完美无瑕。这教会了建造者如何在指令良好的情况下编写完美的代码。
针对侦探： 他们创建了一个“模拟游戏”。他们拿走完美的指令，并故意搞乱它们（删除尺寸、添加矛盾）以创建“损坏的”请求。然后，他们教会了侦探如何识别这些错误并提出正确的问题来修复它们，同时保持对话简短精炼。

结果：为什么这很重要
当他们将 ProCAD 与其他顶尖 AI 模型（包括像 Claude Sonnet 4.5 这样昂贵的闭源模型）进行对比测试时，结果令人印象深刻：

更少的错误： “无效率”（机器人崩溃或制造垃圾的频率）从接近 5% 下降到了不到 1%。
更高的准确度： 最终的 3D 模型与用户实际需求的契合度更高。“倒角距离”（衡量形状与目标接近程度的一种数学方法）提升了近 80%。
更低的挫败感： 该系统比其他模型提问更少，完成工作更快。

概括而言
与其强迫 AI 去猜测你的心思并听天由命，ProCAD 更像是一个乐于助人的真人助手，在开始工作前会反复核实细节。通过“在绘图前先澄清”，它确保了最终的 3D 设计完全符合你的想象，而无需经历那些破碎模型的试错过程。

技术摘要：ProCAD —— 用于稳健文本生成 CAD 的主动型智能体

1. 问题陈述

目前的文本生成 CAD 系统（即将自然语言提示词转化为参数化 CAD 程序，特别是 CadQuery）面临着一个关键的鲁棒性问题。虽然大语言模型（LLMs）已取得了初步进展，但它们通常基于用户提示词是精确且一致的假设进行工作。在实践中，自然语言几何描述经常是**欠定（under-specified）的（缺失关键尺寸）或内部不一致（internally inconsistent）**的（包含冲突的约束）。

现有的方法，无论是通过微调 LLM 进行单次生成，还是通过基于反馈的细化，往往将用户提示词视为可靠的规范。当面对歧义时，这些模型经常会为了满足请求而“幻觉”出维度，从而导致无效的代码或几何错误的模型。这限制了文本生成 CAD 在对精度要求极高的实际工程任务中的实用价值。

2. 方法论

作者提出了 ProCAD，一个旨在在代码合成之前解决规范问题的积极主动型智能体框架。该系统将任务分解为两个智能体流水线：

A. 双智能体架构

主动澄清智能体 ( $\pi_\phi$ )：
- 角色： 审计用户提示词以检测缺失或冲突的约束。
- 机制： 被建模为一个有限时界马尔可夫决策过程（MDP），其中环境是用户。智能体在每一步决定是接受（ACCEPT）当前的规范，还是提出有针对性的澄清问题（ASK）。
- 目标： 最大化一个平衡几何保真度（最小化 Chamfer 距离）与通信开销（最小化交互轮数和 Token 长度）的奖励函数。
- 策略： 该智能体经过训练，能够提出最少且必要的提问，以产生自洽的规范，避免不必要的干扰。
CAD 编码智能体 ( $\pi_\theta$ )：
- 角色： 将最终确定的、经过澄清的规范转化为可执行的 CadQuery 程序。
- 机制： 一个标准的文本生成代码模型，在高质量、无歧义的数据上进行了微调。

B. 数据创建与训练流水线

为了训练这些智能体，作者构建了一个全新的高质量数据集和训练策略：

高质量文本生成 CadQuery 数据集（10K 样本）：
- 来源： 通过 CadQuery 程序从 DeepCAD 数据集（Wu 等人，2021）衍生而来。
- 流程： 该流水线并非直接从文本生成代码，而是从多个视角渲染形状，并使用前沿视觉语言模型（GPT-5-mini）生成以图像和源 CadQuery 代码为条件的自然语言描述。
- 验证： 使用“生成即验证”循环确保质量。生成的描述需通过以下检查：
  1. 代码泄露： 确保没有将原始代码片段复制到文本中。
  2. 完整性： 将描述反馈给 VLM 以合成代码；如果生成的几何体与基准真值匹配（Chamfer 距离 $< 2 \times 10^{-4}$ ），则接受该样本。
- 细化： 未通过检查的样本最多重试三次；持续失败的样本则路由给人类专家。
训练编码智能体 (ProCAD-coder)：
- 通过在 10K 数据集中精心挑选的 1.6K 个无歧义样本上进行监督微调（SFT）完成。
- 基座模型：Qwen2.5-7B-Instruct。
训练澄清智能体 (ProCAD-clarifier)：
- 通过在 6,063 个样本组成的合成数据集上进行**智能体 SFT（Agentic SFT）**完成训练。
- 合成： 通过扰动已验证的规范（省略维度或引入冲突）来创建歧义提示词。
- 轨迹： 训练数据包含完整的智能体轨迹，其中智能体提出问题并接收模拟的用户回答（使用 GPT-5-mini 作为用户模拟器），以达到修正后的规范。
- 目标： 学习识别歧义并提出解决歧义所需的最小问题集。

3. 核心贡献

主动型智能体框架： 从静态的单次生成转向动态的双智能体系统，该系统能在代码生成前主动检测并解决规范歧义。
精选高质量数据集： 创建了一个带有严格泄露和完整性检查的 10K 文本生成 CadQuery 数据集，证明了更清晰、更精确的描述能显著提升下游代码合成的性能。
利用极小数据的有效训练：
- 编码智能体仅使用 1.6K 个微调样本即可实现卓越性能，超越了前沿的闭源模型。
- 澄清智能体在 6,063 条轨迹的合成数据集上进行训练，以有效地处理歧义。
对歧义的鲁棒性： 当面对欠定或冲突的提示词时，该系统显著降低了无效代码生成和几何错误的情况。

4. 实验结果

实验在无歧义和有歧义的测试集上进行，将 ProCAD 与前沿模型（如 Claude Sonnet 4.5, GPT-4o-mini）以及之前的开源方法进行了对比。

编码性能（无歧义提示词）：
- ProCAD-coder 将无效率 (Invalidity Ratio, IR) 从约 86.9%（零样本 Qwen2.5）降低到了 0.9%。
- 它实现了 0.066（缩放后为 $\times 10^{-3}$ ）的中值 Chamfer 距离 (CD)，优于 Claude Sonnet 4.5 (0.077) 和之前的 Text-CAD (0.097) 等方法。
澄清性能（有歧义提示词）：
- 在双智能体设置下（配合模拟用户响应），ProCAD（澄清器 + 编码器）实现了最低的 平均 CD (0.63) 和 中值 CD (0.08)。
- 它将无效率降至 0.9%，而单模型 Claude Sonnet 4.5 的无效率为 14.6%。
- 交互质量： ProCAD 获得了最高的效率 (0.9654) 和解决率 (0.9341) 分数，表明它提出的问题冗余度低且能成功解决歧义。
泛化能力：
- 当用户模拟器从 GPT-5-mini 切换到 Claude 4.5 Haiku 时，系统仍保持了高性能，展示了对分布外用户行为的鲁棒性。
- 以人为本的评估： 在针对真实人类标注员的测试中（100 个样本），ProCAD-clarifier 在效率、解决率和最终几何保真度方面继续优于基准模型（平均 CD 为 1.28，而次优基准为 9.72）。

5. 重要性与主张

论文声称 ProCAD 代表了使文本生成 CAD 在实际工程应用中变得更加稳健的重要进步。其主要意义在于：

范式转变： 从“反应式”生成（模型猜测缺失信息）转向“主动式”澄清（模型询问缺失信息）。这更符合工程设计的严谨标准。
数据质量的影响： 结果表明，文本描述的质量是一个关键瓶颈。作者证明，即使拥有强大的基座模型，糟糕或有歧义的描述也会导致失败，而高质量、经过验证的描述即使是较小的模型也能超越庞大的前沿模型。
效率： 该框架利用相对较小的微调数据集（编码 1.6K，澄清 6K）实现了最先进的鲁棒性，挑战了“大规模规模始终是可靠 CAD 生成所必需”的观念。

作者总结道，未来的工作应侧重于从真实的人机交互中收集大规模歧义数据集，并开发专门的用户模拟器模型，以进一步完善主动澄清过程。