cadrille: Multi-modal CAD Reconstruction with Reinforcement Learning

本文提出了名为 cadrille 的多模态 CAD 重建模型，该模型结合监督微调与在线强化学习（如 GRPO），能够同时处理点云、图像和文本输入，并在多个基准测试中超越了现有单模态方法，刷新了包括真实世界数据集在内的多项性能纪录。

要点

这篇论文介绍了一个名为 Cadrille 的新 AI 模型，它的核心能力是**“看图说话，直接造零件”**。

为了让你轻松理解，我们可以把 CAD（计算机辅助设计）想象成**“乐高积木的说明书”。以前，工程师需要手动画图纸、写代码来告诉电脑怎么搭积木。而 Cadrille 就像是一个“超级乐高大师”**，你给它看照片、给它一堆散乱的积木块（点云），或者给它一段文字描述，它就能直接写出那份“乐高说明书”（Python 代码），让电脑自动把零件造出来。

以下是这篇论文的通俗解读：

1. 它解决了什么痛点？（以前的“乐高大师”有多笨？）

• 以前的局限： 过去的 AI 模型通常很“偏科”。有的只能看懂照片，有的只能处理3D 扫描的散点，有的只能读懂文字。如果你给它一张照片，它可能完全看不懂；如果你给它一段文字，它又可能造不出形状。而且，它们造出来的东西往往经不起推敲，要么形状不对，要么代码跑不通（就像说明书写错了，积木搭不起来）。
• Cadrille 的突破： 它是一个**“全能型大师”。它同时能看懂照片、3D 扫描点云和文字描述**。不管你怎么给它提供线索，它都能理解，并生成可执行的代码。

2. 它是如何学习的？（两阶段“特训”法）

作者没有让 Cadrille 直接死记硬背，而是采用了类似人类学习的**“两阶段特训”**：

第一阶段：海量“模拟训练” (SFT - 监督微调)

• 比喻： 就像让一个新手学徒在虚拟工厂里进行高强度训练。
• 做法： 研究人员用电脑生成了100 万个虚拟的 CAD 模型（就像在虚拟世界里造了 100 万个零件），让 Cadrille 学习如何把这些模型变成代码。
• 目的： 让它先学会通用的“造零件逻辑”，掌握各种几何形状的基本规律。这时候它已经很强了，但面对真实世界中那些歪歪扭扭、有瑕疵的物体时，它可能会“水土不服”。

第二阶段：实战“强化训练” (RL - 强化学习)

• 比喻： 这是最关键的一步。就像让学徒去真实的工地实习，并且有一个**“智能监工”**实时打分。
• 做法：
  • 以前大家是用同样的数据训练和测试，导致模型在真实世界里表现不好。
  • Cadrille 的做法是：让它用真实世界的数据（比如真实的 3D 扫描图，哪怕上面有噪点、缺角）进行练习。
  • 智能监工（奖励机制）： 当 Cadrille 生成一段代码后，系统会立刻运行这段代码。如果造出来的模型和真实物体很像，监工就给它发糖（奖励）；如果代码报错或者造出来的东西是歪的，监工就给它“电击”（惩罚）。
  • 通过这种“试错 - 反馈 - 修正”的过程，Cadrille 学会了如何自我纠错，确保生成的代码不仅能跑，而且跑出来的结果非常精准。

3. 它厉害在哪里？（打破纪录）

• 全能冠军： 它是目前唯一一个在照片、点云、文字三种输入方式下，都能拿到世界最好成绩的模型。
• 拒绝“假把式”： 以前的模型经常生成“无效代码”（就像说明书里缺了步骤，积木搭不起来）。Cadrille 经过强化学习后，代码无效率几乎降到了 0%。这意味着它生成的代码几乎每次都能成功运行。
• 实战能力强： 它不仅能在完美的实验室数据上表现好，在面对真实世界中那些有灰尘、有缺损、扫描不完整的物体时，依然能造出高精度的模型。

4. 总结：这意味什么？

想象一下，未来你手里拿着手机，拍一张家里旧椅子的照片，或者对着手机描述“我要一个带圆角的方形桌子”，Cadrille 就能立刻生成一份专业的3D 打印文件或工厂加工代码。

这项技术让3D 设计变得像“说话”和“拍照”一样简单，不再需要专业的 CAD 软件操作技能。它把高门槛的工程设计，变成了普通人也能触手可及的“魔法”。

一句话总结：
Cadrille 是一个懂多种语言（图、文、点云）的 AI 建筑师，它通过在虚拟世界海量练习，再在真实世界中通过“试错反馈”不断进化，最终能精准地把任何输入变成可执行的 3D 制造代码。

技术摘要

这是一篇发表于 ICLR 2026 的会议论文，题为 "CA DRILLE: MULTIMODAL CAD RECONSTRUCTION WITH REINFORCEMENT LEARNING"。该论文提出了一种名为 cadrille 的新型多模态计算机辅助设计（CAD）重建模型。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 核心任务：CAD 重建旨在从输入数据（如扫描点云、图像或文本描述）直接生成可编辑的 3D CAD 模型。
• 现有局限：
  • 单模态限制：现有的主流方法通常仅针对单一输入模态（仅点云、仅图像或仅文本），缺乏通用性。
  • 多模态质量低：虽然已有尝试多模态的方法（如 CAD-MLLM, CAD-GPT），但其重建质量远不如单模态的最先进（SOTA）方法。
  • 泛化能力差：现有模型在训练数据（通常是程序化生成的合成数据）和真实世界数据（如带有噪声的扫描数据）之间存在巨大的域差距（Domain Gap）。
  • 代码有效性：生成可执行的 Python 代码（用于 CAD 重建）时，常出现语法错误或无法生成有效几何体的情况（Invalidity Ratio 高）。
• 目标：构建一个统一的框架，能够同时处理点云、多视图图像和文本描述，并生成高质量、可执行的 CAD 重建代码，同时在真实世界场景下保持鲁棒性。

2. 方法论 (Methodology)

论文提出了 cadrille，一个基于视觉 - 语言模型（VLM）的多模态 CAD 重建系统，其核心创新在于两阶段训练范式和强化学习（RL）微调。

2.1 模型架构

• 基础模型：基于预训练的 VLM（具体使用 Qwen2-VL-2B），该模型原生支持文本和图像输入，并能生成 Python 代码。
• 多模态输入处理：
  • 文本：通过原始嵌入层处理。
  • 图像：通过原始视觉编码器处理（多视图图像被拼接成 2x2 网格输入）。
  • 点云：引入一个可训练的单层投影层，将 3D 点（通过最远点采样 FPS 获取，无法向量）映射到共享的嵌入空间。
• 输出：模型输出可执行的 Python 脚本（基于 CadQuery 库），执行后生成参数化的边界表示（B-Rep）3D 模型。

2.2 两阶段训练流程

受大语言模型（LLM）训练范式的启发，cadrille 采用以下两个阶段：

1. 监督微调 (Supervised Fine-Tuning, SFT)：

   • 数据：使用大规模程序化生成的 CAD 数据集（如 CAD-Recode 数据集，约 100 万样本）进行训练。
   • 目的：让模型学习从多模态输入（点云、图像、文本）到 CAD 代码的映射策略。
   • 策略：在此阶段，模型学习处理点云并生成代码，但尚未针对真实世界数据的分布进行优化。

2. 强化学习微调 (Reinforcement Learning, RL Fine-tuning)：

   • 动机：仅靠 SFT 在跨域（如从合成数据到真实扫描数据）时表现不佳，且生成的代码有效性（Validity）不足。
   • 数据：使用手工构建的 CAD 数据集（如 DeepCAD, Fusion360）或真实扫描数据（CC3D）。关键点：RL 阶段不需要成对的 (输入, 代码) 标注，只需要输入（图像或点云）和对应的 3D 网格（Mesh）作为 Ground Truth。
   • 奖励函数 (Reward Function)：
     • $R(\tau) = r_{IoU}(\tau) + r_{invalid}(\tau)$
     • $r_{IoU}$：预测生成的 CAD 模型与真实网格的交并比（IoU），乘以 10 以强调精度。
     • $r_{invalid}$：如果生成的代码无效（无法执行或几何错误），给予 -10 的惩罚；否则为 0。
   • 算法：
     • 首先尝试 DPO (Direct Preference Optimization)，构建偏好对（高奖励 vs 低奖励）。
     • 主要采用 Dr. CPPO（结合了 Dr. GRPO 和 CPPO 的混合算法），这是一种在线 RL 方法。它从当前策略采样多个候选代码，计算优势（Advantage），并选择信号最强的样本进行 PPO 更新。
   • 难例挖掘 (Hard Example Mining)：仅对 SFT 模型表现较差（奖励低于阈值）的样本进行 RL 微调，以提高收敛效率。

3. 关键贡献 (Key Contributions)

1. 首个统一的多模态 SOTA 模型：提出了 cadrille，是第一个在单一框架下同时处理点云、图像和文本，并在所有模态上均超越现有单模态 SOTA 方法的模型。
2. RL 微调的有效性证明：首次证明在 CAD 重建任务中，RL 微调（特别是使用程序化反馈的在线 RL）能显著提升多模态重建的质量和代码有效性。
3. 创新的训练策略：
   • 利用大规模程序化数据进行 SFT 以覆盖广泛的 CAD 空间。
   • 利用稀缺但高质量的手工/真实数据（无需代码标注）进行 RL 微调，解决了合成数据与真实数据之间的域差距问题。
4. 全面的评估：在 3 种模态（点云、图像、文本）和 4 个数据集（DeepCAD, Fusion360, CC3D, Omni-CAD）上的 10 个基准测试中均刷新了 SOTA，包括真实世界的 CC3D 数据集。

4. 实验结果 (Results)

• DeepCAD 基准：
  • 在 SFT 阶段，cadrille 在三种模态上均优于现有的单模态方法。
  • 引入 RL 微调后，性能进一步提升。例如，在点云重建中，无效率（IR）从 2.1% 降至 0.0%，IoU 提升至 90.2%。
• 真实世界泛化 (CC3D)：
  • 在包含噪声、缺失部分和平滑边缘的真实扫描数据（CC3D）上，cadrille 表现出极强的鲁棒性。
  • 相比仅使用 SFT 的模型，RL 微调将点云重建的 IoU 从 56.1% 提升至 65.0%，无效率从 7.7% 降至 0.1%。
• 跨模态增益：
  • 有趣的是，仅在图像数据上进行 RL 微调，也能显著提升点云重建的性能，证明了 RL 对模型整体推理能力的增强。
• 效率对比：
  • 与之前的方法（如 CAD-Recode）不同，cadrille 不需要在测试时进行多次采样（Test-time sampling）来挑选最佳结果。cadrille 单次推理（1 sample）的效果优于 CAD-Recode 采样 10 次的效果，且推理时间更短。

5. 意义与影响 (Significance)

• ** democratize CAD 设计**：通过支持多种输入（包括非专业用户容易获取的图像和文本描述），降低了 CAD 建模的门槛。
• 解决域适应难题：提出的“合成数据 SFT + 真实数据 RL"范式为其他生成式任务（如从合成数据迁移到真实世界）提供了新的思路，特别是利用无需代码标注的网格数据进行 RL 微调。
• 提升代码生成可靠性：通过 RL 的奖励机制，显著解决了生成式 AI 在工程领域应用中常见的“幻觉”和代码无效问题，使得生成的 CAD 脚本真正可用。
• 开源与复现：代码已开源，推动了 CAD 重建领域的进一步发展。

总结：这篇论文通过结合多模态 VLM 架构与创新的强化学习微调策略，成功打破了 CAD 重建中多模态性能不如单模态的瓶颈，并在真实世界场景中实现了高鲁棒性和高有效性的重建，是 CAD 生成领域的重要突破。