Text-to-CAD Retrieval: a Strong Baseline
本文将文本到 CAD 检索引入为一项新的跨模态任务，并提出一个统一框架，该框架从过程序列和几何点云中学习多模态嵌入，并通过一种用于隐式对齐的新型特征解码器加以增强，从而为利用自然语言查询高效检索语义相关的 CAD 模型建立强有力的基线。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一座庞大而混乱的图书馆，其中每一本书都是一个三维机械零件，但书脊上没有标题，取而代之的是诸如"Part_001"之类的加密代码，或者被存放在名为"Old_Projects"的文件夹中。如果你是一位工程师，正在寻找一个特定的“带四个孔的圆柱形支架”，你无法直接询问图书管理员；你必须猜测文件名，或者记起多年前在哪个文件夹中见过它。这正是当前查找旧计算机设计（CAD 模型）所面临的问题。
本文提出了一种解决该问题的新方法：文本到 CAD 检索（Text-to-CAD Retrieval）。这相当于教会计算机扮演一位理解自然语言的超级聪明图书管理员。你输入诸如“中间带孔的红色盒子”这样的描述，系统便能从包含数千个设计的数据库中即时找到匹配的三维设计。
以下是作者如何构建这位“超级图书管理员”的说明，通过简单的类比进行解释：
1. 设计的两种语言
为了让计算机同时理解文本和三维物体，作者意识到需要同时将三维物体翻译成两种不同的“语言”：
- “食谱”（过程序列）：想象三维模型是像蛋糕一样构建的。“食谱”就是设计师遵循的指令列表：“画一个圆，向上拉伸，切一个孔。”计算机读取这份步骤列表。
- “照片”（几何点云）：想象对三维模型喷洒数百万个微小的点，从各个角度捕捉其精确形状。这就是“照片”。它告诉计算机物体“看起来”是什么样子，而不论其构建方式如何。
作者的秘诀在于同时使用“食谱”和“照片”。如果只使用“食谱”，可能会遗漏形状；如果只使用“照片”，可能会遗漏具体的构建逻辑。同时使用两者能为计算机提供完整的图景。
2. 三位翻译器（编码器）
该系统使用三个专门的“翻译器”，将所有内容转换为一种通用语言（一个数学空间，其中相似的事物彼此靠近）：
- 文本翻译器：读取你的句子（“圆柱形支架”）。
- 食谱翻译器：读取构建指令列表。
- 照片翻译器：读取三维点云。
3. “幽灵导师”（特征解码器）
这是该方法最具创意的部分。在训练过程中，他们引入了一位“幽灵导师”（一个特征解码器）。
技巧如下：
- 计算机获取“食谱”（步骤列表），并隐藏（掩蔽）其中的一部分，就像用一张空白纸盖住食谱的某些部分。
- 然后它请“幽灵导师”猜测食谱中缺失的部分。
- 为此，幽灵导师会查看文本和照片作为线索。
- 如果文本说“圆柱体”，而照片显示圆形形状，幽灵导师必须推断出缺失的食谱步骤很可能涉及画一个圆。
通过迫使系统利用“文本”和“照片”的线索来填补“食谱”中的空白，三种不同的语言被强制在计算机的“大脑”中完美对齐。它们学会了深入理解彼此。
关键在于，一旦计算机训练完成，“幽灵导师”就会被解雇。 它仅仅在那里帮助学生学会。当你稍后实际搜索零件时，系统快速且精简，仅使用三位翻译器将你的文本与三维模型进行匹配。
4. 结果
作者在两个大型工业设计数据库上测试了该方法。
- 基线：在此方法之前，如果仅查看“食谱”（步骤），系统的正确率约为 5%（排名 1 准确率）。
- 新方法：通过结合“食谱” + “照片” + “幽灵导师”训练，该系统在最难的测试中正确率接近10%。虽然 10% 听起来可能不高，但在通过文本查找复杂三维形状这一特定领域，这是一个巨大的飞跃，并为行业设定了新的“强基线”。
总结
本文声称构建了一个弥合人类语言与复杂工程图纸之间差距的系统。通过教会计算机将设计视为一组指令和一个物理形状，并利用巧妙的“填空”训练游戏，他们创造了一种工具，能够仅通过阅读描述就找到正确的三维零件。这有助于工程师更快地重用旧设计，而无需记住文件名或翻找杂乱的文件夹。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。