ComAct: Reframing Professional Software Manipulation via COM-as-Action Paradigm
本文介绍了 COM-as-Action 范式和 ComActor 智能体，它们利用组件对象模型（Component Object Model）将专业的软件操作从脆弱的视觉控制转化为确定性的程序合成，并在全新的 ComCADBench 上实现了工业 CAD 任务的最先进性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图教会一个机器人使用复杂的专业软件，比如一款高端的 3D 设计程序（CAD）。目前，人们尝试通过两种主要方式来实现这一点，但两者都存在严重的问题：
“像素窥探”型机器人（基于 GUI）： 这个机器人试图像人类一样使用软件。它用眼睛盯着屏幕，寻找一个按钮，然后点击它。
- 问题所在： 专业软件的界面杂乱且拥挤。如果机器人错位了一个像素，或者屏幕看起来稍有不同，它就会陷入混乱。如果它在早期阶段犯了一个错误，这个误差就会不断累积，到最后整个项目都会毁掉。这就像是在没有蓝图的情况下，盲目地将砖块敲凑在一起来盖房子。
“工具箱”型机器人（基于 API）： 这个机器人试图为每种特定的软件使用一套专门的远程控制或命令行。
- 问题所在： 每家软件公司（如 Adobe、Microsoft 或 Autodesk）使用的远程控制语言都不一样。有些公司甚至根本不允许你使用这些接口。这就像是为城市里的每一扇门都准备了一把不同的钥匙，而对于许多门，你甚至连钥匙都没有。
新思路：“万能钥匙”（将 COM 作为动作指令）
ComAct 的作者们发现了一个几乎所有专业 Windows 软件都内置的“万能钥匙”。它被称为 COM（组件对象模型）。
请记住，COM 不仅仅是屏幕上的一个视觉按钮，它更像是连接到软件大脑的一条直接、秘密的电话线。与其告诉机器人“寻找红色的按钮并点击它”，你只需简单地说，“在这里画一个圆”，软件就会立即完美地执行。
核心转变：
与其让机器人表现得像个在屏幕上笨拙点击的普通人，ComAct 将机器人转变为了一名程序员。它编写一段短小、精确的脚本（一组指令），由软件直接执行。这消除了“笨拙的人类”式错误，并允许机器人处理复杂的、多步骤的任务，而不会迷失方向。
“健身房”与“教练”
为了证明其有效性，团队构建了三个主要部分：
- ComCADBench（考试）： 他们创建了第一个专门针对使用真实工业设计软件的机器人的测试。这就像是一场驾驶考试，只不过考的不是汽车，而是要求机器人构建复杂的 3D 模型和工程图纸。
- ComForge（健身房）： 训练这样的机器人非常困难，因为你需要成千上万台计算机同时运行才能进行练习。他们构建了一个由数千台虚拟 Windows 计算机组成的庞大“健身房”，让机器人在那里进行 24/7 的练习，而不会导致真实的机器崩溃。
- ComActor（学生）： 这是他们开发的新型机器人智能体。他们不仅仅是教它一次，而是使用了三阶段训练法：
- 阶段 1（学习字母表）： 教会机器人“万能钥匙”（COM）的基本语法，使其能够编写有效的脚本。
- 阶段 2（从错误中学习）： 让机器人尝试、失败、查看错误信息，并修复自己的代码。它学会了说：“噢，我尝试在不存在的地方画线，让我修正一下。”
- 阶段 3（艺术评论家）： 有时代码虽然运行成功，但 3D 形状略有偏差（比如一把歪掉的椅子）。他们使用了一种特殊的奖励机制，该机制会测量结果的精确几何形状。如果形状不完美，机器人就会得到“差评”，并必须重新尝试，直到形状在数学上完全准确。
结果
当他们对 ComActor 进行测试时：
- 旧型机器人（基于 GUI）： 它们几乎全部失败（成功率为 0%）。它们在视觉杂乱的信息中迷失了方向。
- 使用旧方法的高级 AI 模型： 即便是最聪明的 AI 模型，在尝试点击按钮时也会失败。
- ComActor： 它取得了最先进的研究成果（state-of-the-art）。它不仅成功了，而且能够处理长期的、复杂的任务（例如构建零件、组装零件，然后绘制蓝图），而其他机器人会在这些任务中崩溃。它甚至在从未见过的其他类型的设计测试中也表现出了良好的泛化能力。
总结
本文认为，要实现专业软件的自动化，我们不应该试图让机器人看起来更像人类（点击按钮），而应该让它们表现得像程序员一样，利用软件内置的“大脑接口”（COM）。通过这种方式，并在一个拥有严格“几何教练”的庞大虚拟健身房中进行训练，我们可以实现以前无法实现的精度和可靠性。
注：作者明确指出，他们目前的工作仅限于 Windows 平台上的 CAD 软件。虽然他们相信这未来也可以应用于 Office 或 Adobe 软件，但目前他们的论文仅证明了其在 3D 设计工具上的有效性。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。