OmegaUse-SOP: SOP Engineering for Professional Computer Use from Human Demonstrations
本文介绍了 OmegaUse-SOP，这是一个人机协同系统，旨在将专家演示转化为可复用的、特定领域的 GUI 智能体标准作业程序（SOP）技能，从而显著提高它们在光伏模拟工作流等复杂专业环境中的可靠性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，有一个计算机程序可以观察屏幕，理解它所看到的内容，并像人类一样点击按钮或输入文本。这就是“GUI智能体”（GUI agent）的愿景——这是一种旨在通过观察和交互我们日常使用的图形界面，而非通过阅读代码来导航数字世界的智能技术。虽然这些智能体在处理简单任务时已经表现得相当出色，但在面对复杂的专业工作时却往往会出错。现实世界中的工作很少是直线式的；它涉及隐藏的规则、特定的软件习惯，以及必须反复检查和确认的步骤。当一个智能体试图在不理解这些细微差别的情况下执行专业任务时，它往往会迷失方向、遗漏关键细节或执行错误的动作。因此，挑战不仅在于让智能体变得更聪明，更在于教会它专家用来正确完成工作的那些特定的、不成文的程序。
来自百度的一位研究人员与中国的一家电力工程公司合作，开发了一种解决这一问题的新系统，称为 OmegaUse-SOP。其核心思想是将人类执行复杂软件任务的方式视为一套可以被捕获、优化和复用的指令。他们将这一过程称为“SOP工程化”（SOP Engineering），即标准作业程序工程化。可以将其想象成将一位大师傅的工作流程转化为一份机器可以遵循的可靠指南。该系统不仅仅是记录一个人点击按钮的视频，它还会观察人类专家，理解他们在做什么，然后将这些动作重写为计算机可以理解并适应新情况的清晰、逻辑化的步骤。
该系统通过一个循环进行的四个不同阶段来运作。首先，“观察”（Observe）模块观察人类专家在计算机上执行任务的过程。它记录每一次鼠标点击、键盘按键和屏幕变化，并在每次动作发生前保存一张屏幕截图。这创建了一个详细的日志，记录了究竟发生了什么以及那一刻屏幕呈现出的样子。接下来，“推理”（Reason）模块将这些原始日志翻译成自然语言。它观察对特定位置的点击，并推断出人类实际上是在选择一个“项目名称”字段，而不仅仅是在随机坐标处点击。它将一系列技术性事件转化为一个故事：“点击项目名称框，然后输入名称。”这一步至关重要，因为它帮助计算机理解动作的“含义”，而不仅仅是动作本身。
一旦步骤被理解，随后的“配置”（Configure）阶段允许人类用户添加特定的规则和变量。在专业工作中，同一个任务每次可能需要使用不同的数值或设置。这个模块允许用户将指令中的某些部分标记为可变部分，以便智能体知道在处理新任务时应更换哪些数值。最后，“执行”（Execute）模块将计划付诸实践。智能体会观察当前的屏幕，找到指令中的正确步骤，并执行该动作。在每一步之后，它都会检查屏幕是否按照预期发生了变化。如果看起来不对劲，它可以停止并请求人类帮助，或者尝试重试。这种观察、理解、调整和行动的循环，将单次的人类演示转化为了可以应用于许多不同任务的可复用技能。
为了测试这种方法是否奏效，研究人员与电力行业的一位客户合作，应对一个非常具体的挑战：使用名为 PVsyst 的复杂软件进行太阳能系统设计。他们选择了专家经常执行的五项困难任务，例如导入气象数据、设置太阳能电池板角度以及计算能量损失。他们测试了三种不同的人工智能模型来完成这些任务。首先，他们让这些模型在没有任何辅助的情况下，仅凭简单的指令尝试完成工作。结果褒贬不一；模型表现挣扎，根据所使用的模型不同，仅完成了五项任务中的一到三项。它们经常被软件特定的布局搞混，或者遗漏了微妙的要求。
随后，研究人员应用了 OmegaUse-SOP 系统。他们记录了人类专家执行相同五项任务的过程，利用该系统将这些录像转化为精炼的、分步骤的技能，并让模型再次尝试。结果的差异是立竿见影且彻底的。在经过工程化处理的 SOP 帮助下，包括开源模型在内的所有模型都成功完成了全部五项任务。该系统不仅让智能体变得稍好一些，而是将它们从不可靠的新手变成了称职的操作员。研究人员还进行了一项特定的测试，以观察其系统的哪一部分最为重要。他们发现，“推理”模块（即把原始点击转化为有意义指令的部分）是关键。当他们移除这一步，让智能体尝试遵循原始且未经解释的日志时，成功率大幅下降。这证明了仅仅记录人类的行为是不够的；计算机必须理解他们为什么要这样做。
研究结果表明，人工智能若要真正掌握专业软件，需要的不仅仅是强大的视觉或记忆力。它需要一种捕捉人类专家所持有的隐性知识的方法——即那些习惯、检查环节以及他们在复杂菜单中导航的特定方式。通过构建一个能够将人类演示转化为结构化、可编辑且经过验证的技能的系统，研究人员展示了一条切实可行的路径。OmegaUse-SOP 系统并非取代人类的判断，而是建立了一座连接人类专业知识与机器执行的桥梁，使计算机能够可靠地处理定义了工程设计等领域专业工作的复杂且受规则约束的工作流。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。