Goal Completion and State Preservation: Case Studies of GUI-Derived Agent Tools
本文证明了将录制的 GUI 操作作为参数化工具进行重用，与原始代码相比，能显著提高软件智能体完成任务的任务成功率并减少模型调用次数，同时也强调了评估持久化应用状态和附带变更对于确保可靠工作流执行的至关重要性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在数字世界中，软件智能体（software agents）是旨在代表我们执行任务的程序，它们就像数字员工一样，可以点击按钮、填写表单并在不同的应用程序之间移动数据。为了教会这些智能体如何完成复杂的作业，研究人员通常会记录人类在屏幕上执行任务的过程，捕捉每一次鼠标点击和按键。这种记录成了一张地图，一套智能体可以遵循并重复该工作的指令集。然而，一个关键问题仍然存在：仅仅遵循记录好的地图是否能保证任务真正正确地完成了？在软件工程领域，“完成”一项任务往往不仅仅意味着到达最后一个界面；它要求底层系统能够准确地记住这一变更。如果一个智能体更新了价格，却未能更新决定折扣的隐藏计算逻辑，那么这项任务在技术上虽然算作“完成”，但在功能上却是“损坏”的。这种“完成可见步骤”与“保持系统不可见状态完整性”之间的区别，正是这项研究试图解决的核心谜题。
一位名叫李德坤（Dekuan Li）的研究员通过测试两种不同的引导软件智能体执行复杂业务任务的方法，对这一问题进行了调查。该研究聚焦于一类用于管理客户关系、计费和活动门票的特定软件服务。研究人员对比了“原始代码”（raw code）方法——即智能体尝试利用通用编程知识从零开始摸索步骤——与“图形用户界面（GUI）衍生工作流”（GUI-derived workflow）方法。在后者的方法中，智能体被赋予了一张由人类在图形界面上执行精确步骤而生成的、冻结的预录制地图，随后智能体只需在其中填入姓名和日期等新细节即可。其目标是观察哪种方法能更好地完成整个请求，并且更重要的是，哪种方法能让软件系统在完成后仍保持健康、一致的状态。
实验结果令人震惊。当智能体被给予三个不同的复杂业务请求进行求解时，使用预录制工作流的智能体在所有三次尝试中都成功达到了每一个核心需求。相比之下，尝试从头编写代码的智能体仅完成了必要步骤中的一小部分，在最难的任务中得分甚至低至 33 分中的 8 分。使用记录地图的智能体完成任务所需的尝试次数也远少于前者。由于原始代码智能体经常触及 Token 限制或因无效命令而停止，而工作流智能体仅需五到六次尝试即可完成相同的任务。这表明，对于这类特定的业务操作，为智能体提供一条具体的、由人类行为记录而成的路径，比要求它自行发明路径要可靠得多。
然而，研究揭示了一个超越简单成功或失败的更深层次的复杂性。即使智能体成功完成了任务的可视部分，其实现方式对于系统的长期健康依然至关重要。在一次涉及在线商店平台的独立测试中，研究人员发现，不同的保存价格变更的方法会产生不同的隐藏副作用。其中一种方法类似于原始代码方法，它虽然更新了价格，却导致一个折扣计算的缓存版本停留在旧值。这意味着，尽管屏幕上的价格看起来是正确的，但系统的内部数学逻辑却是错误的。另一种方法采用了更彻底的、基于仓库（repository-based）的方法，它正确地同时更新了价格和隐藏的折扣计算。这一发现强调，一个智能体可以通过达到正确的数值来“完成”任务，但如果它没有触发正确的内部更新，仍然会使系统处于损坏状态。
研究还发现了这些系统中信息继承的一个微妙问题。在一次实验中，研究人员测试了更新产品的默认描述是否会自动更新该产品的特定变体描述。他们发现，在某些情况下，如果智能体之前对某个产品进行了特定的覆盖（override），那么旧的覆盖操作就会阻碍新的更新生效。使用基于仓库工具的智能体能够正确处理这一过程，使描述正常传播，而使用原始代码和 GUI 提示条件的智能体则显示出传播受阻。这表明，智能体到达目标的路径，决定了系统在未来是保持灵活，还是变得僵化且易出错。
最终，研究结论指出，虽然记录人类行为并将其转化为智能体工具是提高任务完成率的强大手段，但这并非完美的解决方案。工作流工具在完成任务方面远优于原始代码，但它们在最终输出中仍留有缺口，例如未能通过精确的事件基数（cardinality）检查，或在完整的任务主体字符串（task-body string）方面存在问题。更重要的是，研究表明，评估智能体的性能不能止步于检查最终数值是否正确。人们必须同时检查其产生的“附带”变化——即留在系统内存中的副作用。一个真正成功的智能体不仅要到达目的地，还要确保它所经过的道路对下一位旅者而言依然清晰且一致。这项工作表明，可靠软件智能体的未来在于将记录工作流的高效性与对所修改系统状态的严格检查相结合。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。