💻 computer science

AutoRPA: Efficient GUI Automation through LLM-Driven Code Synthesis from Interactions

AutoRPA 是一个框架，它通过将交互轨迹自动提炼为稳健且可复用的 RPA 函数，从而弥合了低效的基于大语言模型的 ReAct 代理与传统 RPA 之间的鸿沟，进而在保持任务解决能力的同时显著降低了令牌使用量和运行时成本。

原作者： Minghao Chen, Xinyi Hu, Zhou Yu, Yufei Yin

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Minghao Chen, Xinyi Hu, Zhou Yu, Yufei Yin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位非常聪明但略显昂贵的个人助理，名叫"LLM"（大语言模型）。这位助理擅长首次学习如何使用电脑或手机屏幕。如果你让它“预订航班”或“删除笔记”，它能够观察屏幕、思考操作步骤、点击正确的按钮，从而完成任务。

然而，有一个问题：它们在执行重复性任务时既缓慢又昂贵。

每次你让它预订航班，它都必须从头开始“思考”。它会阅读屏幕、规划步骤并点击。如果你一天需要这样做 100 次，你就相当于支付了 100 小时的“思考”费用，这是对金钱和时间的浪费。

另一方面，在这些智能助理出现之前，人们使用的是“机器人流程自动化”（RPA）。可以把 RPA 想象成一段预先录制的脚本。它就像一个机器人，盲目地执行“点击第 3 个按钮，然后输入‘你好’，再点击‘保存’"。它的运行速度极快且成本极低。但它也非常脆弱。如果应用程序的设计者将“第 3 个按钮”移动到了不同的位置，机器人就会崩溃，因为它不知道如何适应。每当屏幕发生变化，都需要人工手动重写脚本。

问题所在

我们既想要机器人的速度和低成本（RPA），又想要助理的智能适应性（LLM）。我们需要一种解决方案，能够处理重复性任务（例如每天预订航班），而无需在应用程序每次更新时都由人工重写代码。

解决方案：AutoRPA

这篇论文介绍了AutoRPA，它是一个系统，就像一位将杂乱的烹饪演示转化为完美、可复用食谱的大厨。

以下是其工作原理，分步说明：

1. “探索”（大厨观察）

首先，AutoRPA 使用智能 LLM 助理执行一次或几次任务（例如预订航班）。助理观察屏幕、思考并点击。这就是“ReAct"阶段。

类比： 大厨观察副厨第一次烹饪一道菜，记录下每一个动作。

2. “翻译”（将笔记转化为食谱）

助理的操作通常是“硬编码”的（例如，“点击坐标 144, 278 处的按钮”）。这很糟糕，因为如果屏幕发生偏移，坐标就会出错。
AutoRPA 拥有一个特殊的翻译代理，它会重写这些操作。它不再说“点击坐标 144, 278"，而是说“点击写着‘预订航班’的按钮”。

类比： 大厨将副厨杂乱的笔记（“点击右上角的红点”）重写为清晰的指令（“按下红色的‘开始’按钮”）。这使得食谱即使在厨房布局略有变化时也能生效。

3. “构建”（创建主脚本）

一个构建代理将这些翻译后的、灵活的指令组合成一个单一、稳健的计算机程序（RPA 函数）。它会查看许多不同的尝试（轨迹），以找出处理各种变体的最佳方式。

类比： 大厨编写出最终的、专业的食谱卡片，任何人都可以在任何地方用它完美地制作这道菜。

4. “混合修复”（安全网）

有时，新食谱可能存在缺陷。如果机器人尝试运行代码失败，AutoRPA 不会直接放弃。它采用混合修复策略：

暂停机器人。
重新调用智能 LLM 助理，让它弄清楚为什么失败以及如何从该确切点修复。
利用助理的修复方案来更新食谱。

类比： 如果机器人烤焦了吐司，大厨就会介入，修复吐司，然后更新食谱卡片，以便机器人下次不再烤焦它。

结果

该论文在三种不同的环境（Android 应用、网站和模拟网络任务）中测试了此方法。

效率： 新的 AutoRPA 代码的运行成本比每次让智能助理执行任务降低了 82% 至 96%。它节省了大量的“令牌”（AI 思考的货币）使用量。
成功率： 它解决问题的效果与单独使用智能助理一样好，有时甚至更好，因为生成的代码非常稳定，不会因微小的屏幕变化而困惑。
可复用性： 一旦为某种“类型”的任务（例如“预订航班”）构建了代码，就可以将其复用于数百个具体实例（预订去纽约、预订去伦敦），而无需再次思考。

总结

AutoRPA 是一个系统，它观察智能 AI 学习一项任务，将这种学习转化为灵活、可复用的脚本，然后打磨该脚本直至完美。它让我们兼得两者之长：处理新情况的智能，以及处理重复工作的机器人的效率。

技术摘要：AutoRPA

问题陈述

尽管大语言模型（LLM）智能体已通过 ReAct（推理与行动）范式展示了在图形用户界面（GUI）交互方面的熟练能力，但在实际部署中仍面临显著的效率低下问题。大多数现有研究针对新实例的单一任务性能进行优化，往往为每次交互调用昂贵的 LLM 推理。然而，现实世界场景通常涉及重复性任务类型（例如日报归档、航班预订），为每个实例调用 LLM 推理既浪费计算资源又成本高昂。

相反，传统的机器人流程自动化（RPA）为重复性任务提供了高运行时效率，但存在脆弱性。传统 RPA 依赖于人工编写的脚本，这些脚本缺乏灵活性；当 GUI 布局发生变化时它们会失效，并且需要大量人力进行开发和维护。本文解决的核心挑战是如何利用 LLM 辅助，自动合成针对特定任务类型的稳健且令牌（token）高效的 RPA 函数，从而弥合 LLM 智能体的灵活性与传统 RPA 的效率之间的差距。

方法论：AutoRPA 框架

AutoRPA 是一个旨在将 ReAct 风格智能体的决策逻辑“蒸馏”为可执行、可复用的 RPA 代码的框架。该过程分为三个主要阶段：

1. 探索阶段

ReAct 轨迹生成：一个 ReAct 风格的智能体与 GUI 环境交互以解决任务实例。它观察截图和 UI 结构（DOM/可访问性树），推理步骤并执行操作。
反思：如果轨迹失败，反思机制允许智能体分析失败原因并重试（最多 $N_{ref}$ 次），以确保收集到成功的轨迹。
翻译（硬编码转软编码）：一个专用的翻译智能体将智能体的“硬编码”操作（例如 click(index=2)）转换为“软编码”过程。翻译器不依赖固定的索引或坐标，而是生成基于语义属性（例如文本内容、元素类型、目标描述）来定位元素的代码，使用 find_element 函数。这确保了生成的逻辑对微小的布局变化具有鲁棒性。

2. RPA 生成阶段

带有 RAG 的构建智能体：一个构建智能体为特定任务类型（ $G_k$ ）合成最终的 RPA 函数（ $F_k$ ）。
检索增强生成（RAG）：为了防止构建智能体因缺乏上下文而对界面状态做出错误假设，该框架采用树状组织的检索机制。构建智能体可以查询轨迹数据库，从过去的成功探索中获取特定的交互块（观察、操作、摘要）。
代码合成：构建智能体生成一个 Python 函数，其中包含处理任务变体的逻辑结构（循环、条件语句）。它从翻译后的轨迹中修剪冗余步骤，并纳入必要的错误处理。代码还可能包含对多模态 LLM（ask_mllm）的调用，以解决无法通过静态规则解决的复杂推理任务。

3. 混合修复验证阶段

执行与分析：生成的 RPA 代码在已见的任务实例上执行。如果执行失败，分析智能体会识别断点，分析失败原因，并确定任务是应该恢复还是必须重新开始。
混合修复策略：系统不单纯依赖代码优化，而是采用混合方法。如果代码失败，ReAct 智能体会从断点（或重新开始）恢复执行，以生成纠正演示。这种“混合轨迹”（代码执行 + ReAct 修复）被反馈给构建智能体，以迭代地优化代码。
终止：该过程持续进行，直到代码通过所有验证任务或达到最大优化尝试次数（ $M$ ）。如果任务仍无法自动化，系统默认对该特定实例使用 ReAct 智能体。

主要贡献

AutoRPA 框架：一种新颖的系统，可自动为任务类型生成稳健的 RPA 函数，针对传统 RPA 过于脆弱且 ReAct 智能体成本过高的重复性 GUI 自动化场景。
翻译器 - 构建器流水线：一个两阶段过程，其中翻译器将硬编码的 ReAct 操作转换为基于属性的软编码过程，构建器则利用树状轨迹检索（RAG）合成稳健的 RPA 函数。
混合修复策略：一种结合直接代码执行与基于 ReAct 回退的验证机制。这使得系统能够在合成代码失败时，通过纳入 ReAct 智能体的纠正演示来迭代优化代码。
效率与鲁棒性：该框架成功显著降低了令牌消耗，同时与纯 LLM 智能体相比，保持或提高了成功率。

实验结果

作者在三个基准测试上评估了 AutoRPA：AndroidWorld（真实 Android 应用）、WebArena（真实网络任务）和MiniWoB++（模拟网络任务）。

令牌效率：与 ReAct 风格智能体相比，AutoRPA 将令牌使用量减少了82% 至 96%。例如，在 AndroidWorld 上使用 GPT-4o 时，AutoRPA 仅消耗 14.7k 令牌，而 ReAct 消耗了 79.9k。
成功率：
- 在AndroidWorld上，AutoRPA 实现了**37.0%**的成功率（GPT-4o），优于 ReAct（35.2%）和 SeeAct（15.3%），同时使用的令牌显著更少。
- 在MiniWoB++上，AutoRPA 在“困难”任务上实现了91.1%的成功率，在所有任务上实现了95.4%，优于 AdaPlanner 和 AutoManual 等最先进方法，同时消耗的令牌不到 ReAct 的 10%。
- 在WebArena上，AutoRPA 达到了与先前方法相当的性能，但令牌消耗大幅减少。
消融研究：实验证实，移除 ReAct 探索阶段、翻译智能体、RAG 机制或混合修复策略均会导致成功率显著下降，验证了每个组件的必要性。

意义与主张

本文主张 AutoRPA 解决了一个关键的实践问题：在重复性任务上运行 LLM 智能体的高成本和低效率，与传统 RPA 的高维护成本之间的权衡。通过将 LLM 智能体的决策逻辑蒸馏为经过验证的可复用代码，AutoRPA 实现了：

令牌高效自动化：大幅降低重复性任务类型的 GUI 自动化计算成本。
鲁棒性：生成能够比静态脚本或单次 LLM 生成更好地处理环境和任务指令变化的代码。
可扩展性：提供了一条自动化多样化 GUI 任务的路径，无需为每种新任务类型进行大量人工脚本编写或策划专家知识。

作者强调，他们的方法不依赖于特定的 ReAct 智能体，并且可以适配各种 LLM 骨干网络，使其成为高效 GUI 自动化的通用解决方案。