🤖 AI

CoAdapt-GUI: Joint Workflow Context and Policy Adaptation for Unseen GUI Applications

CoAdapt-GUI 是一个测试时自适应框架，它通过利用 LoRA 对特定任务策略进行联合自适应，并从智能体自身的交互中提炼可迁移的工作流上下文，从而提升移动端 GUI 智能体对未知应用的泛化能力，并取得了相较于基准方法的显著性能提升。

原作者： Linqiang Guo (Peter), Li Gu (Peter), Zihuan Jiang (Peter), Zhixiang Chi (Peter), Siobhan Reid (Peter), Ziqiang Wang (Peter), Yuanhao Yu (Peter), Wei Liu (Peter), Yang Wang (Peter), Tse-Hsun (Peter)

发布于 2026-08-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Linqiang Guo (Peter), Li Gu (Peter), Zihuan Jiang (Peter), Zhixiang Chi (Peter), Siobhan Reid (Peter), Ziqiang Wang (Peter), Yuanhao Yu (Peter), Wei Liu (Peter), Yang Wang (Peter), Tse-Hsun (Peter), Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何在数字世界中导航。这个机器人是一个“GUI智能体”，它是一个聪明的助手，能够观察手机屏幕，读取它所看到的内容，并点击按钮来执行你的指令，比如“预订机票”或“发送短信”。在一段时间内，这些机器人已经变得相当出色，但前提是它们必须在稍后会使用的完全相同的应用程序上进行练习。这就像是一个背下了特定数学考试答案的学生，但在看到一本新教科书时却不知所措。真正的挑战在于，当机器人遇到一个它从未见过的应用程序——拥有它不认识的按钮和菜单时。这就是“未见应用程序”问题。科学家们正试图研究如何教这些机器人进行即时学习，仅通过几次尝试就能弄清楚一个新应用是如何运作的，而不需要人类每次都手把手地教导它们。

这篇论文介绍了一个名为 CoAdapt-GUI 的巧妙新系统，它能帮助这些机器人智能体比以往更好地适应全新的应用程序。把机器人的大脑想象成有两个部分：一个是“策略”（policy），即它关于如何点击和滑动的一种本能；另一个是“工作流”（workflow），即它完成一项任务所需的步骤和规则的心理清单。以往帮助机器人学习新应用的方法大多只是试图调整它们的本能（策略），却忽略了它们的清单。作者发现这还不够。如果机器人的清单里充满了针对旧应用的特定细节（例如“寻找主屏幕上的蓝色按钮”），那么当新应用有一个位于不同位置的红色按钮时，它就会感到困惑。

CoAdapt-GUI 通过同时做两件事解决了这个问题。首先，它充当机器人清单的严格编辑。它提取机器人已知的通用规则（例如“如果你卡住了，尝试返回”），但剔除掉任何关于旧应用的特定细节（例如“返回按钮在左上角”）。这创建了一个可以在任何地方通用的“纯净版”指南。其次，它让机器人在新应用上进行练习，并根据成功或失败的结果来更新其本能（策略）。神奇之处在于这两个部分是如何相互促进的：纯净的清单帮助机器人进行更好的练习，而练习的结果则帮助机器人完善其清单。

研究人员在名为 AndroidWorld 的数字游乐场中测试了这个系统。在一项测试中，机器人需要处理熟悉任务的新版本，CoAdapt-GUI 的成功率为 45.0%。与之前的最佳方法相比，这是一个显著的飞跃，之前的最佳方法仅能达到 37.5%。在另一项更难的测试中，机器人必须学习它从未见过的全新类型的任务，该系统将成功率从 38.6% 提升到了 52.9%。论文表明，通过将“做什么”（工作流）与“怎么做”（策略）分离，并在使用前清理指令，机器人可以变得更加灵活，并为总是变化着的现实世界做好准备。

技术摘要：CoAdapt-GUI

问题陈述
目前的移动端 GUI 智能体在部署到其源训练数据之外的应用时，表现出明显的脆弱性。尽管最近的进展提高了在既定基准测试上的性能，但这些评估通常假设应用和工作流是预定义的。在现实世界的部署中，智能体会遇到“未见”的应用，其中界面元素和任务流程都是全新的。现有的泛化方法（例如在目标交互上的在线强化学习 RL）通常仅侧重于策略适配。然而，在熟悉的界面内成功完成新任务并不保证在陌生应用中也能有效执行。智能体可能会因为界面特定的接地（grounding）问题或缺乏程序化工作流知识（例如：完成条件、失败恢复）而失败。仅更新策略或仅更新工作流上下文，都无法解决关键的失效来源，特别是在存在跨应用偏移的情况下，源经验中包含的特定应用细节（负迁移）可能会阻碍适配过程。

方法论：CoAdapt-GUI
本文介绍了 CoAdapt-GUI，这是一个测试时适配（Test-Time Adaptation, TTA）框架，旨在仅利用智能体自身的针对目标应用的展开（rollouts）和任务级奖励，共同适配结构化的工作流上下文（workflow context）和策略（policy），且无需访问目标端的演示数据或留出评估信号。

该框架基于两个互补的适配状态运行：

受限迁移的工作流上下文 ( $M_t$ )：
- 关注点分离： 系统区分了应用绑定型源状态（屏幕、坐标、特定标识符）和可迁移的程序化知识（抽象程序、失败模式、验证规则）。
- 基于 FSM 的表示： 源工作流由有限状态机（FSM）表示。一个“冻结合成器（frozen synthesizer）”通过资格谓词和模式校验器过滤掉应用绑定细节，从而构建出一个可迁移的状态（ $M_{tr}$ ）。
- 目标驱动的修订： 在适配期间，智能体维护一个单独的目标端接地状态（ $M_{t}^{tgt}$ ）。一个“冻结反射器（frozen reflector）”通过对比匹配展开中的成功与失败轨迹，提出对工作流上下文的修订建议。这些修订在进入种群之前，需经过基于类型的模式检查（排除应用名称、包名 ID 等）进行验证。
- 检索： 对于目标任务，系统检索受限的、符合资格约束的源工作流上下文（ $M_0$ ），并将其与演进中的目标端接地状态相结合。
任务–上下文匹配的策略适配：
- 架构： 策略是一个具有冻结骨干网络和可训练 LoRA 适配器（ $\theta_t$ ）的视觉语言模型（VLM）。
- 组相对优化： 为了防止来自上下文变化的干扰，策略更新仅在共享相同任务和相同上下文条件的展开（rollouts）之间进行计算（ $G(q, \kappa)$ ）。
- 目标函数： 框架使用组相对目标（Shao et al., 2024），根据这些匹配组内的优势值（advantages, $A_j$ ）来更新 LoRA 参数。这确保了信用分配反映的是策略的改进，而非任务难度或上下文引导的差异。
联合适配循环：
- 框架在受控重置条件下执行匹配的展开。
- 相同的展开流驱动两个通道：
  - 上下文通道： 更新上下文变体的评分，并提出经过验证的子代修订版本。
  - 策略通道： 使用累积的轨迹更新 LoRA 适配器，但仅当存在有效的任务–上下文比较组时才进行更新。
- 两者在交互上是耦合的，但在梯度上不是联合可微的：当前的上下文塑造了用于策略学习的轨迹，而当前的策略生成用于修订工作流的成功/失败信号。

核心贡献

联合目标侧适配： 一种 TTA 框架，通过仅使用自主的目标端交互和奖励来更新独立的工作流上下文和策略状态，消除了对目标端演示数据的需求。
受限迁移适配： 一种将可迁移工作流知识与应用绑定源状态分离的机制。它协调了由模式检查验证的奖励引导更新，并确保策略信用严格在匹配的任务–上下文组内计算。
全面评估： 该框架在两个层面的泛化能力上进行了评估：
- 实例泛化（Instance Generalization）： 已知任务模板的新实例（AndroidWorld-Generalization）。
- 任务类型泛化（Task-Type Generalization）： 未见应用中的全新任务模板（AndroidWorld Plus）。

实验结果
作者将 CoAdapt-GUI 与包括基础策略（Base Policy）、静态上下文迁移（Static Context Transfer）、仅策略 TTA（Policy-Only TTA）以及仅上下文 TTA（Context-Only TTA）在内的基线模型进行了对比评估。

AndroidWorld-Generalization（新任务实例）：
- CoAdapt-GUI 实现了 45.0% 的成功率。
- 这超过了报告的仅策略 TTA 基线（37.5%）7.5 个百分点，以及仅上下文 TTA（35.0%）10.0 个百分点。
- 静态上下文迁移的成功率为 28.75%。
AndroidWorld Plus（新任务模板）：
- 该设置测试了向未见任务类型的迁移能力。
- CoAdapt-GUI 将整体成功率从基础策略的 38.6% 提升至 52.9%。
- 仅上下文 TTA 将基础值提升至 48.1%，而仅策略 TTA 仅达到 40.0%。
- 在**类别共享应用（Category-Shared Apps）**中（即可以检索到源工作流的情景），CoAdapt-GUI 达到了 70.4%。
- 在**类别全新应用（Category-Novel Apps）**中（无可用源工作流的情景），CoAdapt-GUI 仍将成功率从 29.4%（基础）提升至 34.3%，证明了即使没有源先验，目标端接地适配依然有效。

意义与主张
论文声称，受限迁移的工作流上下文为新应用泛化提供了实质性收益，并且联合适配策略能进一步提高留出性能。结果表明：

工作流适配至关重要： 仅适配工作流上下文（仅上下文 TTA）相比于静态迁移或仅策略更新，在处理新任务类型时能产生显著改进。
联合适配的协同效应： 结合上下文与策略适配（CoAdapt-GUI）实现了最佳的整体性能，表明这两个状态是不同但互补的泛化通道。
对源偏移的鲁棒性： 该框架通过从零开始构建目标端接地知识，有效地处理了源工作流不可用的情况（类别全新应用）。

作者强调，通过使用不相交的源与目标池、将更新限制在适配拆分集内以及在评估前冻结状态，其方法避免了信息泄漏。他们总结道，CoAdapt-GUI 为部署能够利用有限交互预算自主适配未见应用的 GUI 智能体提供了一条可行路径。

技术摘要：CoAdapt-GUI

类似论文