CGL: Advancing Continual GUI Learning via Reinforcement Fine-Tuning

本文提出了名为 CGL 的持续 GUI 学习框架，通过基于策略熵动态调整监督微调与强化学习的比例，并采用将 SFT 梯度投影到 GRPO 锚点梯度上的梯度手术策略，有效解决了 GUI 智能体在适应新任务时遗忘旧知识的难题，同时发布了 AndroidControl-CL 基准以评估该性能。

要点

这篇论文主要解决了一个非常现实的问题：如何让一个“手机操作机器人”（GUI Agent）在不断学习新软件、新任务的同时，不会把以前学过的本事给忘了。

想象一下，你正在训练一个超级聪明的机器人助手，帮你在手机上点外卖、查邮件、订机票。

1. 遇到的难题：学新忘旧

现在的手机 App 更新换代太快了。今天学的是“淘宝”怎么买东西，明天就要学“微信”怎么发红包，后天又要学“钉钉”怎么开会。

• 传统方法 A（SFT，监督微调）： 就像死记硬背。老师直接告诉机器人：“在这个界面，点这个按钮”。机器人学得非常快，马上就能上手新任务。但是，它有个大毛病：脑子容易“ overwritten"（被覆盖）。为了记住新任务，它把旧任务的记忆全擦掉了。就像你为了背新的英语单词，把以前背的古诗全忘了。
• 传统方法 B（RL，强化学习）： 就像自己摸索。机器人被扔进新环境，试错，做对了给奖励，做错了没奖励。这种方法很稳，不容易忘旧本事，因为它是在探索规律。但是，学得太慢了，而且如果一开始完全不知道怎么玩，它可能永远找不到正确的路，一直在原地打转。

论文的核心发现： 这两种方法单独用都有缺陷。SFT 学得快但忘得快；RL 忘得慢但学得慢。

2. 解决方案：CGL 框架（给机器人装个“智能大脑”）

作者提出了一个叫 CGL 的新框架，它的核心思想是：让“死记硬背”和“自己摸索”完美配合，互相补台。

为了做到这一点，他们用了三个绝招（用生活中的例子来解释）：

绝招一：错误感知路由（Error-Aware Routing）—— “迷路时立刻看地图”

• 场景： 机器人面对一个全新的 App（比如第一次用“小红书”），它完全不知道点哪里。如果让它自己瞎试（RL），它可能试了一万次都点错，效率极低。
• 做法： 系统会盯着机器人。如果它发现机器人试了好几次都找不到路（奖励太低），系统就会立刻介入，直接给它看正确答案（SFT 演示），告诉它：“别瞎试了，点这儿！”
• 比喻： 就像你开车去陌生地方，如果导航（RL）让你绕了半小时还没到，你直接打开地图软件（SFT）看正确路线，快速纠正方向。

绝招二：熵调节微调（Entropy-Regulated Tuning）—— “先撒野，后收心”

• 场景： 机器人刚学新任务时，需要大胆尝试（高不确定性/高熵）；学稳了之后，需要精准执行（低不确定性/低熵）。
• 做法： 作者设计了一个动态开关（$\lambda$）。
  • 刚开始（热身期）： 机器人很迷茫，系统就加大“死记硬背”的权重，强行把它的注意力拉回到正确动作上，打破它错误的习惯。
  • 后期（收敛期）： 机器人已经有点感觉了，系统就慢慢减少“死记硬背”的权重，让它主要靠“自己摸索”（RL）来巩固，这样就不会把旧的记忆覆盖掉。
• 比喻： 就像教小孩学骑车。刚开始他摇摇晃晃，你得紧紧扶着（SFT 介入）；等他平衡感好了，你就慢慢松手（减少 SFT），让他自己骑（RL），这样他既学会了新技能，又不会忘记怎么保持平衡。

绝招三：梯度手术（Gradient Surgery）—— “给大脑做微创手术”

• 场景： 当机器人同时学习“新任务”和“复习旧任务”时，大脑里的指令可能会打架。比如，学新任务时，大脑想往左转；但复习旧任务时，大脑想往右转。两个力一抵消，机器人就傻了，或者把旧知识弄坏了。
• 做法： 作者发明了一种“手术刀”。当发现新任务的指令（梯度）和旧任务的指令方向相反（打架）时，手术刀会把新指令里冲突的那部分切掉，只保留不冲突的部分。
• 比喻： 就像你在写文章。你想加一段新内容（新任务），但这会破坏你原本精彩的段落（旧任务）。编辑（手术刀）会帮你把新内容里破坏原意的那几句删掉，只保留能锦上添花的部分，这样文章既更新了，又没变味。

3. 新工具：AndroidControl-CL 基准

为了测试这个方法好不好用，作者还造了一个专门的“考场”（Benchmark）。

• 以前的考试题目太单一，或者太简单。
• 这个新考场把 App 分成了 7 大类（购物、办公、社交、出行等），像闯关一样，让机器人一个接一个地学。
• 结果： 在这个考场上，他们的 CGL 方法不仅学新任务快，而且几乎完全没忘以前的本事（遗忘率接近 0），比目前最厉害的其他方法都要好。

总结

这篇论文就像是在教一个超级机器人如何“终身学习”。

它不再强迫机器人在“学得快”和“记得牢”之间二选一，而是通过智能切换（该看地图时看地图，该自己摸索时自己摸索）和精细手术（切除冲突指令），让机器人既能迅速适应新 App 的更新，又能稳稳地守住老本行。

一句话概括： 这是一个让 AI 助手既能“见多识广”（快速学新），又能“不忘初心”（不忘旧技）的聪明训练法。

技术摘要

这是一篇关于持续图形用户界面（GUI）学习的学术论文总结，标题为《CGL: Advancing Continual GUI Learning via Reinforcement Fine-Tuning》（CGL：通过强化微调推进持续 GUI 学习）。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 背景：基于多模态大语言模型（MLLM）的 GUI 智能体在自动化软件交互方面取得了显著进展。然而，现实世界的 GUI 应用频繁更新，新的应用类别不断涌现。
• 核心挑战：现有的 GUI 智能体缺乏持续学习（Continual Learning, CL）能力。当智能体适应新任务（新应用）时，往往会发生灾难性遗忘（Catastrophic Forgetting），即忘记之前掌握的任务技能。
• 现有方法的局限性：
  • 监督微调 (SFT)：虽然能快速适应新任务（高可塑性），但会导致严重的知识覆盖，遗忘旧任务。
  • 强化学习 (RL，如 GRPO)：在保留旧任务逻辑方面表现出内在的韧性（高稳定性），但在稀疏奖励环境下，适应新任务的速度较慢，且样本效率低。
  • 现状：现有研究通常单独使用 SFT 或 RL，未能有效平衡“适应新任务的效率”与“保留旧任务技能”之间的矛盾。

2. 核心方法论 (Methodology)

作者提出了 CGL (Continual GUI Learning) 框架，旨在通过动态平衡 SFT 和 RL（具体为 GRPO）来协同工作。该框架包含三个核心模块：

A. 错误感知路由 (Error-Aware Routing)

• 目的：解决 RL 在探索初期因奖励稀疏而陷入无效探索的问题。
• 机制：
  • 系统监控 RL 探索产生的轨迹。如果所有采样轨迹的奖励都未达到理想满分（即模型无法自主发现正确路径），则判定为“病理偏差”。
  • 此时，系统动态路由到监督微调 (SFT) 模式，利用真实标注的演示数据（Ground Truth）进行校正，注入必要的知识。
  • 一旦 RL 能够找到成功路径，则主要依赖 RL 进行优化。

B. 熵调节微调 (Entropy-Regulated Tuning)

• 目的：动态控制 SFT 和 RL 之间的权重分配，以管理“探索 - 利用”的权衡。
• 机制：
  • 引入策略熵（Policy Entropy, $H$）作为不确定性指标。
  • 阶段一（熵注入/热身）：当模型对新任务表现出病态偏差（熵过低或集中在错误动作）时，线性增加 SFT 的权重 $\lambda$，强制模型“加热”分布，打破局部最优，注入新行为。
  • 阶段二（熵衰减/收敛）：当任务基本掌握后，随着熵的降低，指数级衰减 SFT 权重 $\lambda$，让 GRPO 主导优化，确保策略收敛并稳定保留知识。
  • 公式：$L = L_{GRPO} + \lambda(H, step) \cdot L_{SFT}$。

C. 条件梯度手术 (Conditional Gradient Surgery)

• 目的：解决 SFT 和 GRPO 在参数更新方向上的冲突，防止梯度干扰导致的遗忘。
• 机制：
  • 冲突检测：计算 SFT 梯度与 GRPO 梯度的余弦相似度。如果夹角大于 90 度（余弦值 < 0），则判定为冲突。
  • 正交投影：当检测到冲突时，将 SFT 梯度投影到与 GRPO 梯度正交的子空间上，剔除与 GRPO 方向相反的分量。
  • 效果：仅保留对 GRPO 目标无害（正交或对齐）的 SFT 更新分量，从而在不破坏旧任务逻辑的前提下学习新任务。

3. 基准测试 (Benchmark)

• AndroidControl-CL：作者构建了一个新的持续学习基准。
  • 来源：基于 AndroidControl 数据集扩展。
  • 结构：将应用按功能分为 7 个大类（购物、生产力、通讯、旅行、系统工具、教育、生活娱乐），划分为 7 个连续的任务组。
  • 特点：模拟了真实的软件版本迭代和应用领域迁移，提供了细粒度的边界框标注（而非仅有点坐标），更贴合实际交互。

4. 实验结果 (Results)

在 QwenVL2.5-3b 和 LLaVA-OneVision-0.5b 两个模型上进行了广泛实验，对比了 SFT、GRPO、RIF-RFT 等基线方法。

• 性能表现：
  • 准确率：CGL 在平均步级准确率（Step-Acc）和轨迹级准确率（Trajectory-Acc）上均达到了 SOTA。例如，在 QwenVL2.5-3b 上，CGL 达到了 82.33% 的步级准确率，优于纯 SFT (76.90%) 和纯 GRPO (81.53%)。
  • 抗遗忘能力：CGL 的遗忘度量（Forgetting Measure, FM）极低，甚至接近零（-0.02）或在某些任务顺序下为正值（+0.13，意味着学习新任务反而提升了旧任务性能，即正向迁移）。相比之下，纯 SFT 的遗忘严重（FM 约为 -5.73）。
• 鲁棒性：在三种不同的任务顺序（Task Orders）下，CGL 均保持了稳定的高性能，证明了其泛化能力。
• 消融实验：验证了错误感知路由、熵调节和梯度手术三个模块各自及协同工作的有效性。

5. 主要贡献 (Key Contributions)

1. 洞察：揭示了 SFT 容易导致知识覆盖，而 RL（GRPO）具有内在的抗遗忘韧性，但两者结合需要精细的平衡机制。
2. 框架：提出了 CGL 框架，通过熵引导的 SFT 平衡和梯度手术，有效解决了 GUI 持续学习中的稳定性与可塑性权衡问题。
3. 基准：发布了 AndroidControl-CL 基准，填补了 GUI 领域缺乏标准化持续学习评估平台的空白。
4. 实证：证明了该方法在跨领域适应速度和缓解灾难性遗忘方面显著优于现有最先进方法。

6. 意义与影响 (Significance)

• 理论价值：深入分析了 SFT 和 RL 在持续学习场景下的互补机制，提出了基于熵动态调节和梯度投影的数学解决方案。
• 应用价值：为构建能够长期适应不断变化的移动应用生态的 AI 智能体提供了可行的技术路径。这使得智能体能够在不遗忘旧技能的情况下，持续学习新的 App 操作逻辑，对于提升人机交互的自动化水平具有重要意义。
• 资源开放：论文承诺公开基准数据、代码和模型，推动了该领域的进一步发展。

总结：CGL 通过巧妙结合监督微调的“快”和强化学习的“稳”，并辅以动态权重调整和梯度冲突解决机制，成功解决了 GUI 智能体在持续学习中的核心痛点，实现了高效适应与知识保留的双重目标。