技术摘要：面向 GUI 智能体的长度感知对比学习 (LACL-GUI)

1. 问题陈述

由多模态大语言模型 (MLLM) 驱动的图形用户界面 (GUI) 智能体旨在实现跨多种数字环境的任务自动化。虽然带有可验证奖励的强化学习 (RLVR) 已成为一种主流训练范式，但现有方法在优化效率和稳定性方面面临显著局限。

具体而言，广泛使用的算法如组相对策略优化 (GRPO) 存在奖励-梯度失配 (reward–gradient misalignment) 问题。近期的理论分析（例如 Zhai 等人，2026）指出了 GRPO 中的两种梯度病态现象：

1. 正向样本中的梯度分配错误： 成功轨迹中的高概率 token 接收到不成比例的大规模更新，而同一成功轨迹中的低概率 token 则接收到微弱的梯度。
2. 负向样本中的梯度主导： 梯度量级过度集中在极少数高概率的负向 token 上，导致它们主导了整个优化过程。

为了缓解这些问题，近期的研究工作（例如 REAL, CLIPO）将 RLVR 重新表述为对比式或基于分类的目标函数。然而，这些方法通常依赖于结果级监督（二元成功/失败标签）。这种粗粒度的方法将同一结果类别下的所有轨迹视为等同，未能捕捉到以下方面的细粒度差异：

• 效率： 成功的轨迹在长度和冗余度上可能存在显著差异。
• 失败质量： 失败的轨迹在接近任务完成的程度方面也存在差异（例如，是早期偏离还是后期偏离）。

本文解决的核心挑战在于：如何在不损害分类目标所提供的优化稳定性的前提下，将轨迹级质量信号（特别是长度和偏差）引入对比式 RLVR 框架中。

2. 方法论：LACL-GUI

作者提出了面向 GUI 智能体的长度感知对比学习 (LACL-GUI)，该框架在保持底层成功-失败决策边界的同时，在成功和失败轨迹组内引入了结构化偏好。

2.1 架构

LACL-GUI 采用了一个异步训练架构，由四个模块组成：

• 采样服务 (Rollout Service)： 并行地从多个 GUI 环境中收集轨迹。
• 数据管理器 (Data Manager)： 过滤轨迹组，丢弃那些所有样本具有相同结果（全成功或全失败）的组，以确保判别性监督。
• 成功缓冲区 (Success Buffer)： 维护一个成功轨迹库，用于作为偏差估计的参考样本，并在当前采样产生较少成功案例时增强训练。
• 训练器 (Trainer)： 使用过滤后的轨迹组异步优化策略，实现数据收集与策略更新的解耦。

2.2 LACL-GUI 目标函数

基于将 RLVR 表述为使用对比损失的二元分类问题的 REAL (Rewards as Labels) 目标，LACL-GUI 通过引入逻辑值扰动 (logit perturbations) 来编码细粒度偏好。

正向组扰动（效率偏好）

对于成功轨迹 ($T^+$)，框架鼓励简洁的执行。它根据当前逻辑值计算加权平均轨迹长度 ($\mu_w$)，并按如下方式扰动逻辑值 ($\tilde{s}_\theta$)：
$$\tilde{s}_\theta(\tau^j) = \bar{s}_\theta(\tau^j) + \epsilon (|\tau^j| - \mu_w)$$
其中 $\epsilon$ 是扰动系数。这种调整在不改变二元成功标签的情况下，降低了较长成功轨迹（可能包含冗余动作）的权重，并提高了较短轨迹的权重。

负向组扰动（偏差感知精炼）

对于失败轨迹 ($T^-$)，框架区分了“有信息量的”近成功失败案例与根本性的错误尝试。

1. 参考选择： 选择一个参考成功轨迹 ($\tau^+_{ref}$）（通常是从缓冲区或当前批次中选出的最短成功轨迹）。
2. 偏差估计： 系统通过结构相似性指数 (SSIM) 将失败轨迹与参考轨迹进行逐步对比，以识别偏差长度 ($d_j$)，定义为轨迹偏离成功路径之前的步数。
3. 错误严重程度： 计算错误步数为 $E_j = |\tau^j| - d_j + 1$。
4. 逻辑值扰动： 与正向组类似，逻辑值根据错误步数与加权平均值 ($\mu_e$) 的偏差进行扰动：
   $$\hat{s}_\theta(\tau^j) = \bar{s}_\theta(\tau^j) + \epsilon (E_j - \mu_e)$$
   这导致对于早期偏离的失败案例（高 $E_j$）施加更强的抑制，而对于能长时间保持与成功路径一致的失败案例（低 $E_j$）则施加较轻的惩罚。

2.3 理论特性

作者证明了一个一阶不变定理 (First-Order Invariance Theorem)，表明 LACL-GUI 满足：
$$L_{LACL-GUI} = L_{REAL} + O(\epsilon^2)$$
这表明所提出的扰动保留了原始 REAL 方法的一阶优化目标。因此，该框架在不改变基本的成功-失败分类边界的情况下，精炼了结果组内的梯度分配和局部优化几何结构，从而确保了稳定性。

3. 核心贡献

1. 对比式 RLVR 中的轨迹级监督： 本文引入了一种新机制，将细粒度质量信号（长度和偏差）整合进对比式 RLVR 中，解决了现有方法对组内轨迹差异“盲目”的问题。
2. 结构化偏好建模： 提出了针对成功（长度感知）和失败（偏差感知）轨迹的具体逻辑值扰动策略，鼓励高效执行并区分有信息量的失败。
3. 稳定的优化框架： 通过使用零均值逻辑值调制和对组统计量的梯度停止操作，该方法在实现细粒度引导的同时，保持了基于分类目标的梯度安全性和稳定性。
4. 异步训练基础设施： 实现方案包括一个带有成功缓冲区和轨迹过滤机制的解耦架构，专门用于处理 GUI 任务中稀疏奖励和长程依赖的特性。

4. 实验结果

作者在 OSWorld 基准测试上使用 Qwen3-VL-Thinking 模型（4B 和 8B 参数）作为骨干网络对 LACL-GUI 进行了评估。

• 整体性能： LACL-GUI-8B 实现了 50.0% 的总体任务成功率，优于基础 Qwen3-VL-8B-Thinking 模型 (+7.3%)、GRPO 基线 (+2.8%) 以及 REAL 基线 (+2.7%)。
• 与 SOTA 对比： 该模型超越了多个强力的开源和闭源基线，包括 DART-GUI-7B (46.7%) 和 DeepMiner-Mano-7B (47.9%)。
• 效率提升： 在针对所有方法均达到相同结果的任务进行的消融研究中，LACL-GUI 将成功轨迹的平均长度缩短了 10.3%（从 REAL 的 9.13 步降至 8.19 步），并将失败轨迹的平均长度缩短了 10.5%。
• 鲁棒性： 敏感性分析显示，该方法在用于偏差估计的不同相似性阈值 ($\Theta$) 下均能保持稳定的性能，表明失败案例的相对排序对参数变化具有鲁棒性。

5. 意义与主张

本文主张 LACL-GUI 展示了在对比式 RLVR 框架中使用轨迹级监督的价值。通过超越二元结果标签，该方法提供了更具信息量的学习信号，引导智能体实现更高效的执行，并帮助它们从“差一点就成功”的失败案例中学习。

作者强调，其方法不需要额外的模型或特定任务的监督（不同于基于里程碑的奖励），而是直接从统一的对比框架内的交互数据中提取质量信号。结果表明，基于轨迹质量精炼梯度分配是提高 GUI 智能体训练稳定性与效率的一条可行路径，特别是在奖励稀疏且时程较长的环境中。