Automating SKILL.md Generation for Computer-Using Agents via Interaction Trajectory Mining

技术摘要：通过交互轨迹挖掘实现面向计算机使用智能体（CUA）的 SKILL.md 自动生成

问题陈述
计算机使用智能体（Computer-Using Agents, CUAs）通过原始动作（点击、输入、滚动）在图形用户界面（GUI）上进行操作。随着这些智能体从单步任务向复杂工作流演进，重复出现的模式可以被封装为“技能（skills）”——即位于原始动作之上、完整任务规划之下的命名过程。虽然显式的技能库（此处称为 SKILL.md 文件）有助于检查和调试，但它们通常需要手工编写，这在界面演进过程中造成了命名、作用域界定和更新方面的瓶颈。

这项工作的核心问题是：是否可以从交互轨迹中自动挖掘显式技能库，以提升下游智能体的策略性能。作者区分了“发现连贯动作簇的能力”与“将这些簇转化为适用于新任务的有效策略的能力”。他们指出，一个簇即使是连贯的，也未必是有用的，且策略的提升可能源于数据量的增加，而非获得了可迁移的技能词汇。

方法论
论文提出了一个三阶段流水线，用于从 InteraSkill (IW) 数据集中挖掘技能并评估其效用：

1. 第一阶段：轨迹分割（边界检测）

   • 流水线根据“动作跳变（action jumps）”对轨迹进行分割。它计算相邻动作向量之间的欧几里得距离（$\Delta a_t = \|a_t - a_{t-1}\|_2$）。
   • 在留出的 IW 数据上选择阈值 $\theta$，以最大化边界 F1 分数。如果 $\Delta a_t > \theta$，则标记一个边界。
   • 动作向量由 15 个归一化特征组成（原始动作 one-hot、屏幕坐标、时间戳、文本长度、滚动量），但不包含 DOM 或截图数据。

2. 第二阶段：技能嵌入（库构建）

   • 片段表示（Segment Representation）： 每个片段通过其动作向量的均值 ($\mu$) 和对角方差 ($\Sigma$) 以“动作袋（bag-of-actions）”的形式进行总结。这种表示具有长度不变性，但丢弃了顺序信息（例如，先点击后输入 vs. 先输入后点击）。
   • 聚类： 使用平方 Bures 距离（对角高斯分布下 2-Wasserstein 距离的一个特例）在均值/方差剖面之间对片段进行聚类。采用凝聚聚类法，设定 $k=8$ 到 $16$。
   • 精炼： 使用监督对比编码器（MLP）进行训练，利用聚类分配作为伪标签。该过程精炼了嵌入，将 30 维输入映射到 16 维潜空间。

3. 第三阶段：技能感知策略训练

   • 挖掘出的技能标签被用于训练技能序列组合策略（即在给定任务上下文的情况下预测下一个技能标签）。
   • 基准模型（Baselines）： 简单的 MLP 和 Transformer 模型消耗学习到的片段嵌入。
   • 主策略： 使用组相对策略优化（GRPO）从基础模型开始训练 Qwen3-8B。奖励模型对完整的技能感知响应进行评分，并在没有监督热启动的情况下更新策略。
   • 评估： 主要指标是技能步准确率（skill-step accuracy）和留出基准测试（WebArena, BrowseComp+）上的精确序列匹配。IW 作为源领域。

核心贡献

1. 自动化技能挖掘流水线： 作者提出了一个可复现的流水线，用于分割 GUI 轨迹、将其聚类为候选技能，并生成 SKILL.md 风格的产物。
2. 迁移能力的诊断性评估： 研究严谨地评估了挖掘出的技能是否能提升下游策略性能，并将学习到的模型与零样本基准和平凡统计先验进行了比较。
3. 负面结果与局限性： 论文报告称，虽然挖掘出的结构在源域中具有可读性，但目前的流水线无法产生可靠的跨领域策略改进。

结果

• 源域可读性： 在源 IW 基准测试上，挖掘出的簇具有高度可读性。八个簇中有五个达到了 $\ge 0.95$ 的地面真值（ground-truth）IW 技能纯度（例如 document_edit、data_transfer）。对比编码器将归一化互信息（NMI）从 0.65（Wasserstein 基准）提升至 0.86。
• 较差的迁移性能：
  • GRPO 表现： 使用挖掘技能通过 GRPO 训练 Qwen3-8B，在源域上仅获得边际收益（IW 技能步准确率从 18.5% 提升至 20.5%），并在留出领域表现下降或保持不变（WebArena 从 55.8% 下降至 44.2%；BrowseComp+ 维持在 ~43.3%）。
  • 基准模型失败： 一个平凡的频率基准（Frequency baseline）（预测最常见的下一个技能）在 IW 技能步准确率上优于学习到的 MLP 和经过 GRPO 训练的策略（34.9% 对比 23.3% 和 20.5%）。
  • 编辑距离： 在所有数据规模下，自动生成的 SKILL.md 文件比频率基准具有更高的归一化编辑距离，未能击败最简单的统计先验。
• 边界检测问题： 动作跳变启发式算法过度分割了技能（低精确度）且在领域间不稳定。将 IW 派生的阈值应用于 WebArena 时，F1 分数大幅下降（0.119），表明边界信号无法迁移。
• 表示局限性： “动作袋”表示（均值/方差）丢弃了顺序信息，而顺序对于 GUI 技能至关重要（例如，先复制再粘贴）。这可能是导致策略无法学习复杂组合规则的原因。

意义与主张
作者明确将这项工作定位为一项诊断性研究，而非成功案例的宣称。其意义在于阐明了当前轨迹挖掘方法的局限性：

• 可检查性 vs. 效用： 轨迹挖掘可以揭示源域中可检查的技能结构，但可读性并不意味着可迁移性。
• 流水线不足： 当前结合了 $\ell_2$ 边界检测器、无序片段表示和离线奖励模型的组合，不足以实现可靠的跨领域策略提升。
• 需要更强的控制变量： 论文认为，未来的技能发现工作必须与频率和转移先验进行比较，以确保改进并非仅仅是数据集不平衡或输出格式适配的产物。
• 无跨领域增益： 研究发现，目前的学习组件在跨领域设置下无法超越平凡基准或人工设计。

论文得出结论，虽然挖掘出的技能可以作为有用的可检查结构和奖励模型的训练信号，但它们尚不足以成为构建鲁棒计算机使用智能体的可靠替代方案，无法取代统计基准或人工设计。