🤖 AI

AliyunConsoleAgent: Training Web Agents in Real-World Cloud Environments via Distillation and Reinforcement Learning

本文介绍了 AliyunConsoleAgent，这是一个具有成本效益的网络智能体框架，它通过结合在蒸馏轨迹上的监督微调以及在真实环境中结合鲁棒奖励机制的强化学习的双阶段训练范式，在验证云控制台文档方面达到了接近最先进的性能。

原作者： Bojie Rong, Zheyu Shen, Qiaoping Wang, Pengfei Kang, Yang Xu, Yawen Wei, Hanyu Wu, Zhi Zhao, Leihao Pei, Linquan Jiang

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Bojie Rong, Zheyu Shen, Qiaoping Wang, Pengfei Kang, Yang Xu, Yawen Wei, Hanyu Wu, Zhi Zhao, Leihao Pei, Linquan Jiang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位规模宏大、时刻在变化的游乐园（云控制台）的经理。每天，公园都会增加新的游乐设施、更换售票亭并更新安全规则。与此同时，编写指南手册（文档）的是另一个团队，他们更新速度较慢，且主要靠人工手动完成。

问题所在：
由于公园变化极快，指南手册很快就会过时。书中的某一步骤可能会说“点击蓝色按钮”，但在实际的公园里，这个按钮现在变成了红色，或者已经被触摸屏取代了。
逐一检查指南手册中的每一条指令是否与真实的公园相符是一场噩 quite 噩梦。这需要人类团队每年花费数百万小时，而目前他们只能检查约 1% 的指令。如果他们不进行检查，顾客就会迷路并感到沮丧。

旧方案（以及它为何失败）：
公司曾尝试雇佣“超级智能机器人”（前沿专有模型）。这些机器人极其聪明，能够阅读指南手册并在公园中完美导航。然而，它们成本极高（就像为每一次检查都聘请一支博士团队），而且存在风险（你必须向它们展示私密的公园地图，这违反了安全规则）。你无法负担为完成数百万次检查所需的成本。

新方案：AliyunConsoleAgent
作者开发了他们自己的“可训练机器人”（一个拥有 320 亿参数的 AI 模型），它运行起来更便宜，也更安全，可以在他们自己的服务器上运行。但标准的机器人并不足够聪明，无法处理变化多端的游乐园。因此，他们使用了两步训练法：

1. “影子阶段”（监督微调）

首先，他们让超级智能机器人担任新机器人的影子。

类比： 想象一位大师级厨师（超级机器人）正在烹饪一道复杂的菜肴。新机器人通过观察大师，记住了每一次切菜、搅拌和调味的步骤。
结果： 新机器人学会了在公园中导航的基础知识并遵循指令。它变得相当出色，但它仅仅是在模仿。如果公园发生了轻微变化，它会感到困惑，因为它并不真正“理解”目标，它只是在记忆步骤。

2. “试错阶段”（强化学习）

接下来，他们让机器人在一个模拟版本的公园中通过实践来学习。

挑战： 在真实的云环境中，机器人的失败往往不是因为笨，而是因为“公园”还没准备好。例如，它试图删除一台服务器，但该服务器尚未创建。如果机器人因此受到惩罚，它会学到错误的教训（认为自己不擅长删除服务器），而不是正确的教训（它应该先构建服务器）。
解决方法（高确定性展开）： 团队使用 Terraform（一种像搭乐高一样构建基础设施的工具）构建了一个特殊的“训练场”。在机器人尝试执行任务之前，该系统会自动构建精确的前置条件（例如构建服务器、设置网络），以便机器人只要做出正确的动作就能成功。
奖励机制： 他们没有使用人类来给机器人评分，而是使用了一个双通道裁判：
1. 规则检查器： 它查看官方的“审计日志”（相当于公园的安全监控录像），查看操作是否真的发生了。服务器是否被删除了？是/否。这是 100% 客观的。
2. 专家评审团： 如果没有明确的日志，两个其他的 AI 模型会充当裁判。只有当两者都认为机器人成功时，才会给出“通过”的判定。这防止了机器人通过“作弊”或欺骗单个裁判来获益。

结果

经过这种训练，机器人从一个盲目跟随者进化成了一个自主问题解决者。

之前： 如果指南说“关闭自动续费”，但开关已经是关闭状态，机器人只会停下来并说“我无法执行”。
之后： 机器人会思考：“等等，如果开关已经是关着的，我无法执行‘关闭’操作。我需要先把它‘打开’，然后才能执行‘关闭’，以此证明我确实完成了操作。”它自己悟出了其中的逻辑。

核心结论：

性能： 他们的新机器人（AliyunConsoleAgent-32B）几乎与昂贵的“超级机器人”一样出色（差距仅为 1.8%）。
成本： 运行成本降低了 92%。
影响： 他们利用该系统审计了超过 54,000 条指令，并发现了近 4,400 个真实错误，供产品团队进行修复。

简而言之，他们通过让一个机器人通过“影子”学习天才，并在一个准备完美的“训练场”中通过实践纠正错误（而不受控于自身之外因素的惩罚），从而教会了一个本地化、低成本的机器人如何像天才一样思考。

技术摘要：AliyunConsoleAgent

1. 问题陈述

云平台面临着结构性的“文档漂移”问题，即用户界面（UI）元素在短发布周期内快速演进，而配套文档仍由人工维护。这种差异导致操作流程不再与实时控制台保持一致。验证文档是否准确反映当前状态，预计每年需要进行 400 万次重复检查，然而人工覆盖率仍低于 1%。

虽然前沿的专有模型可以实现这种“以执行作为验证”的任务自动化，但其大规模部署受到以下因素的阻碍：

成本高昂： 高昂的单次调用推理成本阻碍了全覆盖审计。
数据隐私： 将敏感的云元数据传输到外部服务会带来合规风险。
环境噪声： 现实世界的云任务具有极强的资源依赖性（例如特定的 ECS 实例类型）。如果没有适当的预置准备，环境故障（缺失资源）将与智能体错误无法区分，从而污染奖励信号并阻碍强化学习（RL）的收敛。

2. 方法论

作者提出了 AliyunConsoleAgent，这是一个在高确定性回放（rollout）环境中利用两阶段训练范式（监督微调 + 强化学习）的框架。

A. 高确定性回放环境

为了将环境噪声从训练信号中分离出来，作者构建了一个四层架构：

账号池管理： 维护隔离的测试账号，并进行自动化的凭证轮转，以防止跨任务干扰。
沙箱执行： 使用容器化环境（阿里云 ACK）实现任务级隔离。
资源 META 离线预置： 对于每份文档，一个“资源 META”元组定义了依赖关系。通过流水线（ResourceCoder）生成 Terraform 模板，从零开始预置必要的资源（VPC、实例等），并采用随机命名，确保跨账号的可移植性。
运行时按需预置： 一个基于 LLM 的智能体（ResourceCoder）会在智能体遇到意外阻碍（例如资源列表为空）时动态预置缺失资源，并将结构化报告注入回上下文。

该系统解决了速度与准确性的权衡问题，实现了并行执行与近乎完美的资源就绪状态，将成功率从约 34%（朴素基准）提升至约 84%。

B. 训练范式

该模型（基于 Qwen3-VL-32B）经历两个阶段：

监督微调 (SFT)：
- 数据构建： 将从前沿模型中蒸馏出的轨迹（经过成功率和步骤质量过滤）与自主自我探索数据（CRUD 任务）相结合。
- 格式： 强制执行结构化的 ReAct 范式，要求模型在执行动作前生成显式的“思考（Thought）”轨迹，以评估进度并识别子目标。
强化学习 (GRPO)：
- 算法： 使用组相对策略优化（GRPO）使模型从指令遵循进化到自主决策。
- 双通道结果奖励模型 (ORM)：
  - 通道 1（基于规则）： 查询 ActionTrail（审计日志）以获取确定性的成功标准，提供地面真值（ground-truth）二元奖励。
  - 通道 2（LLM-as-Judge 集成）： 对于缺乏明确 API 事件的任务，使用两个强 LLM 组成的集成模型作为评判者。需要达成共识；若存在分歧，则视为无效标签，以防止奖励作弊（reward hacking）。
- 归一化： 应用两层优势归一化（针对每个任务及全局）来处理异构的任务难度。

3. 核心贡献

高确定性回放环境： 一种结合了基于 Terraform 的预置和 LLM 驱动的按需预置，并结合审计日志验证的新型基础设施。这有效地隔离了环境噪声，实现了在真实生产云环境中的稳定 RL 训练。
高性价比的私有智能体训练： 一个成功的 SFT+GRPO 流水线，产出了一个 32B 参数的模型，其性能接近前沿专有模型，且推理成本降低了 92%。
生产规模的验证： 部署了一个验证框架，审计了 54,000 多个流程，识别出 4,399 个确定的缺陷。训练后的智能体被验证为可以作为前沿模型的隐私合规替代方案。

4. 实验结果

模型在一个具有挑战性的 278 项任务基准测试（76 项标准任务，202 项困难任务）上进行了评估，涵盖 12 种阿里云产品。评估严格通过 ActionTrail 审计日志进行基于规则的验证。

性能：
- Ali云ConsoleAgent-32B (SFT+GRPO) 实现了 63.52% 的平均成功率 (pass@1)。
- 这比基础模型 (43.28%) 提升了 20.24 个百分点 (pp)。
- 它将与最佳前沿模型（Gemini 3 Pro Preview，65.34%）之间的差距缩小到了仅 1.82 pp。统计分析（Bootstrap 95% 置信区间）显示，这一差距在统计学上并不显著（ $p > 0.05$ ）。
成本效率：
- 该私有 32B 模型每个任务的成本约为 0.56 元人民币。
- 与 Gemini 3 Pro Preview（约 7.00 元/任务）相比，成本降低了 92%。
消融实验：
- SFT 相比基础模型贡献了 +13.61 pp。
- GRPO 在 SFT 的基础上额外贡献了 +6.63 pp，且该提升具有统计学显著性。
定性改进：
- 经 RL 训练的模型展示了“前提条件构建”（例如，在禁用某功能前先启用它）和“自适应计划调整”（当记录的步骤失败时切换到替代 UI 路径）的能力，这些能力在仅使用 SFT 的模型中是不具备的。

5. 重要性与主张

论文声称 AliyunConsoleAgent 证明了完全在真实、隐私敏感的云环境中训练高性能 Web 智能体的可行性，而无需依赖昂贵的前沿 API。

弥合差距： 它证明了通过高质量蒸馏和在噪声隔离环境中进行鲁棒 RL 训练，一个 32B 的开源模型可以在复杂的、依赖状态的任务上匹配规模大得多的专有模型。
可扩展性： 所提出的架构使得大规模、周期性的文档验证在经济和技术上都变得可行，解决了维护文档完整性的关键行业需求。
可复现性： 作者开源了评估基准、过滤后的训练数据、回放基础设施代码以及模型训练代码，以支持进一步的研究。

作者承认存在局限性，包括维护静态 Terraform 模板的成本、用于视觉定位的 DOM 解析的脆弱性，以及在高级资源上运行实时验证的基础设施开销。然而，他们断言当前系统提供了一条实现可持续、全规模部署的切实可行且具成本效益的路径。