技术摘要：Darwin Mobile Agent

1. 问题陈述

本文探讨了创建一个能够在开放式环境中表现出通用、自适应行为的人工智能智能体所面临的挑战。受“苦涩教训”（Sutton, 2019）的启发，作者认为，有效的进步需要系统性地移除人类先验，并允许智能通过与一个比智能体自身复杂得多的“大世界”（Big World）进行交互而涌现。

目前的移动智能体研究面临两个主要瓶颈：

1. 世界（The World）： 现有的基准测试（如 Atari）是静态的，无法反映现实世界的非平稳性和部分可观测性。物理机器人受限于具身性，而目前的移动模拟器通常依赖于不稳定的模拟器或静态 XML 状态。
2. 智能体学习框架（The Agent Learning Framework）： 维持自主学习需要一个能够处理持续交互、任务演进和状态管理，且不依赖于固定的人类设计课程或验证机制的框架。

本文认为，移动图形用户界面（Mobile GUI）可以作为“大世界”的一个实用代理，它提供了一个数字化的、非平稳的环境，拥有近乎无限的可组合任务，同时对于大语言模型（LLM）而言，无需物理约束即可触达。

2. 方法论

2.1 Darwin Mobile Agent 基础设施

作者介绍了 Darwin Mobile Agent，这是一个开源基础设施，旨在支持移动 GUI 中的自主强化学习（RL）。该系统构建在 GiGPO 和 VERL 框架之上，采用模块化架构，将智能体（内部决策）与工作流（交互逻辑）分离。

核心架构组件：

• 异步云原生环境： 为了克服数据收集的瓶颈，系统利用了一组通过 Android Debug Bridge (ADB) 控制的云托管 Android 实例集群。与同步向量化（会在最慢的设备上停滞）不同，Darwin 采用了异步展开聚合器（asynchronous rollout aggregator）。工作节点会立即将完成的步骤推送到中央队列，使学习器只要达到最小批次大小即可消费数据，从而实现推理与环境延迟的解耦。
• 状态管理： 考虑到移动环境是非平稳的且无法完美重置，环境执行的是最小化清理（返回主屏幕）而非全系统重新刷机。为了管理持久状态和副作用，系统实现了一个包含三个阶段的任务生命周期协议：设置（Setup）、执行（Execution）和拆卸（Teardown）。智能体负责建立前置条件并恢复环境，从而将状态管理内化。
• 智能体学习循环： 该框架使用带有广义优势估计（GAE）的近端策略优化（PPO）。它将原子转换 $(o_t, a_t, r_t)$ 视为基本数据单元，仅在轨迹完全完成后才进行重建，以避免因截断导致的价值估计偏差。

2.2 概念路线图：移除人类先验

论文提出了一个三阶段路线图，旨在通过三个维度系统性地用学习到的等效物取代人类设计的组件：

1. 任务课程（Task Curriculum）： 从人类设计的任务集 $\rightarrow$ 外部模型选择 $\rightarrow$ 智能体元学习以管理自身的课程。
2. 结果验证（Outcome Verification）： 从程序化状态检查（在开放 GUI 中无法实现）$\rightarrow$ 外部 LLM 评判 $\rightarrow$ 智能体学习验证自身结果。
3. 智能体状态（记忆/Memory）： 从固定启发式方法（如滑动窗口）$\rightarrow$ 外部 LLM 记忆管理器 $\rightarrow$ 智能体自主提炼并管理自身的状态表示。

当前实现状态： 报告的实验运行在该路线图的第一阶段，即利用人工策划的任务、用于验证的外部 LLM 评判以及用于状态管理的配置化情节缓冲区（episodic buffer）。

3. 核心贡献

1. Darwin Mobile Agent 框架： 首个用于通过强化学习训练移动 GUI 智能体的端到端开源系统，其特点是具有可扩展的异步架构，弥合了缓慢的移动交互与高吞吐量推理之间的鸿沟。
2. 可扩展异步架构： 一种新颖的设计，通过将环境工作节点与策略推理解耦，消除了移动领域中同步 RL 带来的空闲时间，实现了大规模并行化。
3. 任务生命周期协议： 一种允许智能体处理包含设置和拆卸阶段的复杂长程工作流的机制，解决了移动生态系统中固有的非平稳性和持久性问题。
4. 自我进化路线图： 一个概念性框架，定义了如何从依赖人类先验的智能体过渡到真正的自我进化智能体，通过内化课程、验证和记忆来实现。

4. 实验结果

作者使用 SPA-Bench 中八个任务的子集对 UI-TARS-7B 基座模型进行了基础设施验证。

• 奖励信号校准： 将基于 LLM 的评判器与人类标签在 296 条轨迹上进行了验证，实现了 0.91（英文）和 0.85（中文）的 F1 分数，证实了其作为奖励信号的可靠性。
• 策略优化稳定性： 系统在训练步骤中表现出平均成功率的持续提升，为移动 GUI 中的 RL 建立了稳定的基准。
• 分布式可扩展性： 将并发云手机数量从 8 台扩展到 32 台的结果表明，尽管存在增加的离策（off-policy）数据漂移，系统仍能保持收敛。吞吐量从 8 台提升至 16 台，但在 32 台时达到饱和，其瓶颈在于模型推理而非环境延迟。系统还展示了对网络中断的韧性。
• 水平可扩展性： 随着任务数量（8 到 16 个）和硬件资源（16 到 32 台手机）的同步增加，收敛率保持相似，这表明该框架支持通过扩展资源来管理复杂度的“大世界”训练。
• 任务生命周期： 系统成功管理了自动化设置和拆卸阶段，且未出现性能下降，智能体在这些辅助阶段也展现出了学习趋势。
• 评论家（Critic）鲁棒性： 实验表明，随机初始化 Critic 会导致策略崩溃。为了保证稳定性，需要一个“预热”阶段或经过校准的初始化（偏置 = 0.1）。此外，将截断的轨迹视为终止状态（价值 = 0）比从可能不准确的 Critic 进行自助法（bootstrapping）更为稳定。

5. 重要性与声明

本文声称建立了向真正的自主、自我进化 GUI 智能体迈进所需的实践与理论基础。

• 基础设施： 它证明了构建一个稳定、可扩展、异步的流水线在移动端 RL 中是可行的，克服了此前阻碍该领域进展的数据收集瓶颈。
• 方法论转变： 通过将移动 GUI 视为一个“大世界”并提出移除人类先验的路线图，这项工作将范式从静态基准测试转向了持续的、自主的能力扩张。
• 谦逊态度： 作者明确指出，目前的实现仅代表其提出的路线图中的第一阶段。虽然该基础设施已通过策略优化得到了验证，但实现能够自主进化其课程、验证和记忆的智能体仍是一个未来的目标。这项工作提供了追求这一目标的必要“解剖结构”和“环境”，但尚未声称已经实现了完全的自我进化。