🤖 AI

OpenMobile: Building Open Mobile Agents with Task and Trajectory Synthesis

OpenMobile 是一个开源框架，通过可扩展的任务合成流水线与结合学习者及专家模型的政策切换轨迹生成策略，构建了高质量指令与轨迹数据，显著提升了基于开源数据的移动智能体在 AndroidWorld 等基准测试中的性能表现。

原作者： Kanzhi Cheng, Zehao Li, Zheng Ma, Nuo Chen, Jialin Cao, Qiushi Sun, Zichen Ding, Fangzhi Xu, Hang Yan, Jiajun Chen, Anh Tuan Luu, Jianbing Zhang, Lewei Lu, Dahua Lin

发布于 2026-04-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kanzhi Cheng, Zehao Li, Zheng Ma, Nuo Chen, Jialin Cao, Qiushi Sun, Zichen Ding, Fangzhi Xu, Hang Yan, Jiajun Chen, Anh Tuan Luu, Jianbing Zhang, Lewei Lu, Dahua Lin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 OpenMobile 的新项目，它的目标是教 AI 像人一样熟练地操作手机。

为了让你更容易理解，我们可以把训练一个“手机操作 AI"想象成培养一个刚入职的“数字实习生”。

1. 现状：为什么现在的 AI 还不够聪明？

目前，很多大公司（如 Google、OpenAI 等）已经训练出了非常聪明的手机操作 AI，它们能在“安卓世界”（AndroidWorld，一个模拟手机操作的考试）里拿到 70% 的高分。

但是，这些大公司的训练数据是保密的（就像他们的“独门秘籍”）。开源社区（大家都能用的免费资源）只能拿到一些公开但质量一般的旧数据，导致训练出来的 AI 就像个只会死记硬背的笨学生，在同样的考试中只能考 30 分，而且遇到稍微复杂点的问题就“死机”了。

核心问题： 我们不知道那些大公司是怎么教 AI 的，所以我们也教不好。

2. OpenMobile 的解决方案：两个“独门秘籍”

OpenMobile 团队决定自己造一套“教材”，而且这套教材是开源的。他们用了两个聪明的策略来教这个“实习生”：

策略一：先“逛地图”，再“出题” (任务合成)

以前的做法： 就像让实习生只盯着一条狭窄的走廊走，然后让他根据这一条路想象出整个大楼的任务。这导致他只能学会很简单的任务，视野很窄。
OpenMobile 的做法：
1. 先探索（逛地图）： 让 AI 先在手机里像无头苍蝇一样乱逛（随机点击），把整个 APP 里所有能点的按钮、能跳的页面都记下来，建立一张**“全局记忆地图”**。
2. 再出题（合成任务）： 有了这张地图，AI 就能像老练的导游一样，把“短距离”（当前屏幕附近的功能）和“长距离”（APP 深处不相关的功能）结合起来，编造出各种复杂、真实的任务。
- 比喻： 以前是“盲人摸象”，摸到腿就说大象像柱子；现在是“上帝视角”，把大象全身都看清楚了，才能设计出“给大象穿裤子”这种复杂任务。

策略二：不仅教“怎么做对”，更教“错了怎么改” (策略切换)

以前的做法： 让一个“专家”（超级 AI）演示一遍完美的操作，让“实习生”照着学。但这有个大问题：实习生在考试时如果不小心点错了，专家没教过他怎么纠错，他就不懂怎么从错误中恢复，直接放弃。
OpenMobile 的做法： 采用**“师徒切换”**模式。
1. 让“实习生”先自己操作。
2. 一旦“监工”发现实习生走偏了（比如点错了地方），立刻切换成“专家”来接手，把路修好，继续完成任务。
3. 最后，把这段“实习生犯错 -> 专家纠正”的过程记录下来，作为教材。
- 比喻： 就像学骑自行车。以前只教“怎么骑得直”，现在OpenMobile会教“车歪了怎么扶正”。这让 AI 在面对真实世界（充满意外）时，拥有了**“救场”**的能力。

3. 成果：从“学渣”变“学霸”

OpenMobile 用这套方法生成了 2800 个任务指令和 3.4 万个操作步骤，覆盖了 20 个常见的安卓 APP。

成绩： 用这些数据训练的 AI，在“安卓世界”考试中，分数从开源界的 30 分直接飙升到了 51.7% 甚至 64.7%。
意义： 这个成绩已经非常接近那些拥有保密数据的大公司水平了！而且，他们证明了这个高分不是靠“背答案”（死记硬背考题），而是因为 AI 真的学会了广泛的功能和纠错能力。

4. 总结：为什么这很重要？

这就好比 OpenMobile 把大公司的“独门秘籍”拆解成了公开的教科书。

以前： 只有少数人知道怎么教 AI 操作手机，大家只能看着干瞪眼。
现在： OpenMobile 把“如何构建全局地图”和“如何模拟犯错与纠错”的方法都公开了。

这意味着，未来的开源 AI 也能像大公司的 AI 一样聪明，能帮你处理更复杂的手机任务，比如“帮我把上周的会议录音整理成文档，并发送给老板”，而不仅仅是简单的“打开微信”。

一句话总结： OpenMobile 通过让 AI 先“逛遍”手机再“出题”，并专门训练它“犯错后如何补救”，成功把开源手机 AI 的水平从“新手”提升到了“高手”级别，而且这套方法是免费共享的。

这篇论文介绍了 OpenMobile，一个开源的移动智能体（Mobile Agent）任务指令与轨迹合成框架。该框架旨在解决当前移动智能体领域存在的“数据黑盒”问题，即领先的闭源系统（如 Step-GUI, MAI-UI 等）虽然性能优异，但其训练数据和合成方法不公开，导致开源社区难以复现或追赶。

以下是对该论文的详细技术总结：

1. 核心问题 (Problem)

性能差距与数据封闭：基于视觉语言模型（VLM）的移动智能体在 AndroidWorld 等基准测试中取得了显著进展（接近 70% 成功率），但这主要依赖于闭源的大规模高质量训练数据。开源社区依赖的公开数据集（如 AndroidControl, AMEX）存在标注噪声大、缺乏复杂思维链等问题，导致性能停滞在 30% 左右。
现有合成方法的局限性：
- 任务指令生成：现有的交互驱动方法通常将“环境探索”与“指令生成”紧密耦合，仅基于单条局部轨迹生成指令，导致指令多样性受限，难以覆盖复杂的全局功能。
- 轨迹收集：传统的专家蒸馏（Expert Distillation）只能提供理想行为，缺乏错误恢复（Error Recovery）数据；而自我进化（Self-Evolution）收敛慢且受限于当前模型能力。
数据泄露风险：由于合成数据通常基于特定环境生成，社区担心合成指令可能直接复制了基准测试的测试集，导致过拟合而非真正的能力提升。

2. 方法论 (Methodology)

OpenMobile 提出了两个核心组件来解决上述问题：

A. 可扩展的任务合成流水线 (Scalable Task Synthesis)

该模块采用**解耦（Decoupled）**策略，模仿人类学习新应用的过程：先探索建立全局认知，再根据需求组合功能。

环境探索 (Environment Exploration)：使用简单的随机游走（Random Walk）遍历目标应用，收集屏幕 - 动作转换序列。
全局环境记忆构建 (Global Environment Memory Construction)：
- 利用感知哈希（Perceptual Hashing）对视觉相似的屏幕进行去重，构建唯一屏幕集合 $S$ 。
- 建立屏幕间的邻接关系（Neighborhood），形成状态转移图。
- 使用强 VLM 提取每个屏幕的功能集 $F(s_i)$ （如按钮、开关的语义描述）。
- 构建语义索引，支持跨屏幕的功能检索。
记忆增强的任务合成 (Memory-Augmented Task Synthesis)：
- 针对候选屏幕 $s_i$ $s_{i}$ ，构建包含三部分上下文的提示词：
  - 当前屏幕：截图及标注的功能。
  - 短期记忆：邻接屏幕的功能（反映局部可达性）。
  - 长期记忆：从同一应用其他屏幕检索到的语义相关功能（鼓励跨功能组合）。
- 利用 VLM 基于此丰富上下文生成多样化、复杂且可执行的多步指令。

B. 策略切换的轨迹 rollout (Policy-Switching Rollout)

为了收集包含错误恢复信号的高质量轨迹，提出了策略切换机制：

机制：在轨迹生成过程中，交替使用学习者模型（Learner, $\pi_l$ ）和专家模型（Expert, $\pi_e$ ）。
错误干预切换 (Error-Intervention Switching)：
- 初始由学习者执行任务。
- 引入一个**监控器（Monitor）**实时观察学习者行为。
- 一旦检测到学习者偏离任务目标（即发生错误），立即切换至专家模型进行干预和纠正，将轨迹拉回正轨。
- 专家纠正后，控制权交还给学习者继续执行。
优势：相比纯专家蒸馏，该方法显式地提供了“错误 - 纠正”样本；相比自我进化，它利用专家能力避免了模型陷入局部最优或无法纠正严重错误。

3. 关键贡献 (Key Contributions)

开源框架与数据集：发布了 OpenMobile 框架及基于 20 个 Android 应用合成的 2,800 条任务指令和 34,000 个动作步骤数据集。
创新合成策略：
- 提出了解耦的任务合成，通过构建全局环境记忆和长短期记忆检索，显著提升了指令的复杂度和多样性。
- 提出了错误干预的策略切换，有效收集了训练模型所需的错误恢复数据。
性能突破：基于 OpenMobile 数据微调的模型在三个动态基准测试中取得了 SOTA 开源成绩，大幅缩小了与闭源系统的差距。
透明性分析：通过严格的语义相似度分析和消融实验，证明了性能提升源于广泛的功能覆盖和错误恢复能力的增强，而非对基准测试的过拟合。

4. 实验结果 (Results)

在三个动态移动智能体基准测试（AndroidWorld, AndroidLab, MobileWorld）上的表现：

AndroidWorld：
- 微调后的 Qwen2.5-VL-7B 达到 51.7% 成功率（Pass@1），远超开源基线（约 25-34%），接近部分闭源系统。
- 微调后的 Qwen3-VL-8B 达到 64.7% 成功率，与领先的闭源系统（如 MobileAgent-v3.5 的 71.6%）具有竞争力。
AndroidLab：Qwen3-VL-8B 达到 51.5%，显著优于开源基线。
MobileWorld（更具挑战性）：Qwen3-VL-8B 从基线的 9.4% 提升至 17.7%，相对提升显著。
泛化能力：模型在未见过的应用和长程跨应用任务中表现出良好的泛化性。
错误恢复能力：消融实验表明，引入错误干预切换策略后，模型在实时执行中的错误感知、诊断和纠正能力显著增强。

5. 意义与影响 (Significance)

填补数据鸿沟：OpenMobile 为开源社区提供了大规模、高质量、结构化的移动智能体训练数据，打破了闭源系统的数据垄断。
方法论启示：证明了“全局环境记忆”对于生成多样化复杂任务的重要性，以及“错误恢复数据”对于提升智能体鲁棒性的关键作用。
推动研究：通过开源代码和数据，促进了移动智能体领域的可复现研究，为构建更通用、更可靠的自主智能体奠定了坚实基础。
消除过拟合疑虑：通过透明分析证实，性能提升并非来自数据泄露，而是源于对应用功能覆盖的广度和深度的提升，为后续研究提供了可信的基准。

总结来说，OpenMobile 通过创新的解耦合成和策略切换机制，成功构建了高质量的开源移动智能体训练数据，显著提升了开源模型在复杂动态环境下的任务执行和错误恢复能力，是移动智能体领域迈向开源高性能的重要里程碑。