💬 NLP

UI-MOPD: Multi-Platform On-Policy Distillation for Unified GUI Agents

本文介绍了 UI-MOPD，这是一个利用多教师在策略蒸馏（multi-teacher on-policy distillation）和新构建的 Uni-GUI 数据集来训练统一跨平台 GUI 智能体的创新框架，该框架有效地整合了专业的桌面端与移动端专业知识，同时克服了数据稀缺和交互规范差异带来的挑战。

原作者： Niu Lian, Tongbo Chen, Zhehao Yu, Chengzhen Duan, Fazhan Liu, Hui Liu, Pei Fu, Jian Luan, Heng Qu, Shu-Tao Xia, Jinpeng Wang

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Niu Lian, Tongbo Chen, Zhehao Yu, Chengzhen Duan, Fazhan Liu, Hui Liu, Pei Fu, Jian Luan, Heng Qu, Shu-Tao Xia, Jinpeng Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个你的数字助手是一位顶级大厨的世界。但转折在于：这位大厨必须同时在两个完全不同的厨房里烹饪。其中一个厨房是拥有巨型屏幕、鼠标和键盘的高科技台式电脑；另一个则是拥有触摸屏且没有实体按键的轻巧口袋手机。在电脑厨房里，“返回”可能意味着关闭一个窗口；而在手机厨房里，这意味着点击一个微小的“返回”箭头。如果你试图通过仅仅把所有的食谱混在一起并寄希望于最好的结果，来教大厨在两个地方同时烹饪，那么结果将是一场灾难：大厨会感到困惑，忘记如何使用鼠标，并意外地尝试去滑动一个键盘。这正是科学家们在开发“GUI智能体”（GUI agents）时面临的精确问题——这些智能体是旨在通过点击、输入和滑动来为我们处理数字生活的智能计算机程序。

长期以来，这些智能体就像是专才：一个擅长电脑，另一个擅长手机，但它们无法同时处理两者。研究人员曾试图通过简单地将这两个专家“砸”在一起来修复这个问题，希望它们的结合知识能创造出一个超级智能体。但正如这项新研究所示，这种“混搭”方法往往会模糊界限，导致智能体在两项工作上的表现都变差。每个人心中都在思考的问题是：我们如何构建一个单一且统一的智能体，使其能够无缝切换于桌面端和移动端之间，而不至于“丧失理智”或丢失技能？

于是，由清华大学、小米及其他顶尖机构的研究人员提出了一种巧妙的新方法：UI-MOPD。不要把 UI-MOPD 看作是一个搅拌机，而要把它看作是一位拥有独特训练策略的卓越教练。UI-MOPD 不要求学生（这个新的统一智能体）去死记硬背一套混乱混合的指令，而是由教练设立了一个动态训练营，并配备了两位专家导师：“桌面大师”和“移动大师”。

魔法是如何发生的呢？学生智能体会外出并尝试独立解决任务，生成自己的“展开过程”（rollouts，即完成工作的尝试）。当学生正在处理电脑任务时，教练会立即请出“桌面大师”来提供针对性的、高质量的建议。当学生切换到手机任务时，教练会换上“移动大师”。这被称为多平台在策略蒸馏（Multi-Platform On-Policy Distillation）。关键在于，学生是在“正确的时间向正确的专家学习”，而不是试图通过平均化它们的差异来学习。桌面大师不会试图教学生如何滑动，移动大师也不会试图教他们如何使用鼠标。它们充当了“行为锚点”，确保学生的动作符合当前所处环境的具体规则。

研究人员构建了一个名为 Uni-GUI 的大规模、高质量数据集来实现这一点。他们开发了一个特殊工具，收集了近 10,000 个在电脑和手机上完成任务的高质量、可运行的示例。他们过滤掉了失败的尝试，只保留了那些真正成功的案例，以确保老师们拥有完美的范例来展示给学生。

当他们测试这种新方法时，结果令人振奋。在名为 OSWorld 的高难度电脑基准测试中，新智能体的成功率为 38.2%。在名为 MobileWorld 的移动端基准测试中，它的成功率为 12.0%。这些数字表明，UI-MOPD 显著优于以往那些试图简单混合数据或合并模型的方案。例如，虽然其他方法可能会提升一个平台的性能却破坏另一个平台，但 UI-MOPD 成功实现了在两端同时提升性能。研究表明，这种“专家教练”的方法有助于智能体在学习导航不同设备的特定特性时，仍能保留其通用的智能，从而避免了让早期模型感到困惑的“平均化”陷阱。

简而言之，这篇论文表明，如果你想要一个能同时处理笔记本电脑和手机的智能智能体，不要只是把它们强行揉在一起。相反，要给它一个聪明的系统，让它知道根据正在观察的屏幕，应该听取哪位专家的意见。这是迈向未来的一步——在那时，你的数字助手将是真正精通所有数字领域的全才，而不仅仅是某一个领域的专家。

技术摘要：UI-MOPD

问题陈述

本文探讨了训练统一多平台 GUI 智能体所面临的挑战，这类智能体需能够在异构环境（具体为桌面端和移动端）中运行，同时保留各平台独特的交互规范。

目前的跨平台学习方法通常依赖于：

数据聚合： 混合来自不同平台的异构监督信号。
模型合并： 对专业化模型的参数进行平均。
顺序训练： 先在一种平台上进行训练，然后再在另一种平台上进行训练。

作者认为，这些方法往往会失败，因为桌面端和移动端平台虽然共享基础能力（视觉理解、规划），但拥有冲突的动作语义和交互规范（例如，不同操作系统之间的“返回”导航逻辑不同）。混合监督或平均参数会导致模糊原生行为，从而引发能力混淆（capability conflation）、性能失衡以及平台特定先验知识的退化。此外，高质量、可执行的跨平台交互数据一直较为匮乏，这阻碍了鲁棒统一智能体的开发。

方法论：UI-MOPD

为了应对这些挑战，作者提出了 UI-MOPD（多平台在策略蒸馏，Multi-Platform On-Policy Distillation），该框架旨在整合专家知识，而不通过平均化来抹除截然不同的交互规范。该方法由两个主要阶段组成：

1. 数据构建：Uni-GUI

作者首先构建了 Uni-GUI，这是一个包含近 10,000 条可执行跨平台交互轨迹的高质量数据集。

采集： 使用统一的桌面-移动端控制台（harness）进行构建，收集了约 11 万步计算机交互和约 5 万步移动端交互步骤。
处理： 进行了严格的过滤、轨迹验证和质量控制，以确保动作的可执行性以及状态-动作的准确对齐。

2. 训练框架：多教师在策略蒸馏 (MOPD)

该训练流水线包含两个阶段：

阶段 1（教师训练）： 在 Uni-GUI 的平台特定分区上对视觉语言基础模型（Qwen3-VL-32B）进行有监督微调（SFT），从而创建两个专家教师：桌面端教师 ( $\pi^d_{ref}$ ) 和 移动端教师 ( $\pi^m_{ref}$ )。
阶段 2（学生训练）： 使用多教师在策略蒸馏训练一个共享的学生策略 ( $\pi_\theta$ $π_{θ}$ ，初始化自一个 8B 模型)。
- 在策略采样（On-Policy Rollouts）： 学生在其当前策略下，在混合平台环境中进行采样。
- 平台条件路由（Platform-Conditioned Routing）： 每个采样过程根据其环境标签被路由到相应的平台专业化教师。
- 行为锚定（Behavioral Anchoring）： 教师仅在学生实际访问的状态下提供指导。这起到了平台条件行为锚点的作用，防止学生将来自另一平台的信号覆盖掉其原生交互模式。
- 损失函数： 训练目标结合了裁剪策略优化（类 PPO 风格）与 逆 KL 散度（Reverse KL divergence） 惩罚项。KL 项是在学生与路由后的教师之间计算的，而非与一个统一的教师计算。
- 自适应 KL 掩码（Adaptive KL Masking）： 应用组级掩码 ( $\mu$ )，当任务反馈（奖励）已足够充分时，移除教师惩罚，从而避免在高性能采样上进行不必要的限制。

核心贡献

Uni-GUI 数据集： 引入了一个包含约 10,000 条跨平台交互轨迹的高质量统一数据集，解决了可执行多平台数据稀缺的问题。
UI-MOPD 框架： 首次将多教师在策略蒸馏应用于统一 GUI 智能体训练。它通过使用平台条件教师作为行为锚点而非进行参数平均，独特地整合了互补的桌面端和移动端专业知识。
系统性评估： 通过综合实验证明，UI-MOPD 实现了平衡的跨平台性能，在保持通用 GUI 定位能力的同时，优于参数匹配型集成策略（如混合 SFT/RL、模型合并、顺序 RL）。

实验结果

作者在 OSWorld（桌面端）和 MobileWorld（移动端）基准测试上对 UI-MOPD 进行了评估，使用的是 8B 参数量的学生模型。

性能表现：
- OSWorld： 实现了 38.2% 的任务成功率（较基座模型相对提升 12.7%）。
- MobileWorld： 实现了 12.0% 的任务成功率（较基座模型相对提升 55.8%）。
- 平衡性： UI-MOPD 在所有 8B 参数量级的集成策略中取得了最高的 调和平均值（H-Mean） 18.3%，在平衡能力方面达到了参数量高达 235B 的模型水平。
对比分析：
- 表现优于 Mixed-SFT、Mixed-RL、模型合并（权重平均/TIES） 以及 Sequential-RL 等策略。
- 实验表明，与使用单一“统一教师”（在混合数据上训练）或单平台教师相比，路由式的多教师方法更具优势。
泛化能力：
- 该方法保留了通用的 GUI 定位能力，在 AndroidControl、ScreenSpot-Pro 和 OSWorld-G 等静态基准测试中显示出提升或几乎无退化的表现，而其他集成策略往往会导致广泛的性能下降。

重要性与主张

本文声称，多教师在策略蒸馏为构建统一跨平台 GUI 智能体提供了一种有效的方法。其核心意义在于发现：

专家知识整合： 平台特定的教师提供了互补而非冗余的监督。它们作为稳定的锚点，允许共享策略在提升任务完成能力的同时，不会抹除平台特定的行为先验。
解决冲突： 通过将采样过程路由到特定的教师，该方法解决了共享能力与差异化交互规范之间的冲突，避免了其他集成方法中常见的“平均化”效应。
高效性： 该方法使单个 8B 模型能够实现跨平台的平衡性能，而通常这类性能需要规模大得多的模型或独立的专业化智能体，且不会牺牲通用的 GUI 理解能力。

作者总结道，该框架为在异构环境中训练统一智能体建立了一种新的范式，实现了从简单的混合数据向结构化、条件感知型知识整合的跨越。