💬 NLP

VeriOS: Query-Driven Proactive Human-Agent-GUI Interaction for Trustworthy OS Agents

本文提出了 VeriOS-Agent，这是一种基于查询驱动的人机交互框架和训练策略的可信操作系统智能体，它能够在正常环境下自主执行任务，并在不可信场景中主动寻求人类确认，从而在显著提升任务成功率的同时保障了操作的安全性。

原作者： Zheng Wu, Heyuan Huang, Xingyu Lou, Xiangmou Qu, Pengzhou Cheng, Zongru Wu, Weiwen Liu, Weinan Zhang, Jun Wang, Zhaoxiang Wang, Zhuosheng Zhang

发布于 2026-04-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zheng Wu, Heyuan Huang, Xingyu Lou, Xiangmou Qu, Pengzhou Cheng, Zongru Wu, Weiwen Liu, Weinan Zhang, Jun Wang, Zhaoxiang Wang, Zhuosheng Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 VeriOS 的新系统，它的核心目标是让手机或电脑里的"AI 助手”变得更聪明、更靠谱，特别是在面对复杂或混乱的情况时，懂得何时该自己干，何时该停下来问人。

为了让你轻松理解，我们可以把这篇论文的核心内容想象成**培养一个“超级实习生”**的故事。

1. 背景：为什么我们需要这个“超级实习生”？

现在的 AI 助手（比如能帮你操作手机、点按钮的 AI）越来越强了，它们能看懂屏幕，也能执行指令。但是，它们有一个大毛病：太“头铁”了。

理想情况：AI 让你“打开微信”，它直接打开，完美。
现实情况：
- 环境出 bug：手机突然弹出一个奇怪的广告，或者系统卡住了。
- 指令模糊：你说“把那个文件发给我”，但屏幕上有很多文件，它不知道是哪个。
- 敏感操作：它想帮你“开启定位”，但这可能涉及隐私风险。

这时候，普通的 AI 往往会盲目执行（Over-execution），结果可能点错东西、泄露隐私，或者在卡住的界面上疯狂点击，导致任务失败。这就好比一个刚入职的实习生，遇到不懂的问题不敢问，非要硬着头皮瞎干，最后把事搞砸了。

2. 解决方案：VeriOS 的“三思而后行”策略

为了解决这个问题，作者们设计了一个VeriOS-Agent（VeriOS 智能体）。它的核心思想是：“遇到拿不准的，先问老板（人类）；情况正常的，自己搞定。”

这就像给实习生装了一个**“红绿灯系统”**：

绿灯（正常情况）：AI 自信满满，直接操作屏幕，不用打扰你。
红灯（不可信情况）：AI 发现环境不对劲（比如弹窗、模糊指令），它会立刻踩刹车，然后礼貌地问你：“老板，这里有个弹窗，我是该关掉它还是点它？”或者“您说的‘那个文件’具体是指哪一个？”

3. 它是如何训练的？（三个阶段的“特训”）

为了让这个 AI 学会这种“分寸感”，作者设计了一套独特的三阶段训练法，我们可以把它比作**“拆解与重组”**的魔法：

第一阶段：知识拆解（Meta-knowledge Decoupling）

普通的训练是把所有数据混在一起喂给 AI。但 VeriOS 把每个任务拆成了两部分：

判断力知识：教 AI 识别“现在是不是危险情况？”以及“该问什么问题？”。
行动力知识：教 AI 在得到答案后，“具体该怎么点按钮”。

这就好比把实习生的**“判断力”和“执行力”**分开训练，然后再合二为一。

第二阶段：交错学习（Interleaved SFT）

在训练时，他们不是先练完所有“判断力”再练“执行力”，而是交替进行。

比喻：就像练钢琴，不要先练完所有音阶再练曲子，而是练几个音阶，马上弹一小段曲子，再练几个音阶。这样 AI 就能明白：“哦，原来我判断出这是个危险情况后，下一步应该是提问，而不是直接乱点。” 这种交替训练让 AI 的逻辑链条更顺畅。

第三阶段：奖励优化（GRPO）

最后，给 AI 发“奖金”来强化正确行为：

场景奖励：如果你判断对了“这是个危险情况”，并且问对了问题，给高分。
行动奖励：如果你根据人的回答，做出了正确的点击操作，也给高分。
惩罚：如果你在危险情况下没问人直接瞎点，或者在安全情况下没事找事问人，就扣分。

4. 成果：它真的变强了吗？

作者做了一个叫 VeriOS-Bench 的“考场”，里面包含了各种手机、电脑、网页的复杂场景（包括乱弹窗、指令模糊等）。

普通 AI 的表现：在遇到“危险情况”时，正确率只有 46% - 60%，经常搞砸。
VeriOS 的表现：
- 在危险情况下，正确率飙升到 80% 以上！它学会了在关键时刻“求助”。
- 在正常情况下，它的表现和以前一样好，没有因为变得“谨慎”而变笨。
- 整体提升：相比最强的竞争对手，它的任务成功率平均提升了 19.72%。

5. 核心亮点总结

不再盲目自信：VeriOS 懂得“知之为知之，不知为不知”，遇到不确定的情况会主动提问，而不是硬闯。
人机协作新范式：它不是把任务完全丢给人，也不是完全自己干，而是**“该我干我干，该问人问人”**，让人类只参与最关键的时刻。
通用性强：实验证明，这种训练方法不仅适用于手机，也适用于电脑、网页等各种界面，而且模型越大，效果越好。

一句话总结

VeriOS 就像给 AI 助手装了一个“刹车”和“麦克风”：在风平浪静时它全速前进，在遇到暗礁（不可信场景）时，它会先停下来问船长（人类）一声，确保航向正确后再继续，从而避免了翻船的风险。

1. 研究背景与问题 (Problem)

随着多模态大语言模型（MLLM）的发展，操作系统（OS）智能体（Agent）已具备在智能手机、电脑等终端的图形用户界面（GUI）上自动执行任务的能力。然而，现有的 OS 智能体主要设计用于理想化、可信的环境。

在现实世界中，OS 智能体常面临**不可信（Untrustworthy）**的场景，导致“过度执行”（Over-execution）的风险，可能引发安全隐患或任务失败。这些不可信因素主要分为两类：

环境侧因素：OS 不稳定导致的异常（如弹窗、断连、崩溃）以及环境内固有的敏感操作（如触发位置权限释放）。
用户侧因素：用户指令模糊不清，或存在多种合理的选择路径。

现有方法的局限性：

完全自主执行：在不可信场景下容易出错。
基于置信度的交互：现有工作（如 OS-Kairos）仅在置信度低于阈值时中断任务并移交人类，缺乏可解释性，且无法主动澄清模糊指令。
直接利用问答历史：研究发现，直接将人类问答历史加入提示词（Prompt）会导致智能体在正常场景下的性能下降。

核心挑战：如何设计一种 OS 智能体，既能准确识别不可信场景并主动询问人类，又能利用问答历史完成任务，同时不损害其在正常场景下的自主执行能力？

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 VeriOS 框架，包含三个核心部分：

2.1 查询驱动的人机-GUI 交互框架

提出了一种**查询驱动（Query-Driven）**的交互范式。

正常场景：智能体自主执行 GUI 操作。
不可信场景：智能体主动生成澄清性问题（Query）询问人类，并根据人类的回答（Answer）继续执行任务。
优势：相比被动中断，这种方式更具可解释性，且无需人类直接操作 GUI，仅需回答简单问题。

2.2 VeriOS-Bench 基准测试

为了评估和训练，构建了跨平台（移动端、桌面端、Web、平板）的基准测试 VeriOS-Bench：

数据规模：包含 622 张截图，涵盖正常场景和四类不可信场景（环境异常、信息缺失、敏感操作、多义选择）。
标注内容：包括场景类型标签、标准操作（Ground Truth）、以及针对不可信场景的标准提问（Query）和人类回答（Answer）。

2.3 三阶段学习范式 (Three-Stage Learning Paradigm)

这是 VeriOS-Agent 的核心训练策略，旨在实现元知识（Meta-knowledge）的解耦与利用。

元知识解耦 (Meta-knowledge Decoupling)：
将每个数据实例 $d$ 解耦为两个子实例，分别对应两种知识：
- 场景知识 ( $K_{scenario}$ )：识别场景类型并生成提问。输入：(指令，截图) $\rightarrow$ 输出：(场景类型，提问)。
- 动作知识 ( $K_{action}$ )：利用问答历史生成可执行动作。输入：(指令，截图，提问，回答) $\rightarrow$ 输出：(场景类型，操作动作)。
监督微调阶段 (SFT Stage)：
采用**交错训练（Interleaved Training）**策略。将上述两种子实例交替放入训练序列中。
- 目的：让模型同时学习“何时提问”的逻辑和“如何利用回答执行动作”的逻辑，建立两者间的内在联系。
- 效果：避免了传统分阶段训练导致的灾难性遗忘。
组相对策略优化阶段 (GRPO Stage)：
在 SFT 基础上，使用基于规则的奖励函数进行强化学习优化：
- 场景奖励 ( $r_{sce}$ )：奖励正确的场景判断和提问生成。
- 动作奖励 ( $r_{act}$ )：奖励正确的操作类型和参数。
- 目标：通过组内相对优势最大化，进一步提升智能体在不可信场景下的决策准确性和动作执行质量。

3. 关键贡献 (Key Contributions)

提出查询驱动的交互范式：设计了一种 OS 智能体在不可信场景下主动询问人类、利用问答历史完成任务，而在正常场景下自主执行的机制。
构建三阶段学习范式：通过 SFT 和 GRPO 实现了元知识的解耦与融合，特别是交错训练策略被证明是学习不同知识类型间逻辑关系的最优解。
发布 VeriOS-Bench：首个涵盖多平台、包含不可信场景标注及人机问答对的跨平台基准测试。
构建 VeriOS-Agent：训练出具备高可信度的 OS 智能体，能够准确评估场景并据此调整行为策略。

4. 实验结果 (Results)

在 VeriOS-Bench 上的实验结果表明：

性能提升：
- 在不可信场景下，VeriOS-Agent 的步级成功率（Step-wise Success Rate）相比最强基线平均提升了 20.64%（摘要中提到 19.72%，正文实验部分为 20.64%）。
- 在正常场景下，性能保持相当，未出现下降。
场景判断能力：
- 现有主流 OS 智能体对不可信场景的判断准确率仅为 46.52% - 60.96%。
- VeriOS-Agent 将判断准确率提升至 80.21%。
消融实验与对比：
- 双智能体 vs 单智能体：双智能体系统（一个负责判断/提问，一个负责执行）并未带来显著收益，反而增加了资源开销，证明了单智能体隐式学习逻辑连接的有效性。
- 训练策略：交错训练（Interleaved Learning）效果最佳，优于打乱训练、轮转训练和分阶段训练。
- 基座模型：通用模型（Qwen2.5-VL）比专用模型（GUI-Owl）更适合作为基座，因其具备更强的通用语言理解能力。
- 泛化性 (OOD)：在移除部分不可信场景数据进行训练后，模型仍表现出良好的泛化能力。
- 可扩展性：模型能够轻松适应新的不可信场景类型，缓解持续学习中的灾难性遗忘问题。

5. 意义与价值 (Significance)

提升 OS 智能体的可信度：解决了自动化智能体在复杂、非理想环境下“盲目执行”的安全隐患，通过人机协作机制显著降低了风险。
新的交互范式：从“完全自主”或“被动中断”转向“主动查询”，为未来人机协作（Human-Agent Collaboration）提供了可解释、高效的解决方案。
训练方法论的启示：证明了在训练多任务智能体时，通过元知识解耦和交错训练，可以有效平衡不同能力（如判断力与执行力）的学习，避免相互干扰。
推动基准建设：VeriOS-Bench 填补了当前缺乏针对不可信场景和主动交互评估基准的空白，为后续研究提供了重要基础。

综上所述，VeriOS 通过创新的架构设计和训练策略，成功打造了一个既能自主高效工作，又能在关键时刻“三思而后行”（主动询问）的可信操作系统智能体。