🤖 AI

GUI agent: Guided Exploration of User-Sensitive Screens

本文介绍了一种 GUI 探索智能体，旨在系统地识别用户敏感的屏幕状态与查询，通过使智能体能够识别关键场景并请求人工接管，从而解决当前大语言模型驱动的智能体在安全性方面的局限性。

原作者： Aradhana Nayak, Mussadiq Nazeer, Wang Peng, Feng Liu

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Aradhana Nayak, Mussadiq Nazeer, Wang Peng, Feng Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常聪明、积极主动的机器人助手（一个 AI Agent），它可以点击你的手机屏幕、打开应用程序并为你完成任务，比如买菜或设置日历提醒。这个机器人非常擅长执行指令，但它有一个危险的习惯：它不知道什么时候该停下来寻求帮助。

如果机器人看到一个要求输入密码的屏幕，或者一个它可能会不小心删除你照片的屏幕，它可能会不管不顾地继续操作。在现实世界中，这是非常危险的。你希望机器人能说：“嘿，这看起来很重要。让我停下来，让你接管。”——在它进行任何不可逆的操作之前。

这篇论文介绍了一个名为“探索者智能体”（Explorer Agent）的新工具，旨在教这些机器人助手如何自主发现这些“危险区域”。

以下是论文通过简单的类比对他们研究方法的解释：

1. 问题所在：不会求助的机器人

目前的 AI 机器人被训练为无论如何都要完成任务。如果任务涉及敏感屏幕（如银行转账或删除文件），机器人可能会在不加思考的情况下直接点击“确认”。作者说，这就像是给一个孩子一辆车并告诉他们开车去商店，但没有教他们遇到红灯时要停下来。对于简单的行程，这没问题；但对于复杂的行程，这很危险。

2. 解决方案：“地图绘制者”机器人

作者并没有仅仅教机器人如何驾驶，而是构建了一个特殊的“探索者”机器人。它的唯一任务是在主机器人看到这些界面之前，先在手机界面中四处游走，找出所有棘手、敏感的屏幕。

这就像是派出一名侦察兵先行进入森林。侦察兵的任务不是砍伐树木或建造房屋，而是寻找悬崖、沼泽和隐藏的陷阱，以便主团队知道在没有获得许可的情况下哪些地方是不能去的。

3. 探索者是如何工作的（“MCTS”方法）

论文使用了名为 MCTS（蒙特卡洛树搜索）的方法。想象一下，探索者正在玩一场“如果……会怎样？”的游戏。

起点： 探索者从你给出的一个简单任务开始，比如“打开 Wi-Fi”。
分支展开： 它会问自己：“如果我点击这个按钮会怎样？如果我输入不同的密码会怎样？如果我先进入设置菜单会怎样？”
“新颖度”评分： 探索者会在脑中维护一份它见过的每个屏幕的清单。如果它发现了一个从未见过的屏幕（一个“新颖”的屏幕），它会获得高分。如果它发现了一个已经看过一百次的屏幕，它会获得低分。
目标： 它想要寻找那些不仅是全新的，而且是敏感（例如包含个人数据的屏幕）的屏幕。

4. 训练循环：在实践中学习

作者通过三个“轮次”（类似于视频游戏中的关卡）来训练这个探索者：

第一轮： 探索者表现得狂野且混乱。它尝试数百条不同的路径。它发现了许多新屏幕，但也犯了很多错误并感到困惑。
第二轮与第三轮： 探索者变得更聪明了。它从之前的尝试中学习。它不再把时间浪费在通往死胡同的路径上，而是专注于寻找特定的“敏感”屏幕。
结果： 随着训练的进行，探索者发现的“新”屏幕变少了。这听起来似乎是件坏事，但论文指出这实际上是好事。这意味着探索者已经绘制出了几乎所有的危险区域。它已经“饱和”了该空间，意味着它已经知道了陷阱在哪里。

5. “饱和度”检查

论文包含一个特殊的算法，用于知道何时停止探索。想象一下你正在粉刷一面墙。起初，你每刷一笔都能覆盖大片新区域。但最终，你只是在重复涂抹同样的地方。该算法会检测到探索者何时只是在重复自身，并发出指令：“好了，我们已经找到了所有独特的敏感屏幕。现在可以停止了。”

6. 他们的发现

更好的模型效果更好： 他们尝试了不同的 AI 大脑作为探索者。更大的、更聪明的 AI（Qwen-2.5-32B）在寻找新的、有趣的路径方面表现得更好。
准确性提高： 随着探索者的训练，它在预测点击一个按钮后会发生什么方面变得更加准确。
空间缩小： 最重要的发现是，随着每一轮训练的进行，手机界面中的“未知”区域都在缩小。探索者成功识别了用户敏感屏幕的边界。

总结

简而言之，这篇论文提出了一种训练 AI 充当其他 AI 智能体“安全检查员”的方法。我们不是寄希望于机器人知道什么是安全的，而是使用这个“探索者”来系统地寻找每一个包含私人或危险信息的屏幕。一旦探索者绘制出了这些区域，就可以对主机器人进行编程，让它在踏入这些区域之前停下来并请求人类用户的许可。

这篇论文并不声称这是一个今天就能用在你的手机上的成品；相反，它是一种方法论和数据集生成工具，旨在帮助工程师在未来构建更安全的 AI 智能体。

技术摘要：GUI 智能体：用户敏感屏幕的引导式探索

问题陈述
大语言模型（LLM）智能体正越来越多地被部署用于自动化执行开放图形用户界面（GUI）环境中的任务。然而，这些智能体不可避免地会遇到包含用户敏感信息（如财务数据、私人消息）的屏幕，在这种情况下，自主执行会带来隐私和安全风险。目前的尖端 LLM 驱动智能体通常被微调为无论安全影响如何都会完成任务，这使得其在现实世界中的部署变得困难，并降低了可靠性。此外，GUI 智能体的工作流通常在闭环中运行，其中的操作是不可逆的（例如，删除文件、发送电子邮件），单个错误可能会导致连锁反应式的失败。因此，迫切需要识别并分类用户敏感状态，并定义“用户敏感查询”，以使智能体能够识别何时请求人工接管。现有的探索方法往往缺乏对解空间的严格覆盖，或者未能专门针对用户敏感状态进行目标化探索。

方法论
本文提出了一个以**探索智能体（Explorer Agent）**为核心的框架，旨在系统地探索 GUI 应用的查询空间，从单个演示任务开始，以识别导致用户敏感状态的查询。该框架利用了两个模型：

原生语言模型（Native LM）： 在执行过程中决定动作（例如 M3A）。
探索语言模型（Explorer LM）： 这是核心贡献，通过以纯粹探索为目标进行迭代训练。其策略根据基于新颖性和用户敏感性的奖励来决定探索哪些节点。

该方法遵循一个包含三个主要阶段的迭代训练循环（算法 1）：

查询选择、扩展与饱和：
- 探索语言模型基于基础轨迹（ $T_0$ ）和指令生成批量的查询（ $N \times M$ 个回合）。
- 查询选择算法（ $A_{sel}$ ） 对这些查询进行过滤。它计算向量化表示，并使用余弦相似度来保留那些具有新颖性（与现有池及批次内查询相似度较低）且不同于初始轨迹的查询。
- 饱和检查算法（ $A_{sat}$ ） 监控生成过程。它通过对每批次保留查询的数量进行线性及多项式曲线拟合，来检测是否存在不再生成新颖查询的拐点，从而发出饱和信号。
使用模拟器进行演练（Roll-out）：
- 被选中的查询在 Android 模拟器（使用 SPABench 设置）中执行。
- 原生语言模型执行动作，系统捕获截图和动作日志。
- 此过程生成一个包含查询、步骤、屏幕描述和嵌入（embeddings）的回合“记忆库”。
训练（反向传播）：
- 探索语言模型并非采用标准的 MCTS 反向传播，而是使用**组相对策略优化（GRPO）**进行训练。
- 训练目标是双重的：(1) 生成准确的步骤（通过对提示-响应对进行监督微调 SFT）；(2) 生成导致新颖用户敏感状态的新颖查询（通过带有自定义奖励模型的 GRPO）。
- 奖励建模： 奖励函数（ $R$ $R$ ）由三个新颖性得分组成：
  1. 查询新颖性（Query Novelty）： 基于 K-means 聚类惯量和聚类索引。
  2. 步骤新颖性（Step Novelty）： 基于“动作目的（actionPurpose）”步骤相对于记忆库的余弦相似度。
  3. 类别新颖性（Category Novelty）： 基于屏幕类别的频率（特别标记出“批评者/审判者”或敏感类别）。

核心贡献

探索智能体框架： 一种新颖的算法，能够从单个用户定义的轨迹出发，隔离用户敏感的查询和屏幕，并利用前几次迭代的经验蒸馏。
新颖性驱动的奖励系统： 一个复合奖励函数，量化查询、步骤和屏幕类别的探索新颖性，以引导智能体走向未访问的、潜在敏感的状态。
饱和检测： 一种算法化的方法，用于确定探索空间是否已被充分覆盖，从而防止冗余的训练迭代。
数据集生成潜力： 该方法旨在产生一个用户敏感查询的数据集，以协助工程师识别关键场景并请求用户接管。

结果
作者使用 Qwen-2.5-32B-Instruct 模型作为探索语言模型进行了三轮训练，较小的模型（Llama3.1-8B, Qwen2.5-3B）未能突破初始屏幕。

收敛性： 总奖励在各轮之间呈数量级递减（从 $10^{-2}$ 到 $10^{-5}$ ），表明智能体正在饱和环境并缩小查询和屏幕空间。
饱和度： 达到饱和所需的查询数量在各轮之间显著下降（第一轮 160 个查询，第二轮 100 个，第三轮 70 个）。
步骤准确性： 步骤新颖性得分的标准差从第一轮（~~0.0686）到第二、三轮（~~0.0024 和 ~0.0068）显著下降，表明监督微调（SFT）提高了步骤预测的准确性。
指令微调： 在一轮内，随着批次数增加，新颖性得分降低，这证明了指令微调使得模型能够在后续批次中生成新颖的查询。

意义与主张
本文声称提供了一种系统化的方法，用于自主探索 GUI 查询空间以识别用户敏感状态。文章认为，通过迭代优化探索策略，该框架可以优先处理未访问的状态并提高屏幕多样性覆盖率。作者指出，后续轮次中查询空间的缩小是覆盖程度的证据。他们建议，这种方法可以帮助工程师设计面向特定应用的训练数据集，并通过使 LLM 智能体能够识别何时停止并请求用户干预，从而提高其安全性。论文的结论较为谦逊，指出虽然该方法展现了前景，但仍需进一步研究以处理高相似度查询（例如，“打开通知”与“关闭通知”）以及实现更具侵略性的搜索策略。