💬 NLP

Benchmarking Living-Screen-Native GUI Agents on Short-Video Platforms

本文介绍了 LivingScreen，这是首个针对在动态短视频平台上运行的“生活屏原生”（Living-Screen-Native）GUI 智能体设计的基准测试，研究揭示了由于无法有效控制在内容持续变化过程中的观察时机，当前的尖端模型无法达到人类水平的表现。

原作者： Jiashu Yao, Heyan Huang, Daiqing Wu, Wangke Chen, Huaxi Ai, Haoyu Wen, Zeming Liu, Yuhang Guo

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jiashu Yao, Heyan Huang, Daiqing Wu, Wangke Chen, Huaxi Ai, Haoyu Wen, Zeming Liu, Yuhang Guo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何使用智能手机。目前大多数针对这类机器人的测试就像是给它们看一张屏幕的静态照片。机器人观察这张照片，决定点击哪里，然后照片就会发生变化。这有点像在玩一个“西蒙说”的游戏，除非你动手去点，否则棋盘永远不会移动。

但现实生活并非静止的。想想 TikTok、Instagram Reels 或 YouTube Shorts。视频会自动播放，评论会不断滚动，新的内容会在你观看时持续加载。屏幕是“活的”。

这篇论文介绍了一种测试机器人（称为 GUI Agent/图形用户界面智能体）在这些“活”屏幕上表现的新方法。以下是简单的术ty解析：

1. 问题所在：“冻结屏幕” vs. “活态屏幕”

目前的 AI 模型擅长观察静态图像或预录制的视频文件。但当屏幕在自身不断变化时，它们就会感到吃力。

旧方法： AI 获取一个快照，思考，点击，然后获得一个新的快照。
新方法（原生活态屏幕/Living-Screen-Native）： 屏幕持续播放。AI 必须做出决定：“我应该看完整个视频吗？我应该只扫一眼前 3 秒吗？还是应该直接跳过这个？”

作者称之为 “原生活态屏幕”（Living-Screen-Native），因为智能体必须在一个实时演变的屏幕中进行导航，就像人类一样。

2. 解决方案：“LIVINGSCREEN”（新的测试方法）

为了测试这一点，研究人员构建了一个名为 LIVINGSCREEN 的特殊游乐场。

环境： 它是在浏览器内的一个高度真实的短视频应用模拟版本。它播放真实的视频，显示评论，并拥有“点赞”、“分享”和“关注”等按钮。
规则： AI 不能直接“下载”视频文件。它必须像人类一样与屏幕交互：向上滑动、点击按钮，并决定观看一段剪辑的时长。
任务： 该测试分为三个难度等级：
- 第一级（基础）： 你能点击“点赞”按钮或向下滚动吗？
- 第二级（理解）： 你能观看几个视频、阅读评论，并判断两个视频是否在讲述同一个故事吗？
- 第三级（终极挑战）： 你能像人类用户一样行动吗？例如，“寻找违规视频并进行举报”，或者“寻找关于烹饪的视频并收藏其中最好的视频”。

3. 结果：机器人很笨拙

研究人员在这一新测试中测试了目前最智能的 AI 模型。结果令人惊讶：

人类胜出： 人类在平衡速度和准确性方面表现得更好。我们知道该看多久才能得到答案。
AI 挣扎： 即便是最顶尖的 AI 模型也无法达到人类的表现。它们要么太慢（看太多），要么太草率（错过重要细节）。

4. 重大发现：“过度观察”与“观察不足”

研究发现，AI 失败的主要原因并不是它们看不见或点不到，而是它们不知道如何观看。作者称之为 “过度观察”与“观察不足”（Over- and Under-Observation）。

把这想象成一个学生在考试：

观察不足： 学生扫了一眼问题，立刻猜出了答案并继续下一题，从而错过了段落中间的关键细节。
过度观察： 学生反复阅读同一个段落五遍，甚至在已经理解之后还在读，从而浪费了时间和精力。

AI 的问题在于：

一些 AI 观察得太少。它们跳过了应该观看的视频，导致回答错误。
一些 AI 观察得太多。它们盯着无关的视频看了好几分钟，浪费时间，却并没有因此变得更聪明。
人类的区别： 人类是“聪明的扫描者”。我们会进行一次快速的 2 秒钟“瞥视”来判断视频是否相关。如果相关，我们会看得久一点；如果不相关，我们会划走。AI 模型大多缺乏这种“快速瞥视”的过滤机制。它们往往要么完全忽略一个视频，要么沉迷于“刷剧”。

5. 我们能直接告诉它们做得更好吗？

研究人员尝试给 AI 模型一些简单的指令，比如“看少一点”、“看多一点”，甚至告诉它们“模仿人类的观看方式”。

结果： 效果并不理想。告诉 AI “看少一点”会让它们跳过太多重要的视频；告诉它们“看多一点”则会让它们浪费时间。
结论： 这不仅仅是给出更好指令的问题。AI 模型确实缺乏控制自身注意力的能力。它们不知道何时该看，以及何时该停止观看。

总结

这篇论文指出，要构建能真正胜任 TikTok 或 YouTube 等应用的 AI 助手，我们需要停止在冻结屏幕上测试它们。我们需要教会它们如何在永不停歇的世界中管理自己的注意力。目前，最好的 AI 模型就像是一个人，要么从不看菜单，要么对着菜单上的每一个字读上一小时——它们还没学会如何有效地进行“瞥视”。

技术摘要：针对短视频平台“活屏原生”GUI 智能体的基准测试

1. 问题定义

目前的图形用户界面（GUI）智能体是在一个静态假设下运行的：屏幕在两次动作之间是冻结的，且只有当智能体采取行动时，世界才会发生演变。这种范式无法捕捉现实世界的界面，尤其是短视频平台，其中的内容在连续的时间内自主播放。在这种环境下，一个胜任的用户必须主动决定看什么、看多久以及何时停止，从而在信息获取与时间成本之间取得平衡。

现有的基准测试要么将视频视为被动输入（视频问答 Video QA），要么将 GUI 处理为一系列静态截图（标准 GUI 智能体），忽略了“活屏”（Living Screen）这一象限——即环境在智能体主动选择观察粒度时，仍在独立演化。作者将这一差距形式化为 活屏原生 GUI 智能体（Living-Screen-Native GUI Agents），定义为在持续演化的屏幕上运行，并能主动确定观察该演化过程中哪些视觉切片的智能体。

2. 方法论：LIVINGSCREEN 基准测试

为了实例化并评估这一设定，作者引入了 LIVINGSCREEN，这是首个针对短视频平台活屏原生智能体的基准测试。

2.1 环境构建

平台： 一个基于 Playwright 构建的高保真、基于浏览器的现代短视频应用副本（模拟中文平台）。
交互： 智能体通过低级动作 API（像素坐标点击、滑动、打字）进行交互，并仅通过渲染的截图或屏幕录像进行观察，无法访问底层的 DOM 或视频文件。
内容： 语料库由来自公开数据集的真实短视频组成，并辅以元数据（标题、话题标签、评论），以及极小比例（<1%）用于模拟长尾安全风险的合成视频。
信息流生成： 通过按关键词对视频进行聚类，并将其与随机干扰项混合，以模拟真实的推荐流。

2.2 任务分类

该基准测试包含 499 个任务，涵盖 1,528 个独特的视频，按三层层级组织：

L1（原子 GUI 动作）： 测试基础原语，如点赞、收藏、评论、举报和导航（滑动/拖动进度条）。
L2（跨源理解）： 要求整合来自视频、评论和 UI 线索的证据。子任务包括上下文关联、事件比较、特征分析、时空聚合以及鲁棒性评估（处理无法回答的问题）。
L3（闭环应用）： 要求完成感知、推理到行动的完整闭环，以实现环境分级的成果。示例包括事实核查争议事件、内容审核（违规检测）和偏好模拟。

2.3 评估指标

基准测试从两个维度对智能体进行评分：

准确率： 通过对比最终环境状态与地面真值（例如：特定视频是否被点赞/举报）或选项匹配来衡量 成功率 (SR)。
效率：
- 步数 (NS)： 每个回合的平均工具调用次数（操作成本）。
- 观看比例 (WR)： 智能体实际记录的整个信息流运行时间的比例（观察成本）。
- 目标： 在保持高 SR 的同时，实现低 NS 和低 WR。

2.4 智能体形式化

作者提出了一个 活屏原生 POMDP，它修改了标准的马尔可夫决策过程：

连续演化状态 ( $\Delta_1$ )： 即使在智能体闲置时（如播放进度前进），状态也会自主演化 ( $\Phi$ )，这与标准 GUI POMDP 中由智能体驱动的状态转换不同。
智能体发起的观察 ( $\Delta_2$ )： 观察不是点采样，而是由智能体的动作参数化的。智能体决定观察的时间窗口 $W(a_k)$ ，在单张截图或时长为 $\Delta t$ 的视频片段之间进行选择。

3. 实验设置

作者评估了一组具有代表性的前沿多模态大语言模型（MLLM），包括原生视频模型（Gemini-3.5, Doubao-Seed 系列, Qwen-3.6 等）和基于图像的模型（Claude, GPT-5 变体等）。所有模型都使用统一的智能体架构进行封装，采用“思考后调用工具”的格式，最大回合长度为 30 步。

4. 关键结果

性能差距： 没有任何被评估的模型在成本-准确率权衡方面接近人类表现。表现最好的模型在成功率 (SR) 上显著低于人类（例如，顶尖模型整体约为 69%，而人类为 94%），同时往往产生更高的观察成本。
差异化范式： 模型表现出不一致的策略。一些模型倾向于高探索（高 NS，碎片化信息收集），而另一些则倾向于重度观察（高 WR，观看长视频片段）。
主要失效模式： 识别出的主要失效模式是 过度观察与观察不足：
- 观察不足： 智能体跳过视频或观察时间过短，导致无法收集足够证据（影响了 39–61% 的轨迹）。
- 过度观察： 智能体观看无关视频或在获取必要信息后继续观看（影响了 25–43% 的轨迹）。
- 共存： 9–24% 的轨迹同时表现出这两种错误。
人类对比： 人类采用“信息搜寻”策略，投入少量的注意力进行“瞥一眼”（占观察次数的 52%）以过滤相关性，然后再投入深度消费。目前的模型缺乏这种廉价的侦察步骤，导致注意力分配效率低下。

5. 观察控制分析

作者研究了这些失败是由于缺乏意识（提示词问题）还是能力缺陷造成的。

提示词实验： 采用指令要求智能体执行“少看”、“多看”或“模仿人类”策略的变体，虽然成功改变了观看比例 (WR)，但 未能提高成功率 (SR)。
结论： 过度观察和观察不足不仅仅是可以通过提示词解决的意识问题；它们代表了当前 MLLM 在观察控制方面的真实 能力差距。

6. 重要性与贡献

论文声称了三个主要贡献：

形式化： 识别并形式化了“活屏原生”设定，将其与静态 GUI 和被动视频问答任务区分开来。
基准发布： 引入了 LIVINGSCREEN，为这一设定提供了首个忠实的环境、任务集和效率指标。
能力差距识别： 揭示了 观察控制（特别是对过度观察和观察不足的管理）是一个关键的、此前研究较少的 GUI 智能体研究维度。

作者将 LIVINGSCREEN 定位为迈向能够栖息在真正“活态界面”中的智能体的垫脚石，强调未来的进步不仅需要模型掌握点击什么，还需要掌握如何观察以及观察多久。

7. 局限性

作者承认该基准测试是一个受控的浏览器副本，缺乏实时推荐引擎或社交图谱效应。数据完全是中文的，且规模（499 个任务）属于中等水平，反映了动态、多步任务所需的高昂标注成本。此外，作者也注意到了关于自主智能体在误导信息或规避监管方面的双重用途伦理问题，建议在实际部署中引入人工监督。