🤖 AI

Unified Agent: Managing Interactions across Devices

该论文介绍了“统一智能体”（Unified Agent），这是一个通过维护一个紧凑且可直接执行动作的状态，从而有效管理跨设备和跨时间交互的有状态系统，并通过一个新构建的基准测试，证明了其相对于现有智能体设计的卓越且稳健的性能。

原作者： Xinshuang Liu, Runfa Blark Li, Shaoxiu Wei, Xin Lin, Truong Nguyen

发布于 2026-08-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Xinshuang Liu, Runfa Blark Li, Shaoxiu Wei, Xin Lin, Truong Nguyen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位指挥着一支非常繁忙且非常聪明的管弦乐团的指挥家。在这个乐团里，乐手们不仅仅是在演奏乐器；他们是你的手机、笔记本电脑、平板电脑，甚至是一个扫地机器人。这就是 AI 智能体（AI agents） 的世界——这些计算机程序不只是回答问题，它们还能为你真正地“做事”，比如预订餐桌或发送消息。

通常情况下，这些智能体就像只能听到站在自己面前的人说话的乐手。如果你向你的手机低声请求，你笔记本电脑上的智能体并不知道你说了什么。但如果想要一个能像真正的指挥家一样，能够倾听整个房间，并记住你在十分钟前用手机做了什么，即使你现在手里拿着的是平板电脑呢？这就是**跨设备交互（cross-device interaction）**的挑战。核心问题在于：我们如何教会 AI 去记住你这一天在所有设备上的“故事”，而不至于被过多的信息压垮？如果 AI 忘记了你当时正在使用哪个设备，它可能会问：“刚才是在哪部手机上？”而不是直接完成任务。这篇论文探讨了如何构建一个能够保持完美、精简记忆的智能体，使其无论你下一步拿起哪个设备，都能实现无缝衔接。

问题所在：具有“失忆症”的智能体

想象一下这个场景：你正在寻找一家新餐厅。你在手机上浏览菜单，然后切换到笔记本电脑阅读评论，最后查看平板电脑上的位置。稍后，你拿起手机说：“帮我预订一下我刚才看的那家餐厅。”

如果你今天向一个标准的 AI 智能体求助，它可能会陷入恐慌。它现在只能看到你的手机。它不知道五分钟前你还在笔记本电脑上查看餐厅。它可能会问：“你刚才是在哪个设备上？”或者“哪家餐厅？”这就像一个服务员只记得你刚刚下的订单，却忘记了你走进餐厅时说的所有话。

本文作者认为，目前的 AI 系统缺少一个关键要素：一个紧凑且可携带的状态（compact, carried state）。大多数智能体要么试图记住所有事情（这太沉重且缓慢），要么在时刻过去后就忘得一干二净。它们需要一种方式来携带一个容量恰到好处的“背包”——既能记住你在做什么，又足够轻便以便快速移动。

解决方案：“统一智能体”（The Unified Agent）

研究人员构建了一种新型 AI，称为统一智能体（Unified Agent）。把这个智能体想象成一位超级组织有序的私人助理，随身带着一本特殊的笔记本。

这个智能体并不试图记住你说过过的每一个字或你看过的每一个屏幕，它只会在笔记本上记录三件具体的事情：

参与证据（Engagement Evidence）： “用户在操作谁？用户盯着哪个设备的时间最长？”（例如：“用户在手机上停留了 5 分钟。”）
陈述事实（Stated Facts）： “用户提到了哪些事实？”（例如：“他们提到了一个具体的晚餐时间。”）
当前请求（The Standing Request）： “用户目前正在尝试做什么？”（例如：“他们想预订一张桌子。”）

每当你观察一个屏幕或说一句话时，智能体都会更新这个笔记本。当你稍后说“预订我刚才看的那家餐厅”时，智能体不需要猜测。它会打开笔记本，看到你刚才主要在使用手机，因此准确知道你指的是哪家餐厅。它不需要问“是哪个设备？”，因为答案已经在它的口袋里了。

实验：一个 3D 视频游戏世界

为了测试这个想法是否真的奏效，研究人员并没有仅仅靠猜测；他们构建了一个名为 UA-BENCH 的类视频游戏世界。想象一个虚拟的 3D 房屋，里面有电脑、笔记本电脑、手机，甚至还有一个机器人。他们创建了 100 个不同的场景，让一个虚拟人物以不同的顺序与这些设备进行交互。

在这些场景中，“用户”可能会看笔记本电脑，然后切换到平板电脑，最后在没有说明使用哪个设备的情况下要求智能体执行某项任务。研究人员随后让他们的统一智能体与四种其他类型的 AI 设计进行对决：

无状态智能体（Stateless agents）： 只关注当下时刻。
多智能体系统（Multi-agent systems）： 由不同的 AI 尝试投票决定该做什么。
重记忆系统（Memory-heavy systems）： 试图记住每一个细节。

结果：紧凑的背包胜出

结果非常明确。统一智能体的表现显著优于所有其他系统。在默认测试中，它的综合得分达到了 0.668，而排名第二的系统（一个试图记住一切的“全上下文/Full Context”系统）仅得分为 0.613。

其中的奥秘在于：统一智能体之所以获胜，不仅是因为它更聪明，更是因为它更高效。

“全上下文”系统的记忆像滚雪球一样，随着对话的进行变得大了 11 倍。
而统一智能体的记忆始终保持精简且有界限，无论交互持续多久，它都只保留重要的事实。

研究人员使用不同的“大脑”（不同的 AI 模型）和不同的思考能力水平进行了测试。在每种情况下，统一智能体都保持领先。它证明了拥有一个组织良好、精简的状态，比拥有一个更大、更复杂的记忆更为重要。

这为什么重要

这篇论文表明，AI 的未来不在于构建更大、更重、试图记住一切的“大脑”。相反，在于构建更好的组织者。

通过保留一份关于你做了什么以及在哪里做的“紧凑且随时待命”的摘要，AI 终于可以成为你在所有设备间穿梭的真正伙伴。它不再询问“刚才是在哪部手机上？”，而是开始说“明白了，正在通过您的手机预订桌位。”它将一系列互不相连的设备变成了一个单一、无缝的体验，而这一切都归功于一点点聪明的组织力。

技术摘要：统一智能体（Unified Agent）—— 管理跨设备交互

1. 问题定义

本文探讨了使单个 AI 智能体能够跨多个异构设备、在不同时间管理用户任务的挑战。当前主流的智能体系统在处理此类场景时面临一个关键局限：观察结果分散在不同的设备和时刻，而现有的架构并非为有效处理这种分散性而设计。

核心挑战： 当用户在稍后提出一个未指定设备的请求时（例如，“预订我之前一直在看的那个餐厅的桌位”），早期交互中的决定性线索（如注视、指向、屏幕参与度）可能已不再可见。
现有方法的局限性：
- 无状态/单智能体系统： 将设备视为工具，但缺乏有效的跨时间状态管理。一旦线索消失，相关的证据就会丢失，迫使智能体进行澄清式提问（例如，“是在哪个设备上？”）。
- 多智能体系统： 虽然可以在不同智能体之间进行协作，但通常无法维持跨设备、跨时间请求所需的“紧凑携带状态”（compact carried state）。它们通常基于当前的请求或静态端点来解析目标，而非基于累积的参与证据。
目标： 智能体必须维护一个组织良好的状态，整合参与证据、陈述的事实以及跨设备和时间的待处理请求，从而使其能够在原始线索消失后，仍能对未指定设备的请求做出响应。

2. 方法论：统一智能体 (Unified Agent)

作者提出了 Unified Agent，这是一种旨在跨设备和时刻传递交互证据的状态化智能体架构。

2.1 携带状态 ( $S_t$ )

与保留原始历史记录（其规模会随时间线性增长并竞争上下文窗口空间）的系统不同，Unified Agent 维护一个紧凑且可用于行动的状态 ( $S_t$ )，该状态在每个时刻 $t$ 进行更新。该状态由三个不同的流组成：

参与证据 (Engagement Evidence)： 随着时间的推移，累积与设备相关的交互线索（如指向、注视、手部接触），以支持识别相关设备。
陈述事实 (Stated Facts)： 按主题并（在可识别的情况下）按设备保存用户提供的信息。这确保了事实在不同设备之间是可区分的。
待处理请求 (Standing Request)： 保留最新的请求动作。

2.2 感知–折叠–行动流水线 (Perceive–Fold–Act Pipeline)

智能体通过一个持续循环运行（图 3）：

观察 (Observe)： 智能体接收来自设备摄像头的局部观察 ( $O_t$ ) 以及用户当前的言语。
更新/折叠 (Update/Fold)： 智能体将当前的观察“折叠”进前一个状态 ( $S_{t-1}$ )，从而生成更新后的状态 ( $S_t = U(S_{t-1}, O_t)$ )。此过程通过累积证据、记录事实和更新待处理请求来完成，而不存储完整的对话文本。
行动 (Act)： 智能体通过读取更新后的状态 ( $S_t$ $S_{t}$ ) 和当前观察 ( $O_t$ $O_{t}$ ) 来决定下一步行动 ( $a_t$ $a_{t}$ ) ( $a_t = D(S_t, O_t)$ $a_{t} = D (S_{t}, O_{t})$ )。
- 状态提供了历史上下文（例如，哪个设备具有最强的参与度）。
- 观察提供了即时上下文。
- 智能体利用这些组合输入来推断意图、召回相关事实，并通过共享语言接口将请求路由到适当的设备。

3. 基准测试：UA-BENCH

为了评估状态设计，作者构建了 UA-BENCH，这是一个用于跨设备交互的可复现基准测试。

环境： 一个包含屏幕设备（计算机、笔记本电脑、手机）以及潜在抓取机器人的渲染 3D 家庭场景。
结构： 剧集遵循设计的时序演进：
1. 初始观察建立场景。
2. 早期的交互通过视觉/语言线索建立用户与设备的参与关系。
3. 后期的未指定设备请求和召回问题测试系统在即时视觉证据发生变化时，是否仍能检索信息。
地面真值 (Ground Truth)： 评估目标直接源自受控的剧集规范（而非模型生成的标注），确保了物体身份、可见性和屏幕状态的精确地面真值。
任务： 该基准测试评估六项任务：检测用户/设备 (Detect)、识别参与设备 (Eng)、推断意图 (Int)、召回信息 (Inf)、选择响应设备 (Rsp) 以及决定下一步行动 (Nxt)。

4. 实验结果

作者在四种多模态大语言模型 (MLLM) 设置下，将 Unified Agent 与状态控制组（如 Full Context、Self-notes）及已发表的基准模型（如 Mixture-of-Agents、Mem0、MM-DST）进行了对比评估。

4.1 性能比较

整体优越性： 在默认设置（GPT-5.6-Luna，低推理强度）下，Unified Agent 的表现显著优于所有对比系统，取得了 0.668 的总分，而次优系统（Full Context）为 0.613。
具体增益： 在 下一步行动 (Nxt) 和 信息召回 (Inf) 任务中观察到了最大的优势；当线索被移除时，其他系统的性能大幅下降，而 Unified Agent 仍能保持高性能。
效率： 虽然 “Full Context”（保留所有原始历史）的表现尚可，但其状态大小呈线性增长，达到了 Unified Agent 状态大小的 11 倍。Unified Agent 的状态是有界的，其规模随观察到的设备和事实变化，而非随交互长度变化。

4.2 消融研究

作者测试了关键设计元素以理解其贡献：

参与证据： 移除计数或指向线索会显著降低识别参与设备 (Eng) 的能力。
先验状态： 移除先验状态会显著降低召回信息 (Inf) 的能力。
设备能力： 移除针对每个设备的处理条款会降低路由决策 (Rsp) 的准确性。
结论： 不同的任务需要不同的信息流；统一的状态有效地整合了这些互补的角色。

4.3 泛化性与现实世界验证

MLLM 鲁棒性： Unified Agent 的性能优势在不同的 MLLM 系列（Gemini 3.1 Flash-Lite, GPT-5.6-Luna, GPT-5.6-Sol）和不同的推理强度下依然存在。
真实照片： 在一个使用用户与笔记本电脑、平板电脑和手机交互的真实照片进行的案例研究中，Unified Agent 成功识别了参与度最强的设备，并召回了关于“我正在处理的餐厅”的正确时间，表现优于未能召回正确设备特定事实的基准模型。

5. 核心贡献

问题定义： 定义了用户在不同时间与不同设备交互时，由于线索消失而产生的特定挑战。
统一智能体 (Unified Agent)： 引入了一种状态化智能体，它维护一个包含参与证据、陈述事实和待处理请求的紧凑状态，并基于该状态加当前观察进行行动。
UA-BENCH： 构建了一个具有精确地面真值的基准测试，用于评估跨设备、跨时间的交互。
实证验证： 证明了设计良好的状态架构显著优于现有的设计适配和记忆基准模型，并在多种 MLLM 设置下表现出鲁棒性。

6. 重要性与主张

本文主张，Unified Agent 的主要优势在于状态是如何表示和使用的，而非增加了系统复杂度或学习了记忆机制。

状态设计作为补充： 研究结果强调，对于跨设备智能体而言，有效的状态设计是模型能力的至关重要的补充。
可用于行动的摘要： 通过将证据组织成紧凑且可用于行动的形式，智能体即使在原始视觉线索消失后，也能解决引用问题（例如，“我之前正在看的那个餐厅”），而无需向用户询问澄清信息。
隐私与效率： 该设计提供了一种比保留原始历史记录更具隐私保护性的替代方案。通过保留显式的、紧凑的参与和事实记录，而非完整的交互转录，系统在保持可检查性和可修正性的同时，最大限度地减少了数据留存。

作者总结道，Unified Agent 证明了通过维护一个有界的、结构化的状态，可以有效地管理跨设备和跨时间的交互，填补了当前主流智能体系统的空白。