✨ 要点🔬 技术摘要
想象一下，你刚刚制造出了一个超级智能的机器人管家。你教会了它如何开门、开灯，甚至订披萨。但问题在于，在现实世界中，你的机器人并不只是生活在真空里，它生活在“你的”房子里，遵循着“你的”规则。也许你对前门有一个秘密代码，或者在特定时间不能开灯，又或者有一条规则规定除非你给予许可，否则机器人不能碰饼干罐。这就是“个人人工智能助手”的世界。它们不仅仅是回答琐碎知识的聊天机器人；它们是旨在管理你生活的数字助手，从你的健康数据到你的购物清单。但这里有一个大问题：这些机器人真的能处理你生活中那些混乱、复杂且多变的现实吗？在你的生活中，情况一直在变化，权限非常微妙，而且它们必须记住五分钟前发生了什么，才能知道下一步该做什么。科学家们一直试图测试这些机器人，但大多数测试都像是玩电子游戏，规则简单且每次都会重置世界。它们并没有真正测试机器人是否能够应对一个统一的、有状态的环境，即你的个人设置和权限至身相关的环境。
于是，一项名为 PAUSE 的新研究出现了，它就像是一个针对人工智能助手的巨大且真实的障碍赛跑场。研究人员——来自阿尔伯塔大学的一个团队——构建了一个模拟世界，这个世界感觉就像一个真实的人的数字生活。在这个世界里，人工智能必须处理不同的服务——比如查看你的健身日志、管理你的健康预约或购买杂货——同时必须尊重你的特定权限以及你账户的当前状态。把它想象成一本“选择你自己的冒险”类书籍，人工智能必须追踪你所做的每一个选择、你设置的每一个密码以及你拥有的每一项订阅，同时还要努力完成一项任务。该团队创建了一个流水线，用于生成数百个这类棘手的场景，范围从简单的资料查询到复杂的、需要多步骤购物任务的行动，而在这些任务中，如果人工智能遇到了权限壁垒，它需要向“你”寻求帮助。
当他们让最新、最先进的人工智能模型接受 PAUSE 测试时，结果却让人清醒。即使是来自大型科技公司最先进、最昂贵的人工智能模型也表现挣扎。虽然它们擅长处理简单任务，但当它们需要对复杂的、变化的各种状态进行推理，或者需要弄清隐藏的系统规则时，成功率就会显著下降。事实上，在需要这种“有状态推理”的最难任务中，即使是顶尖的模型也无法在超过 30% 的情况下完成任务，这意味着它们无法达到 70% 的成功率。这项研究表明，仅仅擅长调用工具是不够的；人工智能需要更好地理解你个人数字环境中的“为什么”和“如何”。研究人员发现，最大的障碍并不是人工智能的语言或阅读能力，而是它记忆和推理你生活中的隐形规则的能力，比如机器人忘记了在打开饼干罐之前需要获得你的许可。这项工作不仅展示了机器人在哪里失败了，还为我们提供了一种更公平的测试方式，以便我们能够构建出真正准备好在现实世界中帮助我们的助手。
技术摘要：PAUSE —— 面向个人 AI 助手的以用户为中心的基准测试
问题陈述
个人 AI 助手正越来越多地作为工具增强型智能体，部署在统一的服务环境中，以支持日常用户活动。现实的部署要求这些智能体能够在持久的用户状态上进行推理，尊重用户特定的配置（权限、订阅、账户设置），并在跨多个服务的长程、受约束交互中保持连贯性。
现有的工具使用大语言模型（LLM）基准测试在这一背景下存在显著局限性。早期的基准测试侧重于 API 覆盖率和工具调用准确性，而最近的努力（例如基于 MCP 的基准测试）通过引入多样化工具扩大了规模。然而，这些方法往往会割裂服务上下文或抽象掉用户状态。它们未能将助手作为面向用户的系统进行评估，即必须在统一的、以用户为中心的服务环境 中运行，且访问受到权限和系统配置的限制。因此，当前的基准测试无法充分评估智能体在维持连贯状态、推理隐藏配置依赖关系或维持长程用户耦合交互方面的能力。
方法论
PAUSE 基准测试
PAUSE 是一个旨在评估在有状态、集成服务环境中的个人 AI 助手的以用户为中心的基准测试。该基准测试实例化在个人健康管理 领域，该领域因其异构数据源、外部设备集成和对权限敏感的资源而被选中。
关键系统特性：
统一环境： 所有服务都在共享的、持久的系统配置（权限、钱包状态、订阅）下运行，这些配置对助手而言在很大程度上是不可见的，必须通过推理获得。以用户为中心的约束： 助手不能直接修改关键系统配置；它们必须与用户交互以解决约束（例如，请求连接设备的权限或为钱包充值）。任务多样性： 该基准测试包含 180 个任务，分为三类：
数据与日志追踪（简单）： 直接的数据检索。数据与日志追踪（困难）： 需要系统配置推理的多步执行（例如，连接断开的数据源、升级订阅）。购物： 长上下文多约束优化（产品选择、预算管理、优惠券使用）。
合成流水线
PAUSE 采用了一个可扩展的多智能体合成流水线来生成连贯的环境和带注释的任务：
以用户为中心的任务生成： 任务基于代表具体用户拥有的资源的合成模板采样数据。LLM 根据底层状态生成高层级描述和显式目标条件 (τ \tau τ 引导式轨迹展开： 最先进的 LLM 与系统及模拟用户智能体进行交互，以收集真实的执行轨迹。展开提示词 (P r o l l o u t P_{rollout} P r o l l o u t 目标对齐验证： 由一个 LLM 委员会过滤轨迹，选择优选路径，并将其与预定义的目标集 τ \tau τ
评估框架
PAUSE 采用了针对任务特征定制的多机制评估框架 ：
开放式任务（数据/日志追踪）： 使用混合方法进行评估。
基于目标的评估： LLM-as-judge 根据显式目标 (τ \tau τ 轨迹级评估： 通过确定性指标（精确率、召回率、F1）衡量模型的工具调用序列与参考轨迹之间的重叠度。
约束密集型任务（购物）： 通过确定性的基于状态的验证（例如，产品 ID、数量、预算可行性）进行评估，而不依赖于参考轨迹。
核心贡献
全面的、以用户为中心的基准测试： PAUSE 引入了一个在具有持久用户状态和权限限制资源的统一环境中评估助手的基准测试，超越了以工作流为中心和工具孤立的设置。多机制评估框架： 一种原则性的策略，结合了用于开放式任务的 LLM 基于语义的判断和轨迹级行为重叠，以及用于约束密集型任务的确定性状态验证。可扩展的合成流水线： 一个多智能体流水线，能够大规模生成连贯的环境状态、真实的交互轨迹以及目标对齐的注释，支持基准测试的可扩展性。
实验结果
作者评估了一系列多样化的最先进的专有和开源模型（包括 GPT-5、Gemini-3 和 DeepSeek-V3.2）。
性能差距： 即使是最先进的专有模型，在需要状态推理和配置感知的情景下，任务完成率也未能达到 70% 。任务难度： 与“简单”任务相比，“困难”任务的性能大幅下降。虽然顶尖模型在简单的检索任务上达到了接近饱和的性能，但在需要隐式系统约束推理的困难任务上表现出明显的下降。错误分析：
强模型（如 Gemini-3-Flash）： 失败主要集中在系统配置推理 （例如，未能推断出某个数据源已断开连接）。基础工具使用能力仍然稳健。较弱模型： 除了系统配置错误外，还在数据一致性、资源导航和时间推理方面存在根本性的困难。
消融研究： 提供关于系统配置的显式策略引导提高了所有模型的性能，特别是减少了强模型的系统相关错误。这表明，虽然更强的模型可以利用显式策略，但深层的推理局限性依然存在。评估可靠性： LLM-as-judge 评估与人类标注显示出高度一致性（80–87%），验证了其作为复杂、开放式智能体任务可靠代理的有效性。
意义与主张
论文声称 PAUSE 揭示了当前 AI 助手中一致且可解释的失败模式，证明了有效的工具调用本身不足以 在现实的服务设置中实现稳健的表现。该基准测试凸显了明显的性能差距，主要体现在：
对隐式系统配置的推理能力 （例如，权限、订阅）。维持长程、用户耦合的交互能力 ，其中智能体必须与用户协调以解决状态约束。在异构服务间维持连贯状态的能力 。
作者将 PAUSE 定位为不仅是一个评估工具，更是未来模型分析、蒸馏以及开发能够在统一、以用户为中心的服务环境中运行的智能体方面的基础。这项工作强调，智能体需要具备推理隐藏依赖关系和管理状态转换的能力，而不仅仅是执行工具调用。
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。