ProEvent: An Event-centric Benchmark for Proactive Agents
本文介绍了 ProEvent，这是首个用于评估主动型智能体从即时通讯聊天中自主追踪用户事件能力的以事件为中心的基准测试，揭示了当前的大语言模型在时机把握、事件取消以及隐式推理方面存在显著困难。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你拥有一个超级聪明的数字助手，它不仅仅是在等待你寻求帮助，而是像鹰一样注视着你的生活，在你开口之前就猜到你的需求。这就是“主动型智能体”（proactive agents）的梦想。不同于那种在按下按钮后才开始工作的普通机器人，主动型智能体就像一位私人厨师，在闻到大蒜味的那一刻就开始切菜；或者像一位朋友，在天空变灰的一瞬间就把伞递到你手中。目前计算机科学领域的一个重大挑战在于，如何教这些数字大脑在不被人类生活的混乱与复杂所迷惑的情况下完成这项工作。我们知道计算机擅长遵循严格的规则，但现实生活充满了隐晦的暗示、重叠的对话，以及人们在没有说出“取消”的情况下改变主意的情况。如果我们希望这些智能体真正变得有用，它们需要能够通过仅仅听取我们的文本消息来追踪我们的未来计划——比如一次远足或一场会议——并且需要准确知道何时该开口，何时该保持沉默。
于是，PROEVENT 诞生了。这是一个由研究人员设计的全新“训练场”，旨在测试这些数字助手是否真的准备好应对现实世界。把 PROEVENT 想象成一个巨大的、高风险的电子游戏关卡，玩家是一个试图管理人类日程的 AI。研究人员并没有给 AI 一个整齐的预约清单，而是向其输入一段混乱且真实的聊天信息流。AI 必须倾听朋友、同事和家人之间的对话，弄清楚正在策划哪些活动，并据此更新日历。但这里有一个转折：这些聊天内容充满了干扰项。其中有关于无关琐事的旁支对话，有人在计划进行到一半时改变主意，还有些消息听起来像是取消，但实际上并不是。AI 必须同时扮演侦探、记录员和时间管理者的角色。
研究人员通过创建数千条非常真实的虚假聊天日志构建了这个测试。他们为“角色”编写了不同的性格和目标，并模拟了复杂的场景，例如人们在协商会议时间、因为身体不适而取消计划，或者尝试安排一些从未真正发生的活动。他们甚至加入了“噪声”——即与主要事件无关的随机消息——以观察 AI 是否会被分散注意力。目标很简单：AI 能否仅通过阅读这些聊天内容，就正确地构建并更新时间表？
当他们让八个不同的强大 AI 模型接受这项测试时，结果既有“还不错”也有“糟糕透了”。最大的惊喜是，这些 AI 往往表现得过于急躁。想象一只看到叶子动一下就狂吠不止的狗；这些 AI 即使在没有任何变化时也总是试图更新日历。事实上，对于像 DeepSeek-V3.2 这样的模型，在原本应该保持沉默的情况下，它们尝试进行更改的频率竟然超过了 96%。它们因为太害怕错过任何一个可以提供帮助的机会，反而造成了混乱。
另一个主要障碍是取消。如果用户说：“我感觉不太舒服，可能去不了了，”人类知道这意味着一次取消。AI 其实相当擅长察觉到可能需要删除（捕捉到了大约一半的实际取消情况），但它们很难做到确定。它们经常删除仍在进行的活动，或者误删了错误的计划。论文指出，即使是最先进的模型（如名为 GPT-5.1 的模型），在这些棘手场景中也仅能获得约 26.7% 的正确答案。这意味着在大约四分之三的情况下，AI 都搞砸了日程安排。
研究还发现，这些数字大脑有一个奇怪的盲点：它们并不真正理解自己在帮助谁。当用户说“我不能去派对”时，AI 往往只是从宾客名单中删除了用户的名字，却让派对依然留在日历上。这就像一名服务员，当你表示吃饱了时，他只是把你从预订名单中移除了，却依然为你摆好了桌椅。AI 是从外部视角观察这个事件，像一个第三方观察者，而不是站在用户的立场思考：“噢，我（用户）不去参加了，所以这个活动对我来说已经结束了。”
简而言之，虽然这些 AI 智能体正在变得越来越聪明，但它们离成为你主动的生活管理者还有一段距离。它们太容易受惊，会被复杂的对话搞混，并且难以区分“也许”和“不”。研究人员希望通过使用 PROEVENT 来明确展示这些 AI 在哪里失败，从而让未来的版本能够学会更加耐心、更加准确，并最终变得更像是一位懂得在何时递上雨伞的得力人类朋友。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。