MyPCBench: A Benchmark for Personally Intelligent Computer-Use Agents
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在雇佣一名私人助理来帮你打理生活。你不会给他们一张全新的、空荡荡的办公桌，上面没有任何文件、照片，也没有关于你是谁的记忆，对吧？你会期望他们知道你最喜欢的咖啡店、你的银行账户余额、你即将到来的假期，以及朋友的生日。
问题所在：“空桌子”测试
目前，我们用来测试 AI 计算机是否足够聪明以胜任私人助理的测试，就像是在给它们那张空桌子。AI 被要求在一个没有任何历史记录、没有登录账号、没有个人数据的计算机上执行任务。这就像是在不知道你是谁、也不知道你平时习惯点什么的情况下，要求某人“按惯例订一份晚餐”。
论文指出，这是一个巨大的差距。真正的私人助理需要能够处理一个混乱、互联且充满个人历史的数字生活。
解决方案：MYPCBENCH（“迈克尔·斯科特”模拟实验）
为了解决这个问题，研究人员构建了一个名为 MYPCBENCH 的新测试。他们没有提供一张空桌子，而是为特定角色——电视剧《办公室》中的 迈克尔·斯科特（Michael Scott） 构建了一个功能完整的数字生活。
你可以把这想象成构建了一个庞大的、可交互的游戏世界，其中：
- 角色： 迈克尔·斯科特是“用户”。
- 数据： 计算机预装了 1,812 笔银行交易、2,398 封电子邮件、679 个日历事件和数千条聊天消息。
- 应用软件： 拥有 17 个不同的“虚假”网站（例如虚假银行、虚假航空公司、虚假外卖应用），它们都是相互关联的。如果迈克尔在虚假航空公司预订了航班，一笔费用会自动出现在他的虚假银行账单中，并且一封确认邮件会落在他的虚假收件箱里。
- 目标： AI 必须扮演迈克尔的助理，通过操作这些应用来解决现实生活中的问题。
测试内容：184 项现实世界挑战
研究人员根据人们向 AI 助手提出的真实请求，创建了 184 个具体的任务。这些任务从简单到极其复杂不等：
- 简单任务： “通过 Zelle 给帕姆（Pam）转 100 美元。”（AI 必须先检查联系人中是否有帕姆）。
- 复杂任务： “我预订了去牙买加和巴巴多斯的行程。根据我目前的信用卡余额，我负担得起这两次旅行吗？”（AI 必须查看银行应用、旅行应用并进行计算）。
- 模式发现： “我通常在外卖配送时给多少小费？”（AI 必须扫描数百个过去的订单以寻找规律）。
结果：AI 在“现实生活”面前表现挣扎
研究人员在六个目前最强大的 AI 模型（来自 Anthropic、OpenAI 等公司）上进行了这项测试。结果如下：
- 表现最好的模型： 顶尖的模型（Claude Opus 4.6）能够完美解决约 55% 的任务。这听起来不错，但请记住，这已经是目前最优秀的 AI 了。它仍然有一半左右的时间在失败。
- “多应用”问题： 当任务需要使用超过一个应用时，AI 的表现显著变差。当一个任务需要 AI 在 7 个或更多不同的应用之间跳转（例如先查邮件，再查日历，然后查银行，最后查旅游网站）时，大多数模型的成功率降至 0%。
- “长记忆”问题： AI 在追踪长链条动作方面表现吃力。如果一个任务需要 50 个步骤，AI 经常会迷失方向或放弃。
- 不同的失败风格：
- 有些 AI（如 GPT）倾向于过早放弃，在实际完成工作之前就说“我做完了”。
- 有些 AI（如 Qwen）开始编造事实，捏造一些并不存在于数据中的关于迈克尔·斯科特的事实。
- 最好的 AI（Claude）有时会通过使用计算机命令行（像黑客一样）来走捷径，而不是像普通人那样点击菜单进行操作。
核心结论
论文得出结论，虽然 AI 在使用计算机方面正在变得越来越好，但它尚未准备好成为一个真正的“私人”助理。它可以处理干净、简单的任务，但当它必须在一个混乱、互联且带有个人历史的现实世界数字生活中穿梭时，它就会崩溃。
研究人员向公众发布了他们的测试环境（即“迈克尔·斯科特”计算机），以便其他科学家可以尝试构建能够真正处理人类复杂数字生活的更好助手。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。