🤖 AI

Beyond Reactivity: Measuring Proactive Problem Solving in LLM Agents

本文介绍了 PROBE，这是一个将主动性分解为搜索、识别和解决未指明问题的新基准，用于评估大语言模型智能体，并揭示了即使是像 GPT-5 和 Claude Opus-4.1 这样最先进的模型，在实现高水平自主性能方面也表现挣扎，最高得分仅为 40%。

原作者： Gil Pasternak, Dheeraj Rajagopal, Julia White, Dhruv Atreja, Matthew Thomas, George Hurn-Maloney, Ash Lewis

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Gil Pasternak, Dheeraj Rajagopal, Julia White, Dhruv Atreja, Matthew Thomas, George Hurn-Maloney, Ash Lewis

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：从“等待指令”到“预判需求”

想象你有一个非常聪明、反应极快的私人助理。目前，大多数这类助手都像是餐厅里的点餐员。你需要看菜单，决定想要什么，然后说：“我要一个汉堡。”助手随后就会去取汉堡。他们是**被动响应式（reactive）**的；只有在你告诉他们时，他们才会行动。

这篇论文的作者想要研究的是，我们能否打造出更像一位体贴的管家的助手。一位优秀的管家会观察你的举止，注意到你在看表并叹气，然后说：“我看到您的会议在10分钟后开始，而您还没准备好演示文稿。我已经把资料放进您的包里，并叫好了车。”这就是**主动性（proactive）**行为。

论文提出了一个问题：目前的 AI 智能体（Agents）真的能做到这一点吗？ 它们能否在面对一堆混乱的邮件、日历和文档时，在没人提醒的情况下，发现哪里出了问题并将其修复？

问题所在：“大海捞针”测试

为了测试这一点，研究人员意识到现有的测试太简单了。那些测试就像是让助手在一个小抽屉里找一只红袜子。而现实生活更难；它像是要在成千上万件衣服的仓库里找一只红袜子，而这只袜子可能出现在三周前的一份便笺里，混杂在一千份关于午餐计划和天气的笔记中。

为了解决这个问题，他们构建了一个名为 PROBE（主动解决瓶颈）的新测试。

PROBE 的运作方式：

设定场景： 他们为 235 个不同的虚构人物（如高级会计师或项目经理）创建了 1,000 个虚构的“工作日”。每个人都有一个庞大的数字“数据存储库”，包含数百封电子邮件、日历邀请和文本文件。
隐藏问题： 在每个场景中，他们都隐藏了一个特定的问题（即“瓶颈”）。例如，一份关键报告缺少签名，或者因为文件格式错误导致错过了截止日期。
陷阱： 问题并不显眼。证据分散在 5 到 6 封不同的邮件和日历事件中。此外，还有数百个“干扰项”文档（如关于午餐或天气的邮件），旨在迷惑 AI。
目标： AI 智能体必须：
- 搜索： 在“干草堆”中挖掘出相关的线索。
- 识别： 弄清楚到底出了什么问题（例如，“文件格式错了”，而不是“截止日期到了”）。
- 行动： 从 25 个可能的行动中选择那一个正确的行动来解决问题（例如，“给 IT 团队发邮件”而不是“重新安排会议”）。

结果： “40% 的天花板”

研究人员测试了目前最智能的 AI 模型（如 GPT-5 和 Claude Opus）以及各种“智能体框架”（即不同的 AI 思考编程方式）。

令人震惊的结果是：即使是最顶尖的 AI 模型，成功率也仅为 40%。

你可以这样理解：如果世界上最聪明的医生在参加一场旨在测试他们能否在没人告知病情的情况下诊断患者的考试时，只能答对 40% 的题目，那么我们就知道我们还有很长的路要走。

他们在哪里失败了？

搜索阶段： 他们经常遗漏线索。他们查看了错误的邮件或忽略了日历。
诊断阶段： 即便找到了线索，他们也经常误判问题。他们可能会认为问题是“工作量太大”，但实际问题是“缺少一个文件”。
修复阶段： 有时他们知道问题所在，却选错了解决方案（比如在只需要修理工时却叫来了警察）。

人类对比

研究人员还让真人进行了这项测试。

难点： 测试内容太长，人类无法一次性读完（全文达 10 万字！）。
解决方法： 他们给人类提供了一个“精简版”，由人类总结了重要部分。
结果： 人类在精简版上的表现要好得多（成功率约为 70-80%）。这证明了主要困难不在于逻辑本身，而在于信息的长度和复杂度。AI 在处理海量数据堆时，很难维持对全局的掌控。

结论：我们仍处于“被动响应”阶段

论文总结道，虽然 AI 在遵循指令方面正在进步，但在自主预判问题方面仍然表现糟糕。

差距： “做你要求的事”与“搞清楚需要做什么”之间存在着巨大的鸿沟。
未来： 要达到“管家”的水平，AI 需要在阅读长文档、跨时间连接信息点以及理解人类关系（例如，知道该给谁发邮件，以及该忽略谁）方面变得更加出色。

简而言之： 我们已经造出了非常强大的引擎，但它们仍然需要人类来掌舵并告诉它们往哪儿看。它们还没有准备好独立驾驶汽车。

技术摘要：PROBE —— 衡量 LLM 智能体的主动性问题解决能力

1. 问题定义

目前的语言大模型（LLM）智能体主要是反应式的，仅在收到明确的用户指令后才进行操作。尽管在编码和网页导航等反应式领域已取得了显著进展，但向主动式智能体（即能够预判用户需求、自主识别问题并在无需提示的情况下执行解决方案的智能体）的转变仍未得到充分评估。

现有的主动性基准测试受限于以下因素：

局部上下文： 它们通常依赖于狭窄、即时的时序上下文，无法捕捉需要跨多个文档进行长期分析的洞察。
缺乏搜索能力： 它们未能充分测试智能体在未指明问题的情况下，通过搜索“用户数据存储库”来寻找问题的能力。
合成约束： 由于隐私问题和标注成本过高，难以收集用于长程主动性任务的真实世界数据。

核心挑战在于评估智能体是否能够：(1) 在个性化数据存储库中搜索未指明的问题，(2) 识别特定的“瓶颈”（关键且可操作的问题），以及 (3) 在多种合理的备选方案中执行正确的解决方案。

2. 方法论：PROBE 基准测试

为了填补这些空白，作者引入了 PROBE（瓶颈的主动解决，Proactive Resolution of Bottlenecks）基准测试，旨在通过一个三阶段流水线将主动性操作化。

2.1 数据生成流水线

该基准测试利用合成数据生成流水线创建了 1,000 个多样化的测试样本，从而规避了隐私风险：

世界模型构建： 系统从真实的 LinkedIn 个人资料出发，为模拟用户构建全面的“世界模型”。这些模型编码了职场层级、沟通风格、痛点以及可用的行动空间。
瓶颈生成： 对于每个用户，系统会生成一个特定的“瓶颈”——一个关键且可操作的问题（例如：错过的截止日期、缺失的文档），该问题隐藏在用户的文档历史中。
文档合成： 为每个样本创建一个数据存储库 ( $D$ $D$ )，包含：
- 正样本 ( $T$ )： 包含瓶颈证据的文档。证据通常分布在多个文档中，需要进行综合分析和时序推理。
- 干扰项 ( $K$ )： 具有相似长度和相关性的现实且无关的文档（如电子邮件、日历事件），用以引入噪声。
行动空间： 定义一组候选行动 ( $A$ )，其中恰好有一个行动 ( $a^*$ ) 能正确解决瓶颈，而其他行动虽然看似合理但并非最优。

2.2 任务形式化

智能体接收数据存储库 $D$ 和行动集 $A$ 。它必须输出一个元组 $\hat{O} = (\hat{T}, \hat{b}, \hat{a}, \hat{p})$ ：

$\hat{T}$ ：识别出的相关文档子集。
$\hat{b}$ ：识别出的瓶颈描述。
$\hat{a}$ ：选定的行动。
$\hat{p}$ ：所选行动的参数。

2.3 评估指标

性能在三个层级阶段进行衡量：

搜索： 用于检索正确文档 ( $T$ ) 的精确率（Precision）、召回率（Recall）和 F1 分数。
瓶颈识别： 通过 LLM-as-a-judge（LLM 作为评判者）框架进行评估，对关键细节（根本原因、阻碍因素）和非关键细节的准确性进行评分。
任务执行： 对所选行动的正确性及其参数完整性进行评分。

在“短上下文”子集（移除干扰项）上的真人评估显示，标注者达到了约 71% 的识别得分和约 67% 的执行得分，这验证了完整基准测试的主要难度在于长上下文推理和搜索，而非任务本身的歧义性。

3. 核心贡献

PROBE 基准测试： 一个包含 1,000 个样本的数据集，通过跨长程、多文档上下文的搜索、识别和执行这一统一框架，系统地评估主动能力。
全面评估： 对前沿闭源模型（GPT-5、Claude Opus 4.1 等）和开源模型（DeepSeek-R1、Kimi K-2）以及领先的智能体框架（ReACT、Reflexion、ReWOO）进行了严格评估。
失效模式分析： 深入剖析了系统的失败点，区分了搜索错误、推理错误（根本原因识别）和执行错误（参数指定）。

4. 结果

评估揭示了当前 AI 系统在主动性任务中存在的显著能力天花板：

端到端性能较低： 即便是最先进的模型也难以实现高成功率。表现最好的端到端性能（任务执行得分）为 40%，由 GPT-5 和 Claude Opus 4.1 并列实现。
流水线瓶颈：
- 搜索： GPT-5 以 0.65 的 F1 分数领先，而其他模型则大幅下降（例如 GPT-OSS-20b 仅为 0.04）。
- 识别： Claude 模型（Opus 4.1, Sonnet 4）在推理方面略有优势（0.43 分），而 GPT-5 为 0.42，这表明存在搜索强度与推理深度之间的权衡。
- 执行： 性能从识别阶段到执行阶段大幅下降。模型往往能正确识别问题，但在选择正确行动或提供完整参数方面失败。
智能体框架： 标准框架（ReACT, Reflexion, ReWOO）的表现明显逊于“开箱即用”的 LLM，其执行得分范围仅在 0.01 到 0.11 之间。这归因于它们依赖的迭代检索工具在缺乏明确搜索目标的大规模非结构化数据存储库中难以发挥作用。
失效模式：
- 根本原因识别： 这是主要的失效模式，占识别错误的 73.8%。即使是顶尖模型也经常误判根本原因。
- 人际关系推理： 模型在处理关系和角色方面表现挣扎（失败率在 46.9%–78.0% 之间），经常无法将瓶颈归因于正确的人员。
- 参数指定： 存在高比例的缺失关键参数（65%–79%）或参数填充错误的情况，表明在诊断问题与制定精确解决方案之间存在差距。

5. 重要性与主张

论文指出，PROBE 揭示了当前自主智能体系统的一个根本局限性：无法可靠地将长程上下文转化为可操作的、参数化的解决方案。

超越反应式： 结果强调，仅仅扩展模型规模或使用标准的智能体循环（如 ReACT）不足以实现真正的自主性。从“反应式”工具到“主动式”助手之间仍存在巨大鸿沟。
忠实的证据使用： 作者认为，未来的进步取决于“忠实的证据使用”——即能够通过综合来自多个来源的信息，在尝试解决问题之前准确识别瓶颈。目前的模型经常通过“走捷径”来猜测解决方案，导致识别得分较高但执行得分较低。
研究方向： 论文确定了未来的具体研究方向，包括：
- 开发结合动态时序和演进用户模型的基准测试（超越固定的世界模型）。
- 将评估扩展到行动会修改智能体状态的多步工作流。
- 提升人际关系推理和根本原因分析的能力。

总之，本文认为，尽管 LLM 在反应式任务中取得了巨大进步，但迈向主动自主性的飞跃需要解决复杂的挑战，包括长上下文搜索、多文档综合以及精确的行动规划，而目前的顶尖模型尚未掌握这些能力。