技术总结：STOCKTAKE —— 衡量 LLM 智能体在感知与行动之间的差距

1. 问题陈述

大语言模型（LLM）智能体正越来越多地在长程决策任务（如供应链管理）中接受评估，这类任务的性能取决于从随时间变化的噪声观测中推断隐藏状态（如需求变化、供应商故障）的能力。当前评估的一个关键局限在于无法区分两种截然不同的失效模式：

1. 感知失效（Perception Failure）： 智能体未能正确推断隐藏状态（状态估计误差）。
2. 行动失效（Action Failure）： 智能体正确推断了状态，但未能采取适当行动（控制误差），这种现象被称为“知行差距”（knowing-doing gap）。

现有的基准测试通常依赖于拥有特权信息（真值/ground truth）的参考策略（先知/oracles），而这些信息对智能体而言是不可见的。这种混淆使得人们无法将成本归因于特定的失效模式：表现不佳究竟是因为智能体不知道真相，还是因为知道真相却无法采取行动？此外，许多基准测试缺乏对智能体所陈述的信念及其行动进行同步评分的机制。

2. 方法论：STOCKTAKE 基准测试

作者引入了 STOCKTAKE，这是一个为期 26 周的供应链补货基准测试，旨在分离并测量上述失效模式。

2.1 环境设计

• 任务： 智能体扮演电子产品进口商的补货经理，根据包含噪声症状的仪表盘每周做出订货决策。
• 隐藏状态（因子化 POMDP）： 该环境是一个部分可观测马尔可夫决策过程（POMDP），具有六个独立的隐藏因子过程：需求机制、供应商健康状况、货运市场、港口拥堵、批次质量和运河状态。
• 观测值： 智能体每周接收噪声化的症状（例如，泊位等待时间、缺陷报告），但永远无法直接看到隐藏状态。
• 行动独立性： 至关重要的是，隐藏状态的动态是与行动无关的。在智能体行动之前，由固定种子生成的“事件序列”（隐藏状态变化和噪声的序列）已经确定。这确保了运行在同一种子上的任何策略都面临完全相同的冲击，从而实现公平比较。
• 压力剖面（Stress Profiles）： 该基准测试使用 50 个经过策划的种子，分为三类压力剖面：
  • ISOLATED（孤立型）： 短暂、非重叠的单因子冲击。
  • PERSISTENT（持续型）： 多周重叠（例如，港口拥堵与需求上升同时发生）。
  • COMPOUND（复合型）： 三个或更多并发因子事件的堆叠。

2.2 公平先知（Fair Oracle）

为了分离感知与行动，STOCKTAKE 采用了 公平贝叶斯先知（Fair Bayes Oracle）：

• 条件约束： 与特权先知不同，该参考策略是以与 LLM 智能体完全相同的观测流为条件的。它从未见过隐藏状态。
• 机制： 它利用针对六个因子的精确贝叶斯滤波器来维持对隐藏状态的后验信念。随后，它通过采样未来情况并选择成本最小化的行动来驱动展开策略（rollout policy）。
• 不对称性： 唯一公开的不对称性在于，先知使用了真实的生成参数（转移概率、机制均值），而 LLM 仅接收定性的描述。因此，先知代表了在给定真实模型下的贝叶斯最优策略，而非全知全能的策略。

2.3 指标

该基准测试引入了一套指标来解耦状态估计与控制：

1. 技能得分（Skill Score）： 一个范围在 0 到 1 之间（并可能超过 1）的归一化分数。
   • 0（底线/Floor）： 忽略所有症状的无症状基准库存政策。
   • 1（先知/Oracle）： 公平贝叶斯先知的平均成本。
   • 解释： 分数 > 0 表示智能体比忽略症状的表现更好；分数 < 0 表示智能体的表现甚至不如盲目规则。
2. 检测滞后（Detection Lag）： 从隐藏压力机制开始，到智能体在其书面理由中首次提及该因子的周数。
3. 知行率（Knowing-Doing Rate）： 在智能体已正确诊断出压力因子的周内，发生缺货（stockout）的概率。这衡量了在拥有正确信念的情况下未能采取行动的情况。

2.4 实验设置

• 模型： Claude Sonnet 5, GPT-5.4, DeepSeek-V4-Pro, 和 Grok 4.5。
• 协议： 每个模型在所有 50 个种子（共 200 个回合）上运行，采用“仅规则”提示词，不提供策略手册或示例。
• 信念评分： 利用辅助 LLM 对智能体每周的书面理由进行评分，以确定特定因子是否被正确识别。

3. 核心结果

对四个前沿模型进行的 200 个回合评估得出了几个反直觉的发现：

3.1 统一的感知，分化的行动

• 状态估计： 四个模型表现出了几乎一致的状态估计能力。它们能检测到 84–88% 的隐藏压力事件，通常在发生后的 0.32–0.42 周内完成检测。
• 控制失效： 尽管检测能力一致，但技能得分差异巨大，范围从 0.62 (GPT-5.4) 到 −0.23 (DeepSeek-V4-Pro)。
• 底线悖论（The Floor Paradox）： 有两个模型（DeepSeek-V4-Pro 和 Grok 4.5）最终获得了负的技能得分。在大约一半的种子中，一个忽略症状的基准库存规则会比基于其大致正确的诊断进行行动更具成本效益。

3.2 知行差距的两面

论文指出，“知行差距”以两种相反的方向表现出来：

1. 反应不足（导致缺货）： 即便进行了正确诊断，模型仍无法防止缺货。在 PERSISTENT（持续型） 种子中，34–43% 被正确诊断的压力周仍然出现了缺货。
2. 反应过度（成本过高）： 模型可能会基于正确的诊断采取行动，但成本过高。那些获得负技能得分的模型（DeepSeek, Grok）在被诊断出的周内的缺货率最低，但总成本最高。它们在保护措施上“过量给药”（例如，锁定运费率、空运加急），其程度超过了症状本身的价值。

3.3 压力剖面的敏感性

• GPT-5.4 在 COMPOUND（复合型） 压力下表现最好 (Skill 0.86)，但在 ISOLATED（孤立型） 压力下表现挣扎。
• Claude Sonnet 5 在 PERSISTENT（持续型） 压力下表现最好 (Skill 0.70)，但在 COMPOUND（复合型） 压力下最弱。
• 整体表现最差的模型（DeepSeek, Grok）显示出最短的检测滞后，这证实了失败不在于观察，而在于基于该观察所衍生的策略。

4. 贡献

1. 公平先知基准测试： 引入了一个六因子的供应链 POMDP，其上限参考是一个可计算的、公平的贝叶斯滤波器先知，该先知以智能体完全相同的观测流为条件。这使得可以将成本专门归因于“行动”阶段而非“认知”阶段。
2. 受控压力轴： 一种生成具有固定隐藏压力剖面（ISOLATED, PERSISTENT, COMPOUND）作为独立变量的种子的方法论，保持世界模型不变。
3. 解耦指标： 一个可以分别测量状态估计（检测滞后）和控制（技能得分、知行率）的框架，揭示了当前的 frontier 智能体主要在控制而非感知方面存在失败。

5. 意义与主张

论文声称，STOCKTAKE 提供了首个严谨的证据，证明 LLM 智能体在长程任务上的性能退化集中在控制（策略提取）而非状态估计（推理）。

• 瓶颈： 当前智能体的主要瓶颈在于正确的陈述信念与由此产生的昂贵行动之间。
• 现有评估的局限性： 作者认为，使用特权先知的基准测试混淆了“不知道”与“知道但不会做”，从而掩盖了智能体失效的具体性质。
• 研究范围有限： 作者承认该基准测试涵盖单一领域（进口补货）、单个 SKU 以及四个模型。他们明确表示结果并不推广到所有智能体任务，而是强调了顺序决策下部分可观测性的一个特定失效模式。
• 未来方向： 论文建议，修复这些智能体需要不同的干预措施：改进推理脚手架（scaffolding）并不是解决方案（因为感知已经很强了）；重点必须转向更好的策略提取和具有成本意识的行动选择。

论文得出结论，虽然智能体越来越能够“看见”隐藏的世界，但它们在执行这种视觉所要求的“行动”方面仍然不稳定，经常在反应不足（导致缺货）和反应过度（导致高昂成本）之间摇摆。