Agent Step Value: Probing the Observer Effect in Black-Box Traces

技术摘要：智能体步骤价值 (Agent Step Value, ASV)

问题陈述
针对语言模型智能体的最终答案评估对于黑盒分析而言是不充分的，因为它们掩盖了哪些特定的轨迹转换（transitions）改善或降低了智能体的状态。虽然像 ReAct 或 DSPy 这样的系统会生成涉及检索、合成和审计的复杂工作流，但标准指标无法隔离特定步骤（例如，一次检索调用或一次审计）是增加了价值还是引入了错误。此外，现有的过程监督方法通常依赖于预定义的标签或奖励模型，这些方法会将智能体的行为与评估者的特定提示词敏感性（prompt sensitivity）混为一谈。因此，需要一种框架来衡量转换层级的信念更新（belief updates），且该框架不应将评估者视为地面真值（ground truth），同时需明确考虑评估协议本身如何影响测量结果。

方法论：智能体步骤价值 (ASV)
作者引入了智能体步骤价值 (ASV)，这是一个重放（replay）框架，旨在评估当智能体通过动作 $a_i$ 从状态 $x_{i-1}$ 过渡到 $x_i$ 时，评估者在固定候选集 $C$ 上的信念变化。

• 状态投影与评分： ASV 使用一个基于状态的 LLM 评估者 ($E_\theta$) 来处理智能体状态的“脱敏投影”（redacted projection）。该投影移除了物理标签、标准答案和秘密信息，仅保留稳定的候选标识符和文本。
• 思辨与评分的分离： 为了将推理与评分分离，该协议采用了两阶段法。首先，评估者在候选对象上生成一个紧凑的、无标签的理由 ($r_x$)。其次，附加一个物理标签映射，并使用对数概率对单个选项标记进行评分。这防止了推理前导词（reasoning preamble）对首个标记选择的偏置。
• 诊断指标： ASV 为每个转换计算三个不同的指标：
  1. 熵运动 ($\Delta H$)： 衡量不确定性的变化。
  2. 贝叶斯惊喜度 ($S$)： 衡量信念分布偏移（$D_{KL}$）的幅度，无论其方向如何，用于检测熵可能忽略的转向（pivots）。
  3. 金标准边际增益 ($G_{margin}$)： 衡量被审查的目标候选对象 $g$ 与其最近竞争者之间的对数似然边际变化。这指示了向目标或远离目标的移动。
• 协议敏感性： ASsV 将评估提示词、理由策略和投影视为一个“测量通道”（measurement channel）。通过在不同的通道（例如，改变理由长度或标签排列）下重放冻结的转换，ASV 量化了“通道效应”，即测量评估协议本身在多大程度上改变了感知的步骤价值。

实验设置
本研究利用了 100 个涉及 PubMed 证据检索的开放式问答任务，生成了 1,100 个智能体步骤。这些轨迹使用配置为 128-token 理由条件的 DeepSeek 模型进行评估。作者将其与直接的一标记评分进行了对比，并在各种通道修改（如 512-token 理由、抽取式缓冲区、标签排列）下重放了相同的转换，以隔离方差来源。

关键结果

• 理由协议下的负向步骤价值： 在 128-token 理由条件协议下，平均金标准边际增益显著为负（-2.335），表明许多转换使评估者的信念远离了正确目标。相比之下，在相同轨迹上进行直接的一标记评分得到了正增益（+4.033）。
• 熵盲区： 熵运动在各步骤中实际上为零（0.000），未能检测到变化。然而，平均贝叶斯惊喜度为 2.693，揭示了评估者的信念经历了近乎单热（one-hot）的转向（即在不同候选者之间切换置信度），而并未改变整体不确定性。
• 损伤定位： 最负向的步骤值出现在提取（extraction）（-7.790）和审计（audit）（-7.392）阶段，特别是在证据进入工作流之后。这表明压缩或批判中间状态往往会降低目标导向的信念。
• 理由压缩是驱动因素： 组件归因审计显示，从正向到负向评分的反转主要由理由压缩通道驱动。全状态直接评分是正向的（+7.750），但 128-token 生成的理由通道则是剧烈负向的（-21.741）。将理由扩展到 512 个 token 或使用抽取式缓冲区在很大程度上缓解了这种反转，这表明短小的生成式理由压缩掉了进行准确评估所需的关键线索。

意义与主张
本文声称 ASV 提供了一种方法，用于定位在最终答案指标或基于熵的分析中不可见的智能体轨迹中的“信念转向”和“损伤/修复”事件。其主要贡献在于证明了步骤价值并非智能体转换的内在属性，而是由评估通道共同决定的。

作者认为，如果没有其特定的评估者通道，步骤价值是模糊的，因为它可能会混合实际的智能体行为与由投影、压缩或评分规则引入的人为产物。通过将提示词和理由策略视为一个测量的通道，ASV 允许研究人员对评估过程本身进行审计。研究结论指出，在高风险场景中，不应将数值化的步骤值视为客观的奖励；相反，必须将其与协议敏感性诊断报告放在一起，以确保观察到的改进或退化并非仅仅是评估设置的人为产物。该框架被呈现为一种用于调试智能体工作流的诊断工具，而非因果奖励估计器。