Does Provenance Add Value Beyond Matched Skill Guidance?

技术摘要：溯源信息是否能在匹配技能指导的基础上提升终端任务成功率？

问题陈述
使用工具的语言大模型（LLM）智能体日益依赖于源自追踪（traces）、源文件和先前运行结果的外部技能。这些“技能”通常将普通的任务指导与元数据字段（如来源事件、适用性条件和证据引用，即“溯源信息”）捆绑在一起。虽然溯源信息有助于审计，但其对“终端任务成功率”的具体贡献却难以分离。目前的评估方法通常测量整个技能包的效用，这产生了一个归因问题，即无法将改进归功于指导本身、上下文长度变化或序列化效应。本文探讨的问题是：在普通指导保持不变的情况下，加入溯ment（溯源）元数据是否能提高智能体完成任务的能力？

研究方法
本研究采用受控的配对干预设计，以分离溯源字段的效用。

• 实验设计： 对于每个任务，两个实验组接收完全相同的普通指导、工具、学生配置和执行策略。唯一的变量是“证据承载槽”（evidence-bearing slot）的内容：
  • Arm P (BESD)： 包含来源/证据及适用性字段（溯源信息）。
  • Arm M (SkillGenMatched)： 包含一个固定宽度的占位符（无溯源语义）。
• 基准测试与拆分： 研究利用了一个包含 834 个任务、涵盖十个场景族（例如：工作区写入、重试、权限）的局部源基准。主要分析侧重于 250 个任务 ID 持留（held-out）的任务。另一项探索性修正研究使用了 100 个基于提供商报告的输入 Token 长度进行匹配的任务，以控制上下文长度。
• 干预契约： 系统使用“吊架证据图”（Harness Evidence Graph）来确保可观测证据是封闭的。编译器仅在证据可见时才允许加入子句，从而防止推断不可达的提供者上下文。
• 统计分析： 主要估计量为有限总体配对对比 ($\Delta_{P-M}$)。研究报告了绝对成功率、配对差异以及精确的双侧 McNemar 检验。置信区间通过任务级自助法（10,000 次抽样）和考虑任务对依赖性的集群感知重采样生成。
• 控制变量：
  • 提供者 Token 匹配（Provider-Token-Matched）： 一个与溯源组输入长度匹配的安慰剂负载，用以隔离 Token 数量效应。
  • 机制控制（Mechanism Controls）： 包括正确、错误、打乱或无关的溯源信息变体，以测试语义特异性。
  • 机会单元（Opportunity Cell）： 一个构建的子集，其中溯源信息明确决定了 Oracle 操作，用于测试决策相关性的边界。

核心结果

1. 主要负载匹配比较： 在主要的 250 任务单元中，BESD（溯源）的成功率为 38.8%，而 SkillGenMatched（无溯源）为 42.0%。配对估计值为 -3.2 个百分点（95% 任务自助区间：[-6.0, -0.4]）。这表明，在负载匹配的情况下，添加溯源信息并未提高终端成功率，反而可能略有下降，这可能是由于上下文长度或序列化开销所致。
2. 提供者 Token 匹配修正： 在另一个 100 任务单元中，当输入长度匹配时，估计值转变为 +2.0 个百分点（区间：[-2.0, +6.0]）。该区间跨越零点，意味着结果不精确，未能建立统计学意义上的显著正向收益。
3. 机制控制： 在 100 任务机制单元中，“正确溯源”（CorrectProvenance）的表现与“错误”、“打乱”及“无关”溯源负载相似（均相对于基准显示出负向或中性的对比）。这表明，在主要单元中观察到的效应并非由溯源信息的语义正确性驱动，而很可能是由诸如上下文长度之类的干扰因素驱动。
4. 家族异质性： 负向对比高度集中在 retry_wrapper 家族（-36.4 个百分点），而其他家族显示为零差异。这表明该效应是场景依赖型的，而非普遍机制。
5. 机会边界： 在一个 Oracle 操作取决于溯源标签的构建单元中，“正确溯源”在 50/50 的任务中成功，相比之下，“SkillGenMatched”基准为 25/50。这证明了溯源信息 可以 具有决策相关性，但前提是任务设计明确要求利用它在 otherwise（否则）无法区分的操作之间进行选择。

核心贡献

• 评估协议： 本文引入了一种通过将上下文匹配作为估计量一部分，来分离“全技能效用”与“溯源效用”的协议。
• 归因清晰度： 研究表明，捆绑的技能评分混淆了指导效用与元数据效用。研究显示，溯源效用并非固定属性，而是随匹配机制（负载匹配 vs. Token 匹配）和任务设计而变化。
• 受控比较： 该工作为审计智能体技能提供了一个严谨的框架，强调了使用指导匹配对比项以及报告提供者 Token 平衡的重要性。

意义与主张
本文得出结论：无法从捆绑的技能评分中推断出溯源效用。 溯源信息的表观价值取决于如何进行控制：

• 当上下文长度不受控时（负载匹配），溯源字段可能会引入噪声或开销，导致终端成功率出现负向或中性的影响。
• 当上下文长度得到控制时（Token 匹配），其效应变得不确定（跨越零点）。
• 只有在特定的“机会”条件下（即元数据被要求用于确定正确的执行动作时），溯源信息才会产生显著的正向效用。

作者认为，对于评估者而言，标准做法必须转向发布指导匹配的对比项、审计提供者报告的 Token，并明确说明任务 Oracle 是否使溯源信息具有决策相关性。对于从业者而言，即使在当前智能体架构中溯源信息并不总能提高终端任务成功率，它对于审计和调试仍然具有价值。研究对其主张保持审慎，指出结果受限于局部源及固定装置设置，且在未经进一步压力测试的情况下无法推广至不受限的应用场景。