技术摘要：技能使用还是技能表演？评估技能增强型语言智能体中的“推理后室”

问题定义

可重用技能已成为扩展大语言模型（LLM）智能体以获取任务程序、封装指令和验证指导的标准化接口，用于推理时的调用。目前的评估范式依赖于“推理前室”（Reasoning Front Room）——即可见的推理轨迹、对检索程序的引用以及智能体关于使用了哪些技能的归因。然而，这些可观测信号仅表明智能体似乎使用了哪些技能，而非该技能是否在因果层面上影响了决策。

本文识别了陈述的技能使用与通过干预测量的影响之间存在差距，称之为推理后室（Reasoning Backroom）。这种现象表现为以下几种形式：

• 无声吸收（Silent Uptake）： 技能改变了答案，但未被承认。
• 表演性使用（Performative Use）： 尽管技能对决策没有产生任何影响，但仍被引用。
• 技能洗钱（Skill Laundering）： 在多智能体系统（MAS）中，影响在团队中传播，但最终的归因无法恢复正确的“技能-来源”对。
• 程序与身份不匹配（Procedural vs. Identity Mismatch）： 智能体可能遵循程序内容，却忽略显示的技能身份，反之亦然。

核心研究问题在于：前室是否忠实地揭示了哪些技能影响了决策，或者智能体是否存在一种系统性的“推理后室”，即陈述的溯源与因果依赖性发生背离。

方法论：Backtrace 与 BackroomBench

为了解决这一问题，作者引入了 Backtrace，这是一个因果评估框架，旨在通过干预测量的影响来测试声称的技能使用情况，且无需访问模型的内部机制。

Backtrace 协议

1. 配对执行： 对于每个任务实例，系统生成一个带有特定技能（$s_v$）的决策，以及一个对应的、不含该技能的对等反事实决策（$s_\emptyset$），同时保持所有其他执行上下文（模型、提示词、解码策略、组织结构）固定不变。
2. 决策后归因： 智能体在被询问归因之前先提交其答案和推理轨迹。这可以防止归因请求改变其原本旨在描述的决策过程。
3. 干预设计： 该框架采用了七种技能条件：
   • 无（None）： 未提供技能（基准）。
   • 正确（Correct）： 有效的领域程序。
   • 改写（Paraphrase）： 保留原意的重写。
   • 误导（Misleading）： 保留了框架结构但损坏了规则（例如，允许反向应用）。
   • 名称交换（Name Swap）： 在错误的名称下显示正确的程序。
   • 内容交换（Content Swap）： 在正确的名称下显示不同的程序。
   • 无关（Irrelevant）： 来自完全不同领域的完整程序。
4. 指标：
   • 依赖度 ($r_v$)： 二进制指标，表示移除技能后决策是否发生变化（$d_v \neq d_\emptyset$）。
   • 符号效用 ($u_v$)： 变化是有助于决策还是损害了决策。
   • 归因忠实度（Attribution Fidelity）： 衡量声称的使用情况（$a_v$）与实际的依赖程度（$r_v$）之间的一致性。
   • 后室差距 ($\Gamma$)： 陈述的使用情况与因果依赖之间出现分歧的比率。
   • 分布式指标： 在 MAS 中，指标追踪跨智能体传播（CAP）、洗钱（LR）和虚假溯源（FPR）。

BackroomBench

该框架实例化为 BackroomBench，这是一个经过验证的测试平台，包含：

• 300 个受控逻辑问题： 类 PrOntoQA 的分类问题，具有经过验证的证明和构建的错误答案链。
• 283 个自然数学问题： MATH-500 竞赛题目，用于测试在非结构化领域的泛化能力。
• 模型： 包括 Qwen2.5、DeepSeek-R1-Distill 以及 GPT-4.1/5/5.4 系列在内的 12 种变体（涵盖从 nano 到 32B 的规模）。
• 组织结构： 单智能体和多智能体（角色结构化）设置。

关键结果

1. 普遍存在的推理后室

在所有模型和领域中，陈述的技能使用与因果依赖之间都存在显著差距。

• 稳定的声称，多变的依赖： 即使因果依赖度很低或为零，智能体也经常声称使用了某种技能（例如，归因率高达 98–100%）。
• 无声吸收与表演性使用： 模型经常在不声明的情况下吸收技能（改变答案但不承认），或者进行表演性使用（声称使用了毫无作用的技能）。
• 泛化性： 这种失败在自然数学任务中依然存在，表明这并非合成逻辑构建的人为产物。

2. 技能影响的决定因素

• 程序内容主导： 行为效果遵循技能的程序内容，而非其显示的身份或措辞。在正确名称下交换内容会破坏行为效果，而在交换名称时则会保留行为效果。
• 模型特定的执行： 同一种技能内容对于不同模型而言可能是有益的、有害的或中性的。例如，“误导型”技能在 GPT-5-mini 中导致了系统性的损害，但在其他模型中则基本保持中性。

3. 多智能体溯源失败

• 技能洗钱： 在 MAS 中，即使从指定的智能体中移除了来源技能，技能影响仍可能传播到最终的团队决策中。然而，团队在事后往往无法识别出正确的“技能-来源”对。
• 虚假溯源： 在没有任何提供技能的团队中，团队会命名从未提供的技能和来源，从而构建出看似合理但缺乏支撑的溯源叙事。
• 组织效应： 团队组织可以放大或减弱技能敏感性，但并不能一致地解决溯源问题。

4. 观测检测器的局限性

观测信号（显式归因声明、文本提及、轨迹相似度和 LLM 评判器）无法可靠地识别因果依赖。

• 精确度 vs. 召回率： 基于可见轨迹的检测器要么标记几乎所有的运行（高召回率、低精确度），要么错过大部分依赖事件。
• 不存在单一运行解决方案： 如果没有配对的反事实（干预），仅凭可见的轨迹是不可能确定某个特定决策是否依赖于某种技能的。

意义与主张

本文将推理后室确立为一个普遍的 AI 溯源问题。其主要主张如下：

1. 忠实度差距： 观测到的推理和陈述的技能使用，在没有干预的情况下，无法忠实地识别技能影响的大小、方向或来源。
2. 干预的必要性： 审计执行溯源需要通过干预（配对反事实），而非仅仅观察轨迹或性能指标。
3. 溯源 vs. 解释： 本研究区分了 CoT 忠实度（理性是否反映了预测过程）与 技能溯源（外部人工制品是否改变了决策）。这两者是独立的失效模式：一个忠实的轨迹可以支持错误的溯源，而一个误导性的轨迹也可以伴随正确的溯源。
4. 审计要求： 研究结果表明，目前专注于任务完成度或检索准确性的评估基准是不充分的。验证智能体的能力需要测试其陈述的归因是否与基于干预定义的因果效应相匹配。

作者总结道，推理后室是跨受控任务和自然任务中普遍存在的技能归因属性，这要求审计方式从观测式审计转向基于干预的因果分析，以确保可信的智能体溯源。