🤖 AI

Set-shifting Behavioral Test for Harnessed Agents

本文引入了一种集换行为测试，用于评估大语言模型（LLM）智能体如何适应工具可靠性的隐藏变化，揭示了智能体倾向于僵化地固定在特定的常规程序上，并表现出独特的失效模式，且这些模式会受到工具集呈现方式的影响。

原作者： Ziwei Ye

发布于 2026-07-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Ziwei Ye

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人管家如何做晚餐。你给了它一本厚厚的食谱，里面有十种不同的“炒蛋”食谱。起初，食谱 A 运作得非常完美。机器人习惯了它，记住了步骤，每次都能做出美味的蛋。但随后，你在没有告知机器人的情况下，更换了厨房里的食材。食谱 A 现在做出来的蛋又硬又难吃，而看起来和听起来完全一样的食谱 B 却突然变得异常出色。问题是，机器人会注意到这种变化吗？它会停止使用那个失效的食谱并尝试新食谱，还是会固执地继续尝试用那些糟糕的食材烹饪，并深信出错的是它自己？

这正是人工智能领域的科学家们试图解决的一类谜题。他们正在研究 AI 智能体（即能够使用计算器、搜索引擎或代码编译器等工具的智能计算机程序）如何应对变化。在心理学中，有一个著名的测试叫做威斯康星卡片分类测试（Wisconsin Card Sorting Test），人类需要通过这个测试来发现游戏的规则已经悄悄改变。如果你因为习惯而继续按颜色而非形状来分类卡片，这被称为“固着”（perseveration），或者说陷入了思维定式。人工智能研究人员的大问题在于：这些数字大脑也会陷入思维定式吗？如果一个 AI 习惯了使用某种特定的工具，当该工具在无声无息中失效时，它会继续尝试使用它，还是能够适应并找到新的解决方案？

论文的故事：秘密工具替换

在这篇论文中，研究人员建立了一个数字游乐场来测试这一点。他们创建了一个场景，给 AI 智能体提供了一个“吊架”（harness）——这是一个用于描述为能为 AI 提供解决问题工具库的系统的术称。想象一下，AI 是一个正在试图破解谜团的侦探，它有三个不同的情报小组（我们称之为 A 组、B 组和 C 组）。这三组人都声称能找到相同的线索，而且对侦探来说，它们看起来和听起来都一模一样。

研究人员设置了一个带有转折的游戏。在游戏的第一部分，只有 A 组在说真话。侦探（AI）很快学会了信任 A 组，并停止听取其他组的信息。然后，研究人员悄无声息地切换了游戏。A 组不再说真话，开始提供虚假线索，而 B 组变成了可靠的信息源。这些小组的名字和描述都没有改变，改变的只是它们的可靠性。研究人员想看看侦探是否会注意到这一转变并开始信任 B 组，还是会继续找 A 组，尽管面对虚假线索感到沮丧，却拒绝放弃它旧有的习惯。

研究发现：固执者与切换者

研究人员测试了两个不同的 AI 模型，我们称之为“Mimo”和“DeepSeek”。他们发现这两个模型都会陷入困境，但陷入的方式截然不同。

DeepSeek（早期承诺者）： 这个模型就像是一个在第一天就做出了决定并坚持到底的侦探。如果它一开始选择信任 A 组，那么即使在切换之后，它也会继续信任 A 组，忽略所有虚假线索。然而，如果它做出的第一个选择恰好是那个新的可靠团队，它就会完美地坚持下去。无论研究人员稍后如何改变规则，DeepSeek 都会锁定在它的第一个承诺上。它表现出一种“前缀级锁定”（prefix-level lock-in），这意味着它的第一个选择决定了它未来的整个行为，无论这个选择是正确还是错误。
Mimo（近期历史记录者）： 这个模型稍微灵活一点，但仍然存在问题。它倾向于坚持使用它最近使用过的工具组合。如果它之前一直在同时使用 A 组和 B 组，那么即使 A 组失效了，它仍会继续混合使用它们。它不会像应该做的那样迅速转向新的正确团队（C 组）。它表现出“单元级锁定”（cell-level lock-in），这意味着它被困在了变化发生前正在进行的特定常规操作中。

研究表明，如果没有特殊的指令，这些 AI 智能体倾向于快速养成习惯。一旦它们发现一个有效的工具，就会坚持使用它。当工具在无声无息中失效时，它们往往会反复尝试使用它，即便不断失败，也不愿去探索眼前其他的选项。

我们能教会它们改变吗？

研究人员随后问道：“我们能修复这个问题吗？”他们尝试了两种不同的方法来帮助 AI 适应。

“适应性”指令： 他们给 DeepSeek 一个明确的规则：“如果一个工具失败了，立即停止使用它并尝试另一个。”这对 DeepSeek 非常有效，帮助它几乎瞬间切换到了新的可靠团队。然而，当他们在 Mimo 上尝试同样的指令时，结果是不确定的，因为测试的运行次数太少。我们无法确定是它不起作用，还是仅仅因为数据量不足以得出结论。
“博学家”指令： 他们尝试了另一个规则：“尝试使用尽可能多的不同工具；不要感到厌倦。”这让 AI 使用了更多样化的工具，但并没有帮助它更快地找到正确的工具。它只是在进行随机尝试。

如何描述工具的力量

最后，研究人员发现关于工具描述的一个非常有趣的现象。他们改变了工具组的“框架描述”。

在一个版本中，他们将这些小组描述为竞争关系（就像试图向你推销相同产品的竞争对手商店）。
在另一个版本中，他们将其描述为互补关系（就像一台机器的不同部件，需要协同工作）。

他们发现，当工具被描述为竞争关系时，与互补关系相比，AI 通常更有可能切换到新的可靠团队。然而，AI 整体上仍然面临困难；即使在竞争关系的框架下，成功率仍然相当低（取决于模型，约为 10-26%）。这种改进并不是让 AI 变得完美的魔力，而是一个一致的趋势，即“竞争”式的描述比“团队协作”式的描述更能帮助智能体稍微打破其习惯。

总结

这篇论文表明，AI 智能体和人类一样，可能会陷入习惯。它们并不总是能注意到规则在无声无息中发生了变化。它们倾向于坚持已知的事物，即使这些事物已经不再奏效。然而，这项研究显示，我们可以通过给予它们关于如何应对失败的明确指令（尽管这在不同模型上的效果不同），或者通过改变我们向它们描述工具的方式，来帮助它们适应。这提醒我们，对于 AI 而言，要实现真正的智能，它需要能够放下旧习惯并拥抱新信息，就像一个优秀的侦探那样。

技术摘要：针对受控智能体（Harnessed Agents）的集转换行为测试

问题陈述

现代大语言模型（LLM）智能体运行在“智能体控制框架”（agentic harnesses）中，这些框架维持着持久的会话上下文，包括先前的工具调用、结果和技能库。在这种环境下，智能体往往会收敛到特定的首选工具子集来解决任务。当工具的可靠性发生隐性变化（例如后端 API 的转变），而工具名称、描述和模式（schema）保持完全一致时，就会产生一个关键的脆弱性。

本文研究了受控智能体是否能够在没有明确通知的情况下，在轨迹中途发生可靠工具组发生偏移时，调整其行动路径。借鉴认知心理学，作者将此定义为一个集转换（set-shifting）问题，类比于威斯康星卡片分类测试（WCST）和定势效应（Einstellung effect），即智能体可能会表现出惯性思维（perseveration）——即使在学习到的规则或工具集已变得不再最优或失效时，仍坚持使用原有的逻辑。

研究方法

基准测试设计：WCST-Tool-Bench

作者引入了一个基于冗余工具-技能集的基准测试。

工具-技能结构： “工具”是一个可调用的函数；“工具组”由功能等效但名称/描述不同的工具组成，且具有相同的模式；“技能”是一个将智能体链接到特定工具组的 Markdown 程序。
冗余性： 存在多个用于同一任务的工具组，区别仅在于隐藏的可靠性。呈现给智能体的接口（名称、描述、模式）在偏移前后保持不变。
领域： 文中实例化了三个领域：
1. 调度/协调： 工具组被呈现为相互竞争的插槽提供商。
2. DevOps 事件处置： 工具组被呈现为互补的观测堆栈。
3. 多云存储： 工具组被呈现为相互竞争的存储提供商。
集合框架（Set Framing）： 工具组之间的关系通过描述进行操纵，使其表现为竞争性（替代方案）或互补性（整体的一部分）。

实验设置

环境： 使用具有持久会话上下文的开源 Hermes Agent 控制框架。
模型： 两个开源模型：mimo-v2.5 (Xiaomi) 和 deepseek-v4-pro (DeepSeek)。
调度： 一个分支树结构，包含 $M$ $M$ 个工具组和 $K$ $K$ 个分支层。
- 偏移（Shifts）： 在预定的边界处，可靠的工具组会发生隐性转移。
- 对照组（Controls）： 每次偏移都配有一个“无偏移”对照组，其中之前的工具组保持可靠。
- 轨迹（Trajectories）： 路径包括回溯（返回之前使用的组）、新颖偏移（转向从未使用的组）以及无偏移对照。
反馈： 一个确定性验证器提供二元反馈（成功载荷 vs. 失败指示），不提供诊断性消息，迫使智能体仅通过结果来推断可靠性。

评估指标

集转换准确率 ( $\Phi$ )： 智能体在整个轨迹的每个偏移窗口内，都能路由到正确目标工具组的联合概率。
路由类别： 轨迹根据所调用的工具组组合进行分类：
- $R_1$ ：仅目标组。
- $R_2$ ：目标组 + 另一个。
- $R_3$ ：目标组 + 另外两个。
- $R^*$ ：无目标组。
任务完成率 ( $F$ )： 智能体使用至少一个可靠工具成功完成任务的轮数比例。

核心贡献

基准测试： 一个用于评估受控智能体在具有隐藏可靠性偏移的冗余工具-技能集环境下的纵向评估框架。
描述性框架： 将偏移后的行为特征化为对一小组离散程序（吸引子状态）的回归。
干预案例研究： 分析了两种干预渠道：
- 指令性（Instructional）： 策略提示词（例如，“适应型”与“博学者”人格）。
- 结构性（Structural）： 集框架（竞争性 vs. 互补性描述）。

结果与分析

1. 先前使用角色与承诺模式 (RQ1)

智能体的适应性并不统一；其行为取决于目标的先前使用角色（回溯、强化或新颖）。

离散程序： 偏移后的行为会迅速锁定在一组离散的程序上。调用份额集中在特定的数值上（例如：1.0, 0.5, 0.33, 0）。
模型差异：
- mimo-v2.5： 表现出单元级锁定（cell-level lock-in）。它会在几轮内稳定在一个稳定的中值程序上（通常是之前使用过的组的混合）。其行为对目标的先前使用情况很敏感（例如，它在处理从未见过的“新颖”目标时表现最差）。
- deepseek-v4-pro： 表现出前缀级锁定（prefix-level lock-in）。轨迹早期的路由选择可以预测整个片段的行为。它倾向于分叉进入极端状态（ $s \approx 1$ 或 $s \approx 0$ ），表现出高方差，但无论目标的先前角色如何，其初始选择都具有极强的持久性。

2. 深度与路径依赖 (RQ2)

深度： 深层偏移（第二层）通常会降低两者的准确率 ( $\Phi$ )。然而，deepseek 的退化程度较小，因为其早期承诺能贯穿各层，而 mimo 的准确率会显著下降，因为它难以更新其近期历史。
路径： 对于 mimo 而言，到达目标的路径至关重要（近期历史决定性能）。对于 deepseek 而言，一旦做出初始承诺，路径就不再重要；前缀级锁定覆盖了路径的变化。

3. 策略提示词 (RQ3)

适应型提示词（Adaptive Prompt）： 指示智能体“追踪成功并在失败时立即切换”，成功地克服了 deepseek 的双峰锁定，实现了高集转换准确率 ( $\Phi \ge 0.86$ ) 并降低了方差。该提示词未能可靠地改变 mimo 的行为（在小样本中）。
博学者提示词（Polymath Prompt）： 指示智能体“多样化选择并避免固执”增加了工具的多样性，但并未一致地提高正确的路由能力，有时会导致权重过低的程序。

4. 集框架 (RQ4)

结构性干预： 将框架从互补性（将工具组视为整体的一部分）改为竞争性（将工具组视为替代方案）显著改变了路由动态。
效果： 与互补性框架相比，竞争性框架一致地提高了两个模型在不同领域的集转换准确率 ( $\Phi$ $Φ$ )。
- 互补性： 智能体倾向于锁定在“混合程序”中（调用每个组中的一个工具），导致低准确率。
- 竞争性： 智能体更有可能承诺于单一可靠的提供商，从而导致双峰分布（高或低准确率），但具有更高的实现高准确率的概率。

重要性与主张

本文声称建立了一种新的范式，用于评估超越单轮工具选择、能在动态环境中进行纵向适应的智能体。

失效模式： 研究指出，智能体不仅仅是“失败”于转换，而是会进入稳定的、循环的程序（吸引子）中，这些程序在环境稳定时是高效的，但在环境变化时则是僵化的。
上下文依赖性： 结果反映了认知心理学的发现：智能体继承了上下文依赖性，即“惯性思维”在稳定设置中是高效的，但在变化设置中则是代价高昂的。
干预有效性： 本文证明了通过指令性（策略提示）和结构性（集框架）干预可以改变这些锁定模式。具体而言，将工具框架设定为竞争而非互补，可以鼓励智能体致力于单一可靠来源，而不是将精力分散在混合程序中。
谦逊态度： 作者承认了局限性，包括仅使用了两个开源模型，以及缺乏对“框架”的定量度量。他们指出，这些行为究竟构成“失败”还是“特性”，取决于具体的任务需求（是决策型工作流还是探索型工作流）。

这项工作表明，当前的智能体控制框架可能会在无意中鼓励僵化，而通过设计工具集的呈现方式（框架）或显式的策略指令，可以显著改变智能体应对隐藏环境变化的能力。