想象一个能够通过调用庞大外部工具库来执行复杂任务的数字助手，就像一位人类厨师从巨大的储藏室中寻找特定食材一样。为了运行，这个助手必须首先从数千个选项中找到正确的工具，然后才能开始工作。这种初始搜索是一个关键的门槛；如果助手在第一次尝试时未能找到正确的工具，整个任务就会失败，因为后续无论多么精妙的规划都无法弥补缺失的“食材”。多年来，研究人员一直致力于让这些助手在规划和推理方面变得更聪明，并假设寻找正确工具的过程已经是一个解决的问题。然而，一项新的研究揭示了这些系统在搜索过程中的一个隐藏缺陷：搜索引擎本身会突然停止工作，并不是因为工具消失了，而是因为人们索取工具的方式发生了变化。
研究人员调查了一种他们称之为“来源风格坍缩”（source-style collapse）的现象。在人工智能领域，工具通常被组织成大型集合，系统被训练为根据用户描述其需求的方式来找到正确的工具。团队发现，一个被训练为理解一种特定语言风格的搜索系统，在面对另一种风格时可能会变得完全无法使用，即使工具本身完全没有变化。为了测试这一点，他们使用了一个基于一组以特定、结构化格式编写的 1,100 个查询语句进行训练的系统。当他们用另一组由不同来源生成的查询语句对同一个系统进行测试时，该系统找到正确工具的能力大幅下降。在一个引人注目的案例中，尽管新的查询语句所使用的词汇实际上比原始训练数据更接近正确的工具，但系统的成功率却降到了不到 1%。这种失败是无声且灾难性的，让助手对自己所需的能力变得盲目。
该研究排除了几种明显的解释。这既不是问题长度的问题，也不仅仅是词汇重叠的问题。研究人员还测试了失败是否是由工具描述的原始技术格式（通常看起来像复杂的代码）引起的。他们将每个工具都重写成了一张简洁、易读的“技能卡”，描述了该工具的功能、使用时机以及所需的输入。即使使用了这些人类友好的描述，当问题的风格发生变化时，搜索系统仍然会崩溃。这证明了问题不在于工具的外观，而在于系统学习搜索的方式与新问题措辞方式之间更深层次的不匹配。系统变得过于专注于一种语言方言，以至于无法理解另一种方言，即便两种方言都在请求完全相同的东西。
为了解决这个问题，团队开发了一种名为 ToolScout 的新方法，它充当了搜索过程中的交通指挥员。该系统不再强迫每个问题都通过单一的、专门化的搜索引擎，而是首先检查传入问题的“指纹”。它利用对单词的简单、轻量级分析来确定问题是否符合搜索引擎所接受训练的风格。如果问题看起来属于不同的风格，系统会立即将其路由到一个更广泛、更通用的搜索引擎，后者见过许多不同风格的问题。这种切换是瞬间且自动完成的。当他们将这种路由方法应用于近 5,000 个问题的混合流时，系统的找对工具的能力从失败的 22% 跳升到了可靠的 86%。
研究人员还发现，一旦系统被路由到正确的引擎，只需极少量的少量新信息即可快速提升其性能。通过向专门的搜索引擎展示仅 20 个新风格问题的示例，他们就能修复其性能，将针对这些特定案例的成功率从接近于零提高到 50% 以上。这表明问题并非技术的根本缺陷，而是搜索引擎在适应新表达方式方面缺乏灵活性。研究结论指出，要让数字助手真正可靠，它们不能仅仅是聪明的规划者；它们还必须拥有一种稳健、可适应的寻找工具的方法，这种方法能够识别用户语言的变化，并在任务开始之前就知道如何切换档位。
技术摘要：可执行能力检索中的源风格坍缩（Source-Style Collapse）
问题定义：源风格坍缩
本文识别了一种在检索增强型智能体系统中被称为“源风格坍缩”的关键失效模式。虽然大规模智能体日益依赖检索来获取外部能力（结构化工具和 API），但即使底层工具语料库保持固定，检索层也可能发生隐性失效。作者证明，如果一个检索器是在某个特定基准测试的特定源定义切片（例如 ToolRet 中 1,100 个查询构成的 “ToolBench 式” 切片）上进行微调的，那么它在处理匹配的流量时表现稳健，但在应用于同一基准测试内的其他源定义切片（例如 APIGen、ToolACE、UltraTool）时，会出现灾难性的坍缩。
这种现象不同于传统的领域偏移（domain shifts），因为在这些场景下语料库或任务发生了变化。在这里，工具注册表是静态的；失效仅是由查询-工具对之间的**源风格（source style）**偏移引起的。源风格涵盖了由上游查询生成或标注过程引入的惯例，包括查询措辞、冗余度、模式引用模式以及查询与工具之间的特定配对逻辑。论文强调了一个悖论：查询与金标准工具（gold tools）之间的词汇重叠度并不能预测可检索性。例如，APIGen 的查询与其金标准工具的词汇重叠度高于训练切片，但经过微调的检索器在 APIGen 上的覆盖率仅为 0.7%。
方法论：ToolScout 与源感知路由
为了解决这一问题，作者提出了 ToolScout，一种旨在作为检索门控守卫的源感知路由方法。该方法由三个核心组件组成：
- 通过 TF-IDF 指纹进行检测： 作者发现，与语义距离（如 BGE-M3）或查询长度相比，查询侧的 TF-IDF 距离是一种更优越且轻量级的源风格不匹配检测器。通过计算传入查询批次与训练源质心之间的余弦距离，系统可以标记出可能导致覆盖率坍缩的“不安全”批次。
- 路由策略： ToolScout 利用这种 TF-IDF 信号来路由流量。如果一个批次处于“安全”区间（与训练源距离较低），则由专门的、经过微调的检索器进行处理。如果批次处于“不安全”区间（距离较高），系统则将其路由至一个在多种源风格上具有泛化能力的更广泛的聚合训练检查点（aggregate-trained checkpoint）。
- 少样本修复（Few-Shot Repair）： 一旦不匹配的批次被路由到聚合检查点，系统可以收集匹配的监督数据（例如来自遥测或供应商入驻的数据）。随后，ToolScout 会触发针对特定坍缩源的短时持续微调步骤，以恢复剩余的覆盖率缺口。
研究还验证了这种失效并非由原始 API 模式（schema）格式化引起的。通过将工具重新渲染为规范化的“可执行技能卡”（侧重于能力、条件、输入和效果），同时保持底层检索逻辑不变，相同的坍缩模式和路由行为依然存在。
关键结果
评估主要在 ToolRet 基准和 StableToolBench 上进行，得出了以下定量发现：
- 坍缩严重程度： 在 1,100 个查询的 ToolBench 切片（FT-1100）上微调的检索器，在 APIGen 上的覆盖率降至 0.7%，在 ToolACE 上为 0.0%，在 UltraTool 上为 8.3%，尽管它们属于同一个聚合基准测试。
- 检测器性能： 基于 TF-IDF 的兼容性预测器在识别低覆盖率迁移源（留一配置法）方面达到了 78.9% 的准确率，优于语义质心距离（73.7%）和基于长度的代理指标。
- 路由有效性： 在 4,996 个查询的混合流中，应用 TF-IDF 路由策略将覆盖率从使用不匹配的 FT-1100 检索器的 22.3% 提升至 86.1%，有效地达到了完全聚合训练检索器（85.2%）的性能水平。
- 通过微调进行恢复： 对于五个坍缩源，仅引入 20 个匹配示例 进行持续微调，即可将覆盖加权全局 Top-1 代理从 1.3% 提升至 53.9%，接近聚合参考性能。
- 深度与扩展： 增加候选深度可以提高覆盖率，但对全局代理的收益递减，其峰值出现在深度为 20 时。阶段式检索（分解查询）对于组合式多意图尾部查询有微小的改进，但无法取代对源感知路由的需求。
意义与主张
论文认为，可靠的工具使用智能体从根本上取决于在下游重排序、规划或执行之前，能否进行可靠的能力检索。如果在候选生成阶段丢失了金标准工具，任何下游组件都无法将其找回。
作者提出了三个主要贡献：
- 识别了一种失效模式： 他们确立了“源风格坍缩”这一具体的检索失效现象，即词汇重叠无法解释性能下降，这凸显了狭窄的密集型专家模型在异构智能体生态系统中的脆弱性。
- 刻画失效条件： 他们证明了查询侧的 TF-IDF 距离是检测源风格不匹配的最强轻量级信号，提供了一种廉价且有效的诊断工具。
- 验证了一种路由解决方案： 他们展示了源感知路由策略（ToolScout）如何通过在专门检索器和聚合检索器之间进行动态切换，并结合高效的少样本适配，来恢复丢失的覆盖率。
论文总结道，虽然模型规模和更强的骨干网络有所帮助，但它们并不能消除对源适配的需求。所提出的路由机制为在现实部署中维持高覆盖率提供了一条切实路径，在这些场景中，智能体必须处理来自多个供应商、具有不同文档风格的数千个异构工具。
每周获取最佳 machine learning 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。