💻 computer science

NTILC: Neural Tool Invocation via Learned Compression

NTILC 是一个将线性上下文工具注册查找替换为学习型潜变量检索及签名感知复合目标的神经框架，在保持智能体工具调用模型高选择准确度的同时，实现了超过 95% 的上下文 Token 缩减以及高达 74% 的延迟降低。

原作者： Andrew Krikorian, Yayuan Li, Jason J. Corso

发布于 2026-06-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Andrew Krikorian, Yayuan Li, Jason J. Corso

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位拥有极高技能的私人助理（即 AI），需要为你处理各种事务。为了实现这一点，你拥有一本巨大的电话簿（工具注册表/Tool Registry），其中包含了数千种不同的服务：天气报告、计算器、文件编辑器、网页搜索器等等。

旧的方法：“阅读全部”法

目前，当你问你的助理一个问题，比如“安娜堡的天气怎么样？”时，助理必须在回答之前把整本电话簿大声朗读一遍。

问题所在： 如果你的电话簿有 5,000 条目，那可是要读很久的！这会导致响应时间长（延迟）、成本高（Token 使用量），而且助理会被无关信息干扰（比如在你只想了解天气时，它却在读关于“文件编辑”的内容）。
结果： 随着电话簿的增长，助理会变得越来越慢，并且因为被过多的噪音淹没而更容易出错。

新的方法：NTILC（“智能索引”法）

这篇论文介绍了一种名为 NTILC 的新系统，它改变了助理寻找正确工具的方式。与其阅读整本电话簿，NTILC 使用了一个智能的、预先制作好的索引（就像数字图书馆的目录一样）。

以下是它的工作步骤：

请求： 你问：“天气怎么样？”
转换： 系统不会去阅读整本电话簿，而是瞬间将你的问题转化为一种“秘密代码”（嵌入/Embedding），这种代码代表了你请求的“意图”。
匹配： 它将你的秘密代码与注册表中每个工具的预计算秘密代码列表进行对比。它能在瞬间找到最匹配的项目（天气工具）。
执行： 助理只查看天气工具对应的特定页面，获取所需的细节，从而给你答案。

神奇之处： 助理从未需要阅读那 5,000 页的电话簿。它只阅读它需要的那一页。这减少了 95% 以上的“阅读量”（上下文使用量），并使过程变得更快。

难点：“语义模糊”

论文解决了一个特定的问题。假设你的电话簿中有两个工具：

工具 A： “获取天气”（需要邮政编码）。
工具 B： “获取天气”（需要经度和纬度）。

它们听起来完全一样！如果助理只看名称，它可能会选错。如果你提供的是邮政编码，但它选择了需要经纬度的那个工具，那么该工具就会报错。论文将这种现象称为**“语义模糊”（Semantic Blur）**——即工具看起来相同，但运作方式不同。

解决方案：“功能间隔”
NTILC 使用了一种特殊的训练方法，称为功能间隔损失（Functional Margin Loss）。你可以把它想象成一位严格的老师，这位老师不仅教助理识别工具的“名字”，还教它感受工具的“形状”。

即便两个工具的名字相同，如果它们的“形状”（所需的参数）不同，系统也会在内存中将它们推开。
这确保了当你询问“带有邮政编码的天气”时，系统能准确知道该选择哪一个“天气”工具，从而避免选错。

实验结果

论文在多个公开数据集（如 ToolBench 和 API-Bank）上对该系统进行了测试，结果发现：

速度： 它比旧方法快了高达 74%。
效率： 它减少了 AI 需要进行的“阅读”量 95% 以上。
准确性： 即使在电话簿变得非常庞大（数千个工具）时，它的准确性也与旧方法不相上下。

总结

NTILC 就像是将一位需要翻遍图书馆每一本书才能找到答案的图书管理员，升级为一位拥有完美、即时索引的图书管理员。他们无需打开其他任何书，就能精准锁定你需要的那一本，从而节省了时间并防止了混乱，即使图书馆规模扩大到数百万本书也依然如此。

技术摘要：NTILC（通过学习压缩实现的神经工具调用）

1. 问题陈述

依赖大语言模型（LLM）的智能体系统日益依赖于广泛的可调用 API、函数和本地操作注册表。标准方法——上下文内工具化（In-Context Tooling, ICT）——会在处理用户查询之前，将所有可用工具的完整文本定义插入到模型的提示词中。虽然这种方法对于小型注册表非常有效，但其产生的 Token 成本随工具数量呈线性增长（ $O(N)$ ）。

随着注册表规模的扩大（例如达到 5,000+ 个工具），ICT 面临三个关键局限性：

上下文耗尽： 工具 Schema（平均约 120 个 Token）会迅速消耗上下文窗口，导致留给任务特定信息的内容空间极少。
延迟与成本： 处理大规模上下文窗口会增加预填充（prefill）时间和推理成本。
选择准确度下降： 大量无关工具（“干扰项”）的存在以及**语义模糊（semantic blur）**问题——即工具具有近乎相同的自然语言描述，但拥有不兼容的执行签名（例如不同的参数类型）——会导致工具选择的错误率上升。

2. 方法论：NTILC

作者提出了 NTILC（Neural Tool Invocation via Learned Compression，通过学习压缩实现的神经工具调用），该框架通过一个外部的学习型潜空间检索步骤，取代了线性缩放的上下文内注册表扫描。

2.1 推理流水线

NTILC 不再将完整的注册表注入提示词，而是按如下方式运行：

意图生成： 主干 LLM ( $M$ ) 接收用户查询 ( $\chi$ ) 并生成包含自然语言工具意图的计划块 ( $P$ )。
编码： 专用编码器 ( $E$ ) 将这些意图映射到一个训练好的嵌入空间中。
潜空间检索： 在预构建的离线工具索引 ( $V$ ) 中进行最近邻搜索（NNS），以检索最相关的工具簇标识符 ( $\hat{t}$ )。
约束生成： 将检索到的工具 Schema 传递给 LLM。利用 Outlines 库，通过有限状态机（FSM）约束模型的输出词表，确保生成的参数在语法上有效，并严格符合所选工具的签名。
执行： 分发器执行工具并将结果返回给 LLM，用于最终的响应合成。

这种方法将注册表提示词的 Token 成本从 $O(N)$ 降低到了 $O(1)$ ，因为注册表是以嵌入索引而非上下文中的文本形式进行外部化的。

2.2 训练目标

一个核心挑战是解决语义模糊问题，即语义相似的工具在功能上并不兼容。NTILC 通过为编码器 ( $E$ ) 设计的复合训练目标来解决这一问题：

Circle Loss（圆环损失）： 用于通用的查询-工具对齐，通过对成对相似度进行加权，使梯度信号集中在检索决策边界附近。
Functional Margin (FM) Loss（功能间隔损失）： 一种新型损失项，旨在分离描述相似但签名不兼容的工具。
- 它基于参数名称、类型和返回模式的交集计算兼容性得分 ($compat$)。
- 它根据功能不兼容性为负样本对分配排斥权重 ( $w_{ij}$ )。
- 它专门针对“硬负样本”（语义接近但在功能上截然不同的工具）应用间隔惩罚，从而在嵌入空间中将它们推开。

总目标函数为 $L_{dispatch} = \lambda_1 L_{circle} + \lambda_2 L_{FM}$ 。

3. 核心贡献

框架创新： 引入了 NTILC，通过将工具注册表外部化为学习型嵌入索引，实现了智能体能力与提示词长度的解耦，将注册表提示词 Token 降至几乎为零。
功能间隔损失： 提出了一种感知签名的损失函数，显式地强制要求在语义相似但功能不兼容的工具之间进行分离，直接解决了“语义模糊”问题。
全面评估： 在五个公开数据集（ToolBench, BFCL, API-Bank, MetaTool, ToolEyes）上进行了评估，展示了在不同注册表规模下的性能表现。

4. 实验结果

作者在公开数据集上将 NTILC 与 ICT 基准模型（包括 Qwen3-27B, Ministral 3, Kimi Moonlight 以及 ChatGPT 5 和 Claude Sonnet 4.6 等闭源模型）进行了对比。

上下文缩减： NTILC 将上下文窗口消耗减少了 95% 以上。对于 5,000 个工具的注册表，ICT 需要约 600,000 个输入 Token，而 NTILC 仅需意图和选定的 Schema（<5,000 个 Token）。
延迟： 与长上下文 ICT 基准模型（例如在 ToolBench 上，延迟从 5,663ms 降至 1,452ms）相比，NTILC 将推理延迟降低了高达 74%。
准确度： NTILC 在 Top-1 和 Top-5 准确度上保持了与最先进的 ICT 模型相当的水平。
- 在 ToolBench 上，NTILC 在零注册表提示 Token 的情况下实现了 98% 的 Top-1 准确度。
- 在语义模糊子集上，引入功能间隔损失使语义模糊准确度从 70.8%（仅使用 Circle Loss）提升至 75.0%，同时将功能错误率降低至 8.7%。

5. 意义与主张

论文声称 NTILC 证明了工具注册表无需驻留在上下文窗口中。通过将注册表转移到紧凑的嵌入索引中，该框架：

实现了能力与上下文长度的解耦： 智能体性能不再随着工具注册表的规模扩大而下降。
解决了“语义模糊”问题： 通过功能间隔损失，模型学会了区分文本相似但在功能上迥异的工具，这是标准语义检索中常见的失效模式。
实现了可扩展性： 该方法允许部署具有海量工具注册表的智能体，而不会产生过高的 Token 成本或延迟惩罚。

作者也指出了局限性，特别是 NTILC 需要离线索引，并且在面对高度动态或依赖状态的工具文档时，可能需要频繁重新索引。他们还强调，虽然 NTILC 提高了选择效率，但安全性和策略执行（例如白名单）仍是独立的课题，必须与分发机制配合使用。