🤖 AI

Indexing the Unreadable: LLM-Native Recursive Construction and Search of Service Taxonomies

为应对新兴智能体互联网中的上下文窗口限制和“中间迷失”现象，本文提出 A2X，这是一种原生大语言模型系统，它将服务动态组织为分层分类体系并逐层导航，从而在显著降低现有基线方法 token 消耗的同时大幅提升检索准确率。

原作者： Wei Zheng, Yang Yan, Yiyang Shao, Jinyang Li, Zeze Chang, Yukuang Jia, Qiming Mao, Chihyung Wang, Jingbin Zhou

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Wei Zheng, Yang Yan, Yiyang Shao, Jinyang Li, Zeze Chang, Yukuang Jia, Qiming Mao, Chihyung Wang, Jingbin Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文《索引不可读内容》的解释。

问题：“选项过多”的困境

想象你是一位非常聪明的助手（一个 AI 智能体），正试图帮助用户。为了完成工作，你可以访问一个庞大的工具库——成千上万个不同的“应用程序”或“服务”，例如预订航班、查询银行余额或翻译语言。

问题在于，你的大脑（AI 的“上下文窗口”）一次只能容纳有限量的信息。

旧方法： 如果你试图一次性阅读所有 1000 个工具的描述来找到正确的那个，你会感到不知所措。这就像试图一次性读完整本百科全书。即使你能够读完，你的大脑也倾向于忽略中间部分，只关注开头和结尾。这被称为“中间迷失”效应。你可能会错过完美的工具，因为它被埋在了列表的中间。
替代方案： 有些人试图使用“魔法索引”（基于嵌入的搜索）来猜测哪些工具与你的问题相似。但这就像使用一张模糊的地图；它经常漏掉你真正需要的具体、独特的工具，因为它并不真正理解词语的含义，而只是理解它们的形状。

解决方案：A2X（聪明的图书管理员）

作者创建了一个名为A2X（智能体到万物）的系统。A2X 不像将整个图书馆堆在 AI 的桌子上，而是像一个超级有条理的图书管理员，构建一个自定义的文件系统，并一步步引导 AI。

以下是其工作原理，使用一个简单的类比：

1. 构建地图（分类法）

想象你有一堆 2000 个随机的工具。人类可能需要几天时间来整理它们。A2X 利用 AI 本身来进行排序，但它是分小块、可管理的部分进行的。

递归分割： A2X 不是要求 AI 一次性排序 2000 个项目（这会导致“不知所措”），而是让它先排序 50 个项目，然后再排序 50 个，以此类推。
结果： 它构建了一个层次化树（就像家谱或网站菜单）。
- 第一层： 大类（例如，“旅行”、“金融”、“健康”）。
- 第二层： 子类别（例如，在“旅行”下：“航班”、“酒店”）。
- 第三层： 具体工具。
无需人工干预： AI 自动从零开始构建这张地图，无需人类编写手册。

2. 寻找工具（渐进式披露）

当用户问“我需要预订一张去东京的机票”时，AI 不会查看整个图书馆。它遵循地图：

第一步： AI 查看顶层。它看到“旅行”、“金融”和“健康”。它立即忽略“金融”和“健康”，只专注于“旅行”。
第二步： 它深入“旅行”。它看到“航班”、“酒店”和“租车”。它忽略其他选项，只专注于“航班”。
第三步： 它查看具体的航班工具。现在它只需要在 handful 个选项中进行选择，而不是 2000 个。

这被称为渐进式披露。在任何给定时间，AI 只看到一小部分相关的选项列表。它永远不会感到不知所措，也永远不会错过长列表中间的工具。

为什么它更好（结果）

该论文将这种系统与旧方法进行了测试，发现：

更高的准确性： 与最好的“魔法索引”系统（嵌入搜索）相比，A2X 找到正确工具的概率高出20%。与直接将整个列表塞入 AI 大脑相比，它也高出6%。
更便宜、更快： 因为 AI 只阅读小列表而不是整个图书馆，它使用的计算机内存（Token）减少了 9 倍，从而获得相同（或更好）的结果。
适用于其他语言： 该系统在中文中的表现与在英文中一样好，因为 AI 理解词语的含义，而不仅仅是翻译。

核心结论

该论文认为，随着我们进入 AI 智能体需要使用成千上万个工具的时代，我们不能一次性将所有数据喂给它们。相反，我们需要教会它们如何导航结构化地图。A2X 是一个自动构建该地图并引导 AI 一步步通过它的系统，确保它在迷失或耗尽脑力之前找到正确的工具。

技术摘要：索引不可读内容（A2X）

1. 问题陈述

本文解决了新兴“智能体互联网”（IoA）中的一个关键瓶颈：大型语言模型（LLM）可调用的服务群体（MCP 服务器、A2A 端点、技能）迅速扩张，而 LLM 的有效上下文窗口却有限，两者之间存在结构性不匹配。

当智能体尝试从大型注册表中发现服务时，会出现两种主要的失效模式：

令牌膨胀（Token Bloat）：将数千个服务描述拼接成单个提示（prompt）会超出上下文窗口限制，或产生高昂的令牌成本。例如，一个包含 1,000 个工具的注册表可能占用约 50 万个令牌。
中间迷失（Lost-in-the-Middle, LIM）：即使上下文窗口名义上足够大，LLM 也会系统性地忽视长输入中间部分的信息。最近的基准测试证实，检索准确率并不随上下文长度线性增长；有效上下文是约束条件，而非原始窗口大小。

现有解决方案面临权衡：

全上下文转储（Full-context dumping）：因令牌限制和 LIM 退化而失效。
基于嵌入的检索：虽然令牌效率高，但稠密向量搜索在处理跨词汇、多约束和长尾查询时表现不佳，往往因缺乏深度语义理解而遗漏相关服务。
人工分类法：高昂的维护成本和结构滞后使其无法适应动态且快速增长的服务群体。

核心研究问题是：应如何组织和选择性地向 LLM 披露大型动态注册表，以确保每个决策都在一个简短且高度相关的候选集上做出，同时保持整个注册表的可发现性？

2. 方法论：A2X（智能体到万物）

作者提出了 A2X，这是一种 LLM 原生的服务发现系统，将问题重构为通过渐进式披露进行上下文管理。A2X 不是展示整个注册表，而是将服务组织成层次化分类法，并在查询时逐层遍历。

A. 自动分类法构建（离线）

A2X 使用**广度优先搜索（BFS）**算法（算法 1）从原始服务名称和描述中自主构建分类法，无需人工策划的本体。

上下文感知分割：为防止构建过程中上下文溢出，超过阈值（ $\theta_{kw} = 500$ 个服务）的节点通过关键词优先策略处理。KeywordExtractor 对服务进行批处理以生成频率加权的关键词列表，然后将其提供给 LLM 设计器。这确保设计器永远不会在大规模范围内看到原始描述。
单轴约束：为防止“轴混合”（例如，将功能领域与技术方法混合），设计提示强制要求节点内的兄弟类别必须共享单一分类轴。偏好链优先选择面向用户的功能领域（如“旅行”），而非运营或技术轴。
边界细化：为处理兄弟类别之间的语义歧义（例如，“金融”与“商业”），系统采用分类细化循环。如果服务被错误分类或未分配，系统会将这些边缘案例反馈给设计器，以细化类别定义和“非此处”边界条款。
跨领域处理：为处理 legitimately 跨越多个顶级领域（严格树结构会遗漏）的服务，CrossDomainAssigner 执行多父节点遍历，允许服务出现在多个相关叶子节点下。

B. 渐进式披露搜索（在线）

在查询时，A2X 递归地遍历分类法（算法 2），确保每次 LLM 调用仅处理少量候选集。

并行递归下降（CategoryNavigator）：从根节点开始，向 LLM 呈现当前节点的子节点（通常约 8 个选项），并要求其选择相关分支。未选中的子树立即被剪枝。
服务选择（ServiceSelector）：一旦到达叶子节点，系统收集候选服务。它去除重复服务并合并小组（使用最近公共祖先启发式方法），以确保组大小保持在 LLM 的有效上下文预算内。
模式：系统通过调整系统提示来支持不同的搜索模式（get_all、get_important、get_one），以在召回率和精确度之间进行权衡，但底层导航机制保持不变。

每次查询的总令牌成本随注册表大小 $N$ 次线性增长，因为调用次数与树的深度（ $d$ ）和分支因子（ $b$ ）成正比，而不是与 $N$ 本身成正比。

3. 主要贡献

重构服务发现：作者将智能体端的服务发现重构为上下文管理问题，提出LLM 原生渐进式披露作为解决方案，以将有效上下文稀缺性与注册表规模解耦。
A2X 系统：一个完全自主的管道，能够：
- 利用递归分割和细化循环，从原始服务描述中自动构建层次化分类法。
- 在查询时逐层遍历该分类法，确保每次 LLM 调用仅看到少量相关候选集。
实证优势：在 ToolRet 基准测试（1,839 个服务，1,714 个查询）中，A2X 实现了：
- 92.6% 的命中率，比全上下文转储高出 6.2 个百分点，比最先进的基于嵌入的基线高出 20 多个百分点。
- 与全上下文转储相比，提示令牌成本仅为 1/9。
- 强大的跨语言鲁棒性，在没有特定语言工程的情况下，在中文变体（ToolRet_CN）上保持了相似的性能。

4. 实验结果

搜索效率（研究 1）：与将全部 1,839 个服务转储到单个提示中的纯 LLM 基线（67,619 令牌/查询）相比，A2X 实现了更高的命中率（92.6% vs. 86.4%）和召回率（89.2% vs. 84.7%），同时仅消耗 7,069 令牌/查询。
构建质量（研究 2）：消融研究表明，带有关键词压缩、细化循环和单轴约束的递归 BFS 构建至关重要。一次性 LLM 构建（一次性读取所有描述）的命中率仅为 ~60%，而递归方法达到了 92.6%。
嵌入比较（研究 3）：A2X 显著优于稠密向量检索（MiniLM、BGE-M3 等）和查询重写基线（MCP-Zero）。嵌入方法在召回率方面表现不足（例如，MiniLM 的命中率为 61.8%，而 A2X 为 92.6%），特别是在复杂的多约束场景中。
模型鲁棒性：使用新模型（DeepSeek V4）的实验证实，虽然长上下文能力提高了全上下文基线的表现，但 A2X 仍保持成本优势，在许多情况下还保持准确率优势，证明该方法不依赖于特定的模型代际。

5. 意义与主张

本文主张，随着推理成本的下降，LLM 原生发现将成为基于嵌入的检索的自然继任者。

范式转变：与将语义意义压缩为固定维度向量的基于嵌入的方法不同，A2X 利用 LLM 进行语义推理和消除复杂查询歧义的天然能力。
可扩展性：通过引入层次化分类法，A2X 在不牺牲召回率的情况下解决了“中间迷失”问题。它允许智能体扩展到数万个服务的注册表，而无需令牌成本线性增长。
自主性：该系统不需要人工参与本体维护，使其适用于动态、快速演变的“智能体互联网”。
未来展望：作者建议，这种方法可以作为跨异构服务和平台的统一发现层（“智能体 DNS”），实现更丰富的约束处理（预算、排除），这是向量搜索难以支持的。

承认的局限性：

静态分类法：当前构建将服务视为静态；未来的工作提议基于查询频率进行感知使用的细化，以优化树深度。
语言覆盖：跨语言结果基于机器翻译数据；具有不兼容词汇的本地非英语注册表可能需要完全重建。
精确度报告：由于工具检索基准测试中的地面真值标注不完整，传统的精确度指标可能会低估高召回率方法（如 A2X）的质量。