💬 NLP

VDAR-Router: Adaptive LLMs Routing via Verbalized Query Difficulty Analysis Retrieval

VDAR-Router 是一个无需训练的难度感知检索框架，它通过生成显式的查询难度分析来检索相似的历史案例，从而提高大语言模型（LLM）路由效率，进而优化模型选择中的成本与性能权衡。

原作者： Yu-Chien Tang, Jun-Chen Hung, Wen-Chih Peng, An-Zi Yen

发布于 2026-08-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Yu-Chien Tang, Jun-Chen Hung, Wen-Chih Peng, An-Zi Yen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在快速扩张的人工智能世界中，一种新型软件已经出现，它能够编写故事、解决复杂的数学问题，甚至生成计算机代码。这些被称为“大语言模型”的系统有许多种规模。有些规模庞大，需要功能强大且昂贵的计算机来运行；而另一些则较小且成本较低，但能力较弱。由于这些工具现在正被应用于现实世界的应用中——从客服机器人到科学研究助手——开发者们面临着一个实际的困境：如何为特定的任务选择合适的工具。如果用户提出了一个简单的问题，比如“法国的首都是哪里？”，使用功能最强大、最昂贵的模型就是一种浪费。然而，如果问题需要深度推理或创造性规划，较便宜的模型可能会无法提供良好的答案。目标在于找到一种平衡，将每个请求路由到能够很好地处理该请求的模型，同时避免过度支出。

长期以来，做出这种选择的标准方法是观察问题中的词汇。如果问题听起来很简单，系统就会将其发送给便宜的模型；如果听起来很复杂，则会发送给强大的模型。但研究人员发现，这种方法往往具有误导性。两个问题在表面上可能看起来截然不同，但回答它们所需的思考水平却完全相同；而两个看起来相似的问题，可能对技能的要求却大相径庭。来自阳明交通大学的一项新研究引入了一种更聪明的方法来处理这个问题，称为 VDAR-Router。该系统不再仅仅阅读文字，而是先停下来分析请求背后的潜在难度，就像老师在决定给予学生多少帮助之前，先评估学生的作业难度一样。

研究人员构建了一个框架，将问题的难度视为一种独立的特征，而非与主题相关联。当一个新的查询到达时，系统会使用一个人工智能代理来生成一段关于解决该问题所需技能的口头描述。例如，系统不仅仅是看到一个数学题，而是识别出该任务涉及“多步逻辑链”或“符号操作”。然后，它会在一个过去的题目数据库中进行搜索，寻找具有相同难度特征的例子，无论这些过去的题目是关于数学、编程还是历史。通过将新请求的隐藏复杂度与类似过去请求的性能历史进行匹配，系统可以预测哪种模型最适合处理它。这种方法使路由器能够忽略措辞上的表面相似性，转而关注产生正确答案所需的实际认知负荷。

为了测试这个想法，团队在三个不同的数据集集合上进行了实验，涵盖了从简单算术到复杂网站构建的广泛任务。他们将新系统与几种现有的方法进行了对比，这些现有方法依赖于传统的文本匹配，或者需要对标记数据进行大量的训练。结果显示，这种具备难度感知能力的方案始终能在成本与性能之间找到更好的平衡。在许多情况下，它在实现高质量答案的同时，比那些总是选择最强大模型的系统节省了大量的资金。反之，它也避免了那些试图挑战超出自身能力范围问题的廉价系统的错误。研究表明，通过在做出决策前显式地分析任务难度，路由器可以在无需针对每个新情况进行重新训练的情况下，做出更可靠的选择。

其中一个最引人注目的发现是，该系统如何处理那些看起来相似但本质上不同的问题。在一项详细的案例研究中，研究人员展示了标准系统可能会仅仅因为两个数学问题都使用了复杂的符号就将它们归为一类。然而，新系统识别出其中一个问题需要进行简单的计算，而另一个则需要深度的、多步的推导。由于新系统理解了这种差异，它将较难的问题路由给更强大的模型，而将较容易的问题路由给较便宜的替代方案，而旧系统通常会将两者都发送到同一个模型。这种区分表面相似性与真实难度差异的能力，使得系统能够在不牺牲准确性的情况下节省资源。

研究人员还检查了增加这一分析步骤所花费的时间和金钱。他们发现，生成难度描述并搜索相似过去案例的过程仅增加了很小 amount 的时间，大约每个问题一点五秒。这种延迟对于大多数实时应用来说是可以接受的。此外，他们还证明了即使使用规模较小、成本较低的模型来进行初始的难度分析，该系统仍然优于所有其他方法。这表明该方法是高效且可扩展的，即使用于决策的工具本身并非最强大的，也能表现良好。

该研究得出结论，观察查询的真实本质而非仅仅看其文字内容，是管理人工智能资源的一种强大策略。通过专注于回答问题所需的特定技能，而非问题的题目本身，系统可以对使用哪种工具做出更明智的决策。这项工作表明，高效部署人工智能的未来可能不在于构建更大的模型，而在于构建更好的方式，将正确的模型与正确的问题进行匹配。这些发现为那些希望有效利用这些强大工具的开发者提供了一条切实可行的路径，确保用户在获得高质量答案的同时，不必支付超出必要的计算能力费用。

技术摘要：VDAR-Router

问题陈述

随着大语言模型（LLMs）越来越多地应用于实际系统，如何在响应质量与部署成本之间取得平衡，进行高效的模型选择已成为一个关键需求。虽然“LLM 路由”已成为一种将查询分配给合适模型的解决方案，但现有方法通常依赖于表面语义、嵌入相似度或任务类别来进行路由决策。作者认为，这些方法忽略了查询本身的难度（difficulty）。因此，两个措辞相似的查询可能需要截然不同的推理能力（例如，简单的算术运算 vs. 复杂的符号操作），而两个语义迥异的查询可能具有相同的难度特征。仅依赖原始查询表示会导致次优的路由结果，即简单的查询被路由到昂贵的模型，或者复杂的查询被发送给能力不足的模型。

方法论：VDAR-Router

本文提出了 VDAR-Router，这是一个无需训练、基于检索的框架，它根据**口语化难度分析（verbalized difficulty analysis）**而非原始查询嵌入来进行路由。该工作流由三个主要阶段组成：

难度分析生成（Difficulty Analysis Generation）：
一个被称为**难度分析师（Difficulty Analyst）**的 LLM 智能体对输入查询 $q$ 进行分析，生成关于该查询难度特征的显式文本描述。该分析涵盖了七个预定义的维度：推理、理解、指令遵循、智能体能力、知识检索、编程和多语言能力。输出是一个结构化文本 $a = \mathcal{M}(q)$ ，描述了所需的熟练程度。
难度感知检索（Difficulty-Aware Retrieval）：
系统并不索引原始查询，而是将生成的难度分析嵌入到数据库中。当新查询到达时，系统会生成其难度分析并进行嵌入。系统会检索出在**难度特征（difficulty profiles）**上最相似（不一定是文本相似）的前 $k$ 个历史示例。这使得路由器能够找到需要相似能力的查询，即使它们的表面文本不同。
基于奖励的模型选择（Reward-Based Model Selection）：
利用检索到的历史示例，系统可以估计候选模型在具有相似难度的查询上的表现。为了平衡质量与成本，系统为每个候选模型 $m$ 计算奖励函数 $R$ ：
$R(m | q) = \frac{1}{k} \sum_{i=1}^{k} (\alpha \cdot p_m(q_i^r) - \beta \cdot c_m(q_i^r))$
其中 $p_m$ 是性能（如准确率）， $c_m$ 是模型 $m$ 在检索到的查询 $q_i^r$ 上的归一化成本。系数 $\alpha$ 和 $\beta$ 控制权衡关系。最终选择奖励值最高的模型。

核心贡献

新颖的路由信号： 本文引入了将口语化查询难度诊断作为 LLM 路由主要检索目标的做法。这使关注点从表面语义转向能力需求，为路由决策提供了具有人类可解释性的元数据。
无需训练的框架： VDAR-Router 是一个即插即用的框架，不需要训练额外的神经路由器。它利用历史性能数据和难度匹配来估计模型的适用性。
实证验证： 作者通过在三个数据集（RouterBench、LLMRouterBench 和 ArenaExpert5K）上的实验证明，VDAR-Router 在成本-性能权衡和模型能力排名准确性方面均优于现有基准方法（包括 KNN、RouterDC、RouteLLM、IRT-Router 和 ICL-Router）。

实验结果

作者在三种不同设置的数据集上对 VDAR-Router 进行了评估：

RouterBench & LLMRouterBench： 在这些存在地面真值（ground-truth）性能和成本的数据集中，VDAR-Router 在各种 $\alpha$ （性能权重）和 $\beta$ （成本权重）设置下，始终实现了最高的**奖励（Reward）**得分（平衡了性能与成本）。与 ICL-Router 等高性能基准相比，它在保持竞争力的准确率的同时，显著降低了推理成本。
ArenaExpert5K： 该数据集仅包含成对的人类偏好。VDAR-Router 在预测模型排名的**成对准确率（Pairwise Accuracy）和斯皮尔曼相关系数（Spearman Correlation）**方面达到了最高水平，即使使用参数量仅为 2B 的轻量级模型作为难度分析师，也优于基准模型。
消融实验： 若移除奖励排序（仅选择表现最好的模型）或将难度分析替换为原始查询检索，性能都会下降，这证实了成本感知和基于难度的检索对于该系统的必要性。
检索质量： 使用贝叶斯 Rasch 模型进行的分析表明，与基于查询嵌入的基准方法相比，VDAR-Router 检索到的查询之间的难度差距显著缩小，这验证了该系统成功地通过能力需求实现了查询对齐。

意义与主张

论文声称，VDAR-Router 通过对查询难度进行显式建模，提供了一种更具适应性且更可靠的 LLM 路由方法。通过基于难度特征而非词汇相似度进行检索，该系统能够更好地捕捉不同模型针对特定任务的相对能力排名。

作者强调，这种方法：

减少了对显式路由标签或额外路由器训练的依赖。
通过口语化的难度分析，为路由决策提供了一种人类可解释的机制。
证明了即使使用轻量级的难度分析师（例如 2B 参数模型），该框架也能实现优于复杂训练型路由模型的成本-性能权衡。

论文总结道，基于难度的检索是模型选择的一种鲁棒信号，这表明未来的工作可以探索结构化的难度表示，或集成偏好感知信号以处理主观评价场景。