技术摘要：事半功倍：关于大语言模型系统资源优化路由策略的综述

1. 问题陈述

基于大语言模型（LLM）的系统，特别是对话智能体，通常设计为单体、静态的架构，依赖单一的通用型 LLM 来处理所有用户查询。这种方法往往效率低下，因为不同的查询需要不同程度的推理、领域知识或预处理能力。虽然通用模型（如 GPT-4o、Claude-Sonnet）在多样化任务中表现出色，但它们产生的财务、能源和计算成本对于简单的查询来说往往不成比例。

本文将**路由器（router）**定义为一个组件，其作用是将一个条目（例如用户查询）引导至候选池中最合适的元素，以优化资源消耗。这与混合专家（Mixture-of-Experts, MoE）框架不同，后者的内部门控机制是在单个模型内部选择子网络。相比之下，外部路由器独立于 LLM 的潜在前向过程运行，在预算约束下工作，并且可以将请求路由到包括更小的模型、专门模型、工作流或数据源在内的多样化候选对象。

形式上，路由问题被定义为：在满足预算约束 $B$ 的情况下，最大化查询 $q$ 和模型集 $M$ 的评分函数 $s$（例如准确率）：
$$R_M(q) = \arg \max_{M \in M} s(q, M) \quad \text{s.t.} \quad C_M(q) \le B$$
其中 $C_M$ 是调用模型 $M$ 的成本（例如 $/token）。

2. 方法论与分类法

本研究提供了一个全面的综述和分类法，旨在解决三个核心问题：

1. 路由应该优化什么？（性能 vs. 成本）
2. 路由应该在何时进行？（生成前 vs. 生成后）
3. 路由应该如何实现？（算法策略）

2.1 优化目标

• 性能指标： 本综述回顾了最大化评分函数的方法，范围涵盖精确/部分匹配、ROUGE 分数、语义相似度以及使用 LLM 进行的自动评估。文中还提到了基于人类评审者数据的偏好学习（例如 Bradley-Terry 模型）。
• 成本指标： 除了财务成本（token 价格）外，本文强调了最小化延迟和环境成本（能源消耗、碳足迹），并指出较大的模型通常需要更多的浮点运算和能量。

2.2 路由时机

• 生成前路由（Pre-generation Routing）： 在任何模型生成响应之前做出决策。这能最小化延迟。策略包括推断查询的领域或估计其复杂度，从而将其路由到合适的模型。
• 生成后（级联）路由（Post-generation/Cascade Routing）： 在模型生成响应后做出决策。如果输出被认为不合格，则将查询路由到更大或不同的模型。虽然这种方法具有灵活性（例如多选级联），但由于每个查询需要多次生成，因此会产生更高的延迟和成本。

2.3 实现策略

本文将实现策略分为四大类：

A. 基于相似性的路由 (Similarity-based Routing)

利用无监督或弱监督信号，根据查询与过去交互之间的语义相似度进行路由。

• 查询相似性： 计算查询嵌入（embeddings）之间的余弦相似度（例如 1-最近邻）。虽然轻量级，但在处理复杂查询和泛化方面往往表现不佳。
• 聚类： 将查询分组到语义簇中（例如 k-means），并根据每个簇的历史表现进行路由。一些方法（如 Jitkrittum 等人）允许在不重新训练整个系统的情况下动态添加新模型。
• 偏好相似性： 使用人类偏好数据（例如来自 Chatbot Arena）来预测用户针对给定查询会更倾向于哪个模型，通常采用 Bradley-Terry 或 ELO 算法。

B. 有监督路由 (Supervised Routing)

一旦建立了性能剖面，将路由视为分类或回归任务。

• 推荐系统： 使用矩阵分解来推断潜在特征，并预测用户在模型与查询之间的偏好。
• 领域分类： 根据广泛的类别（如数学、医学）将查询路由到专门的模型。虽然有效，但在处理不符合预定义类别的查询时会遇到困难。
• 查询复杂度推断： 对查询的难度等级进行分类。这种方法通常优于基于领域的路由，但可能会在分布外（out-of-distribution）数据集上表现不佳。方法包括通过不同规模模型之间的性能差异来推断复杂度，或使用回归来预测成本-质量得分。
• 知识图谱： 使用归纳式图框架（如 GraphRouter）来学习任务、查询与模型之间的上下文关系，从而提高对新模型的泛化能力，而无需重新训练。
• 答案置信度推断： 估计生成的答案正确的概率（例如 FrugalGPT），以决定是否升级到更大的模型。

C. 强化学习 (RL) 路由

将路由建模为一个序列决策问题，路由器通过环境反馈进行学习。

• 无状态算法： 直接将奖励映射到动作（例如随机学习自动机、Q-learning），而不维护复杂的内部状态。这些算法资源消耗低，但在应对不断变化的上下文时表现乏力。
• 基于状态的算法： 结合上下文信息（例如上下文多臂老虎机/Contextual Multi-Armed Bandits），以确定哪些模型在特定情况下表现最佳。
• 基于奖励的推断： 使用独立的奖励模型（通过知识蒸馏训练）来预测哪个 LLM 的表现会最好，从而避免直接进行交互学习。

D. 生成式路由 (Generative Routing)

利用 LLM 自身的能力来进行路由决策。

• Token/序列概率： 测量输出的不确定性（例如顶层 token 概率之间的间距），以决定是否需要更大的模型。
• 基于提示词的路由： 使用 LLM 对查询进行分类或表达“口头化的置信度”（生成前或生成后）。虽然易于实现，但 LLM 经常会出现过度自信的问题。
• LLM 微调： 专门针对路由任务（如领域分类、复杂度评分或 API 调用生成）对模型进行微调。
• 重复调用： 生成多个响应以评估一致性；低一致性会触发向更大模型的路由。
• 代码执行： 在代码生成任务中，使用成功的代码执行作为明确的置信度信号来进行路由。

3. 主要结果与发现

• 效率 vs. 性能： 综述表明，路由可以显著降低成本（在某些情况下高达 98%），同时保持与最佳独立模型相当的准确率。然而，策略的有效性高度依赖于候选模型的互补性。
• 策略权衡：
  • 基于相似性的方法 轻量级，但在处理复杂或分布外任务时往往失败。
  • 有监督方法 通常提供更高的准确率，但需要标注数据，并且在引入新模型时可能需要重新训练。
  • 生成式方法（如基于提示词的方法）具有灵活性，但可能因模型过度自信而导致资源密集或不可靠。
  • 基于 RL 的方法 具有适应性，但引入了训练和状态管理的复杂性。
• 泛化能力： 一个反复出现的挑战是，许多转导式学习（transductive learning）方法无法在不重新训练的情况下泛化到新的路由候选对象。归纳式方法（如 GraphRouter、基于聚类的性能向量）在解决这一问题方面展现出潜力。
• 基准测试： 文中指出缺乏标准化的评估，许多研究使用了非标准的基准。它强调了新兴的基准测试，如 RouterBench 和 MixInstruct。

4. 局限性与挑战

论文指出了当前领域的一些关键局限性：

• 成本定义： 大多数研究仅关注财务成本，忽略了计算和环境影响。
• 标准化： 缺乏用于评估路由策略的标准框架，使得客观比较变得困难。
• 候选多样性： 路由性能取决于候选池的互补性。冗余的模型（例如规模相同、通用的训练方式）提供的收益有限。
• 静态架构： 大多数系统是静态的；添加新模型或工作流通常需要重新训练整个路由基础设施，这阻碍了在动态环境中的可扩展性。
• 过度自信： 依赖于“口头化置信度”的生成式路由方法经常受到 LLM 过度自信的影响，导致决策并非最优。

5. 意义与未来方向

本综述旨在提供一个全面的概述，并将路由形式化为一个性能-成本优化问题。其意义在于：

• 分类法： 提供了一套结构化的分类策略（生成前/生成后，相似性/有监督/RL/生成式）。
• 工业转移： 强调了研究与工业之间的差距，在工业界，许多公司仍在使用简单的条件判断或基于提示词的路由。本文主张将轻量级、有研究支撑的策略转移到工业应用中。
• 未来研究： 作者呼吁：
  • 将计算和环境成本纳入优化目标。
  • 建立标准化的基准（如随机、先知/Oracle、最佳独立模型）进行评估。
  • 开发自主、自适应的路由策略，使其能够在不重新训练的情况下泛化到新组件，将路由器视为系统中的动态代理。
  • 将路由扩展到生成步骤之外，包括嵌入选择、检索策略和流水线设计。

文章总结道，路由为提高基于 LLM 系统的效率提供了一条切实可行的路径，使开发高性能、低成本的自适应系统成为可能。