🤖 AI

Continual Model Routing in Evolving Model Hubs

本文通过形式化持续模型路由（CMR）设定、引入大规模 CMRBench 基准测试，并提出一种对比嵌入方法 CARvE，以应对在快速扩张的人工智能枢纽中扩展模型选择所面临的挑战，该方法在跨多样模型与任务的路由准确性上显著优于现有基线。

原作者： Jack Bell, Giacomo Carfì, Gerlando Gramaglia, Vincenzo Lomonaco

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Jack Bell, Giacomo Carfì, Gerlando Gramaglia, Vincenzo Lomonaco

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你走进一座庞大且不断扩张的图书馆。每天都有成千上万本新书（AI 模型）抵达，由不同的作者撰写，涵盖所有你能想到的主题。你有一个具体问题，需要找到那本唯一完美的书来回答它。

在过去，你可能会请图书管理员阅读几本书，看看哪一本最好。但面对数百万本书，即使只读几本也耗时太长、成本太高。你需要一位超级快速的图书管理员，能够看到你的问题后，无需先打开任何一本书，就能瞬间指出那本最佳的书。

本文就是关于为 AI 模型世界构建这样一位超级快速的图书管理员，它解决了一个具体问题：当图书馆在你寻找书籍的过程中不断扩张时会发生什么？

以下是本文核心思想的分解，使用了简单的类比：

1. 问题：图书馆永不停歇地扩张

目前，AI 模型枢纽（如 Hugging Face）就像那些永不停止添加新书架的图书馆。

挑战： 如果你训练一位图书管理员去认识 2023 年的书籍，当 2024 年有 5,000 本新书抵达时，他们会感到困惑。
“灾难性遗忘”问题： 如果你试图让图书管理员学习新书，他们往往会忘记旧书。这就像为了准备新的数学考试，却突然忘记了如何做基础加法。
规模： 图书馆不仅仅是在添加几本书；它是在添加成千上万本。简单的“搜索”不够快，而“通读所有书籍”的方法又太慢。

2. 解决方案："CARvE"（智能、可适应的图书管理员）

作者提出了一种名为CARvE（基于对比嵌入的持续锚定路由器）的新系统。将 CARvE 想象成一位使用特殊“记忆锚点”系统的图书管理员。

“锚点”比喻： 想象图书管理员拥有一组沉重的永久锚点，系在他们已经认识的书籍上。当新书抵达时，图书管理员在不移动这些锚点的情况下学习新书。这确保了旧书在图书管理员的脑海中保持原样，而新书则找到它们自己的位置。
“地图”（嵌入）： CARvE 不是阅读整本书，而是根据每本书的功能，为每本书创建一个微小的“地图坐标”（嵌入）。当你提出问题时，系统只需检查哪个坐标离你的问题最近。这就像检查 GPS 位置，而不是阅读地图。
“练习”（重放）： 为了确保图书管理员不会忘记旧书，系统会偶尔向他们展示一小部分精心挑选的旧问题和答案。这就像老师对旧材料进行快速的小测验，以保持记忆鲜活。

3. 测试："CMRBench"（模拟环境）

为了证明他们的图书管理员有效，作者构建了一个名为CMRBench的大型模拟环境。

他们创建了一个随时间增长的虚拟图书馆，模拟了四个不同的模型发布“时代”。
它涵盖了众多主题，包含超过2,000 个不同的模型（书籍）。
他们将他们的图书管理员与其他方法进行了测试（例如仅按标题搜索，或尝试从头重新训练整个系统）。

4. 结果：CARvE 为何胜出

论文表明，CARvE 在以下三个主要原因上比其他方法优越得多：

它不会遗忘： 当新模型抵达时，其他方法变得困惑并遗忘了旧模型，而 CARvE 保持了对旧书籍的记忆完整无损。
它快速且高效： 它不需要阅读整个图书馆就能找到答案。它利用“地图坐标”瞬间找到正确的书籍。
它解决了“家族”问题： 有时，你不需要完全相同的那本书，只需要来自同一“家族”的书（例如，模型的特定版本）。CARvE 擅长找到正确的模型家族，而不仅仅是确切的标题，这在现实生活中往往更有用。

5. 他们未做到的事（重要限制）

论文非常清楚地说明了该系统目前无法做到什么：

新书的“零样本”能力缺失： 如果一本全新的书抵达，图书管理员从未见过且没有任何示例，CARvE 无法瞬间知道如何路由它。在将其添加到地图之前，它需要看到一些关于如何使用该新书的示例。
它是预选择： 该系统在你阅读书籍之前就挑选了书籍。它不会阅读书籍来检查答案是否良好；它只是根据标题和描述，猜测哪本书最有可能拥有正确的答案。

总结

简而言之，这篇论文指出：“我们构建了一个智能系统，能够管理庞大且不断增长的 AI 模型集合，而不会遗忘旧模型。”

他们创建了一个基准（CMRBench）来测试这一点，并提出了一种名为 CARvE 的方法，该方法利用“锚点”在学习新事物时保持旧知识的稳定性。它比从头重新训练整个系统或仅通过关键词搜索更有效，使其成为 AI 未来（模型不断变化）的实用解决方案。

技术摘要：演进式模型枢纽中的持续模型路由

1. 问题定义

AI 模型枢纽（如 Hugging Face）的快速扩张，已将核心挑战从构建模型转变为为特定查询选择合适的预训练模型。尽管混合专家（MoE）架构和编排流水线已证明了路由的价值，但现有方法在应用于现实世界、不断演进的枢纽时面临两个根本性局限：

可扩展性：路由必须扩展到数千个候选专家，这使得 exhaustive 的推理后评估或朴素排序变得不可行。
非平稳性：模型枢纽是动态的；新专家被添加，现有专家被更新，其他专家则变得过时。静态检索方法（例如按模型卡片相似度排序）在大型、不断演进的空间中表现脆弱，而标准的检索增强训练（RAT）无法在目标空间转移时确保稳定的路由性能。

作者将此设定形式化为持续模型路由（CMR），将推理前的模型选择视为一个持续分类任务，其中标签空间（可用模型集合）随时间增长。目标是设计一种路由器，能够在无需从头重新训练的情况下，增量适应新模型，同时保留对先前所见模型的胜任能力。

2. 方法论：CARvE

为解决 CMR，作者提出了CARvE（基于对比嵌入的持续锚定路由器）。与依赖模型卡片（自然语言描述）或执行候选模型的基线方法不同，CARvE 基于用户查询与学习到的模型嵌入注册表之间的嵌入相似度进行路由。

核心组件

基于嵌入的路由器：路由器使用冻结的主干语言模型（如 LLaMA2-7B），并在每次经验中训练 LoRA 适配器。它将分词后的查询投影到固定维度的嵌入空间（ $\mathbb{R}^d$ ），并使用温度缩放的余弦相似度将其与学习到的模型嵌入注册表进行比较。
非对称锚定：为了缓解灾难性遗忘，CARvE 采用基于检查点的锚定机制。在每个经验 $t$ 开始时，对 $t-1$ 时刻的路由器参数（投影头和模型嵌入）进行快照。在对 $E_t$ 进行训练期间，损失函数会对先前见过的模型 ID 的嵌入漂移进行惩罚，而新引入模型的嵌入则保持未锚定状态，可自由适应。这保留了现有注册表的几何稳定性。
候选集训练：为了避免对数千个模型进行完整 Softmax 的计算成本，训练在固定大小的候选集（ $K$ ）上进行。这些集合包括真实标签模型、从当前池中挖掘的困难负样本（hard negatives）、语义负样本（同一领域）以及远负样本（不同领域）。
结构化回放：该方法利用领域 - 模型核心集回放缓冲区。它不是随机采样，而是按领域分配回放配额，并在领域内使用最远点采样（FPS）来选择多样化的示例，确保覆盖模型的长尾分布。

3. 基准测试：CMRBench

作者引入了CMRBench，这是首个专为持续模型路由设计的基准测试。

结构：它通过四个连续的经验模拟真实的枢纽扩展，整合了 APIBench、ToolMMBench 以及一个新数据集 HuggingBench。
规模：该基准测试涵盖跨多个领域的 2000 多个候选模型。
指标：除了标准的模型 ID 和领域准确率外，作者引入了模型家族准确率。这种中等粒度的指标将功能相似的变体（例如同一架构的不同量化级别）分组，以便更好地捕捉语义路由质量，而不过分苛求精确的模型标识符。

4. 实验结果

大量实验将 CARvE 与强大的基线进行了比较，包括零样本微调、仅检索方法（BM25, BGE-M3）、模型合并（TIES, DARE）以及各种持续学习策略（EWC, LwF, 随机回放）。

性能：CARvE 显著优于所有基线。在 10% 的回放预算下，CARvE 实现了80.7% 的领域准确率，且遗忘率仅为5.9%，而标准随机回放的准确率为 75.9%，遗忘率为 13.1%。在 20% 的回放预算下，其准确率达到 82.9%，遗忘率为 3.0%。
与上限的比较：CARvE 缩小了与联合训练（同时训练所有数据）的差距，并且在某些领域级指标上，在更严格的持续约束下甚至超越了联合训练。
消融研究：
- 锚定：禁用投影锚定会导致准确率显著下降和遗忘率激增，证实了其在稳定嵌入空间中的关键作用。
- 回放策略：分层领域核心集回放优于随机回放，特别是在较低的回放预算（5-10%）下。
- 初始化：模型嵌入的随机初始化优于从模型卡片嵌入进行的暖启动，因为卡片文本编码的是语言相似性而非路由判别力。
效率：与累积式或从头开始的重新训练相比，CARvE 将计算成本（TFLOPs 和 GPU 小时）降低了约 45–60%，使其适用于大规模部署。

5. 意义与主张

该论文声称是首个通过大规模基准测试和分析，实证展示持续学习在模型路由中核心作用的工作。其主要贡献包括：

形式化：将 CMR 定义为类增量学习问题，其中路由器必须扩展到数千个专家，并适应非平稳的模型池。
基准测试：提供 CMRBench 作为社区的可复现参考点，超越静态候选池。
方法论：证明CARvE通过对比嵌入、结构化回放和非对称锚定，实现了可扩展且稳健的专家选择。

作者强调，他们的方法解决了一个实际的系统瓶颈：在推理前选择专家模型以降低延迟和成本。他们指出，虽然 CARvE 减少了对存储原始用户历史记录的依赖，但并未消除隐私风险，且如果未与安全策略相结合，更好的路由可能会无意中放大偏见。这项工作表明，模型选择的未来不在于单体模型，而在于由持续学习系统管理的、不断演进和交互的模型生态系统。