🤖 AI

Learning to Select, Not Relearn: Hard-Routed Mixtures of Reasoning LoRAs

本文提出了硬路由 MoR-LoRA，这是一个两阶段框架，通过使用轻量级路由器通过硬 top-1 路由为每个 token 精确选择且仅选择一个专家，从而组合冻结的、独立训练的推理 LoRA 专家，在保留专家原始单位规模加性更新的同时，比软路由基准方法所需的训练参数显著减少。

原作者： Seyed Alireza Molavi, Zhan Su, Yan Hu, Peyman Sheikholharam Mashhadi, Stefan Byttner, Prayag Tiwari

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Seyed Alireza Molavi, Zhan Su, Yan Hu, Peyman Sheikholharam Mashhadi, Stefan Byttner, Prayag Tiwari

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一支由五位才华横溢、各有所长的专业厨师组成的团队。其中一位是意大利面大师，另一位是日式寿司天才，第三位是墨西哥卷饼专家，以此类推。每位厨师都在各自的厨房里接受过独立训练，并拥有自己的秘密食谱。

现在，想象你想开一家能够完美烹饪这些菜肴的单一餐厅，但你不能把所有的厨师聚在一起重新进行团队培训。你也无法将他们的食谱混合成一个巨大的“超级食谱”，因为那会破坏他们个人技能中微妙的平衡。

这就是这篇名为 《学习选择，而非重学》（Learning to Select, Not Relearn） 的论文所解决的 AI 问题。

以下是他们解决方案的简单拆解：

问题所在：“软混合”错误

在过去，当 AI 研究人员试图组合这些专门的“厨师”（称为 LoRA 专家）时，他们使用了一种叫做 “软路由”（Soft Routing） 的方法。

把“软路由”想象成一个搅拌机。如果你想做一道菜，搅拌机会取一点点意大利厨师的配方，加一点点寿司厨师的配方，再加一点点卷饼厨师的配方，然后把它们全部搅拌在一起。

问题在于： 意大利厨师是被训练来独立烹饪一整盘意大利面的。如果由于搅拌机的稀释，你只给了他们 10% 的食材，那么他们做出的菜味道会非常糟糕。数学逻辑对不上。为了修复这个问题，以往的方法必须送这些厨师回到学校，让他们重新学习如何使用“被稀释了”的食材，这既昂贵又缓慢。

解决方案：“硬路由”服务员

作者提出了一种名为 Hard-Routed MoR-LoRA 的新系统。他们没有使用搅拌机，而是使用了一位极其高效的服务员。

厨师保持冻结状态： 这些专门的厨师（AI 专家）是针对其特定任务（如数学或医学问题）进行独立训练的。一旦完成训练，他们就被“冻结”了。他们不会改变，保留着原始且完美的食谱。
聪明的服务员： 系统训练了一个微型、轻量级的“服务员”（即路由器）。这个服务员的唯一工作就是观察顾客的订单（输入的问题），然后决定：“好吧，这是一个数学题。把它交给数学厨师。这是一个医学问题。把它交给医生厨师。”
一个厨师，一道菜： 服务员将整个订单发送给恰好一位厨师。厨师使用其完整的、原始的配方（100% 比例）来烹饪这道菜。没有混合，没有稀释。
神奇的技巧： 由于服务员必须做出突然的、离散的选择（厨师 A 或者厨师 B），使用标准数学来教服务员如何变得更好是非常困难的。该论文使用了一个巧妙的技巧，叫做直通估计器（Straight-Through Estimator, STE）。想象一下，服务员通过“假装”拆分订单来进行练习（以便学习数学逻辑），但实际上却将完整的菜品交给一位厨师（以保持高质量）。这使得服务员能够在不破坏厨师原有能力的前提下进行学习。

为什么这意义重大

论文在五种不同类型的任务（数学、常识、医学、阅读和语法）上，使用不同规模的 AI 模型进行了测试。

事半功倍： 他们的“硬路由”系统表现得与旧有的“搅拌机”方法一样出色（甚至更好），但所需的可训练参数要少得多。这就像是雇佣了一位聪明的服务员，而不是去重新培训五位厨师。
保留推理能力： 论文发现，当你先使用一种称为 RLVF（来自可验证反馈的强化学习）的特殊训练方法来训练厨师时，他们会变得更擅长“思考”（逐步推理）。硬路由系统完美地保留了这种思考能力，因为它不会稀释厨师的工作成果。
“搅拌机”在撒谎： 作者分析了旧有的“搅拌机”方法，发现即使当他们尝试混合两位厨师时，搅拌机通常最终还是会依赖于其中一位厨师（约占 70% 的时间）。因此，“搅拌机”做了多余的工作，却没产生实际效果。而“硬路由”服务员直接跳过了中间环节，立即挑选出正确的厨师。

核心结论

这篇论文教会我们，在组合专门的 AI 专家时，你不需要重新训练他们，也不需要把他们的脑子混合在一起。 你只需要一个聪明、轻量级的系统来为任务选择正确的专家，并让他们按照受训时的原样发挥所长。

这其中的区别在于：是强迫一个团队在平庸的集体项目中妥协，还是让合适的专家逐一完美地处理任务。

技术摘要：学习选择而非重学：硬路由推理 LoRA 混合专家模型

问题陈述

本文探讨了将独立训练的低秩自适应（LoRA）适配器组合成单个大语言模型（LLM）以实现多领域适配的挑战，特别是在由于隐私或监管限制无法共享原始训练数据的情况下。

当对冻结的、独立训练的 LoRA 适配器应用标准的混合专家（MoE）软路由时，会出现一个关键问题。LoRA 模块是在单位规模加性更新（ $W_{updated} = W_{pretrained} + AB$ ）的假设下进行训练的。然而，标准的 MoE 软路由使用加权和来组合专家（ $W_{updated} = W_{pretrained} + \sum \omega_i A_i B_i$ ），其中路由权重 $\omega_i < 1$ 。这造成了规模不匹配：在集成过程中应用的有效更新与该专家最初训练时的单位规模更新不同。

现有的解决方案（如 LoRA-Mixer）试图通过使用辅助保留损失（auxiliary preservation losses）来重新训练适配器来解决此问题。这种方法增加了可训练参数的数量，需要更多的数据，并且存在改变原始专家所编码知识的风险。此外，这一挑战在处理具有思维链（CoT）推理能力的指令微调模型时尤为突出，因为传统的微调可能会降低内部推理行为，且现有的组合方法往往无法保留这些专门的推理轨迹。

方法论

作者提出了 Hard-Routed MoR-LoRA，这是一个两阶段框架，旨在通过单位规模硬选择来组合冻结的推理 LoRA 专家，从而避免重新训练专家。

第一阶段：训练推理专家

使用**基于可验证反馈的强化学习（RLVF）**独立训练特定领域的 LoRA 适配器。与鼓励模仿参考输出的监督微调（SFT）不同，RLVF 通过自动可验证的奖励（例如检查最终答案）来优化正确性。这种范式鼓励涌现出结构化的 CoT 推理，而不会覆盖基座模型的对齐推理模式。得到的专家随后被冻结。

第二阶段：硬路由集成

冻结的专家通过硬路由混合集成到一个共享模型中。

硬 Top-1 路由： 对于每个 token，路由器精确选择一个专家。这确保了所选专家以单位规模应用，从而保留了原始 LoRA 的假设（ $W_{updated} = W_{pretrained} + 1 \cdot A_j B_j$ ）。
直通估计器（STE）： 由于离散选择（argmax）是不可微的，作者采用了 STE。在正向传播中，使用硬决策；在反向传播中，梯度通过软概率进行传播。这使得在保持推理期间离散、单位规模行为的同时，实现路由器的端到端训练。
参数效率： 仅训练一个轻量级的共享线性路由器和一个小的注意力 LoRA 模块。预训练的专家保持冻结。
蒸馏： 路由器通过从冻结专家中蒸馏出的少量推理轨迹进行监督微调（SFT）进行训练。其目标是学习何时选择哪个专家，而不是重新学习推理能力本身。

核心贡献

识别规模不匹配： 本文指出，对独立训练的冻结 LoRA 适配器应用软 MoE 路由会引入规模不匹配，从而改变适配器的有效功能。
硬单位规模路由： 作者提出使用带有直通估计器的硬 Top-1 路由，以保留专家的单位规模应用，从而实现无需重新训练的模块化组合。
两阶段框架： 一种新颖的流水线，将推理获取（通过 RLVF）与专家选择（通过硬路由）分离，使专家在集成过程中保持冻结。
实证验证： 研究表明，该方法在需要显著更少可训练参数的情况下，仍能保持与软路由基线相当或更好的性能。

实验结果

实验在五个基准测试（GSM8K, ARC-Challenge, MedQA, BoolQ, CoLA）以及多种模型规模（1B, 3B, 8B）上进行，使用了 LLaMA-3、Gemma-3 和 Qwen-2.5 系列模型。

RLVF 的优越性： 对于有能力的模型（3B 和 8B），经过 RLVF 训练的专家在推理密集型任务上的表现显著优于 SFT 训练的专家，而 SFT 有时会降低大型指令微调模型的推理性能。
性能与参数的关系： Hard-Routed MoR-LoRA 实现了与软路由基线（LoRAMixer, MoLE）相当或更好的性能，同时训练的参数量大幅减少。例如，在 3B 模型配合 RLVF 专家的情况下，所提方法训练了约 73M 参数即可达到 72.07 的平均准确率，而 LoRAMixer 需要约 606M 参数才能达到 65.67。
路由行为分析： 对软 Top-2 路由的分析显示，它经常坍缩到接近 Top-1 的选择（平均主导权重约为 0.71），这表明硬路由能更直接、更高效地捕捉预期行为。
数据效率： 集成阶段（第二阶段）仅需每个数据集约 1,000 个样本即可达到接近在全量数据集上训练的性能，这表明路由器学习的是选择模式而非领域知识。
混合领域能力： 在混合领域评估中（例如包含数学和阅读理解的提示词），Token 级别的硬路由优于提示词级别的路由，展示了在单个输入中选择不同专家的灵活性。

意义与主张

本文声称，可以通过学习“何时”使用每个专家，而不是修改每个专家“知道什么”，来实现模块化适配。

作者认为，对于冻结的预训练 LoRA 专家，硬单位规模路由提供了一种简单且高效的抽象。通过将集成主要视为一个路由问题，该方法避免了与重新训练专家相关的计算成本和潜在的知识退化。结果表明，组合的主要益处在于为上下文选择合适的冻结专家，而不是广泛修改专家的参数。

这项工作强调，虽然提示词级路由对于清晰的单领域输入已经足够，但 Token 级的硬路由为复杂的混合领域输入提供了必要的灵活性。作者也谦虚地指出，该方法并非完全无需训练，因为第二阶段需要一些标记数据来学习路由策略，并且目前不支持在没有额外路由数据的情况下实现新领域的真正零样本集成。