💬 NLP

Routing-Aligned Fine-Tuning for Multilingual Downstream Tasks in Mixture-of-Experts Models

本文提出了 RA-MoE，这是一种三阶段微调框架，它利用混合专家模型中间层中语言通用的对齐区域，将目标语言的路由模式与英语任务专家激活进行对齐，从而显著提升多语言下游任务的性能。

原作者： Guanzhi Deng, Kuan Wu, Haibo Wang, Shing Yin Wong, Sichun Luo, Linqi Song

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Guanzhi Deng, Kuan Wu, Haibo Wang, Shing Yin Wong, Sichun Luo, Linqi Song

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你拥有一座庞大且超级智能的知识图书馆（即大型语言模型），它精通英语。在这座图书馆里，并非只有一个巨型大脑在承担所有工作，而是组织成一个混合专家（Mixture-of-Experts, MoE）系统：你可以将其想象为一个由众多专业顾问组成的大型团队。当你提出问题时，一个“路由”（就像前台接待员）会决定调用哪些特定的顾问进入房间协助解答。

问题在于，虽然这座图书馆在英语方面堪称天才，但当被要求用其他语言（如西班牙语、中文或阿拉伯语）执行相同任务时，它往往会表现不佳。

发现：“中间层”是魔法区域

研究人员注意到这座图书馆的运作方式有些奇怪。他们发现，这位“前台接待员”的行为会根据你所在的楼层（即模型的层级）而有所不同：

大堂（早期层）： 这里的接待员对语言非常挑剔。如果你说英语，他们会调用英语顾问；如果你说西班牙语，他们会调用西班牙语顾问。
顶层（晚期层）： 情况相同，语言壁垒依然坚固。
中间楼层： 在这里，接待员不再在意语言。无论你用英语还是西班牙语，他们都会调用完全相同的一组专家来解决数学问题或遵循指令。

研究人员意识到，对于许多任务而言，这座图书馆已经知道如何用目标语言解决问题（因为中间的专家是相同的），但“前台接待员”未能将请求发送给正确的人。这就像厨房里有一位才华横溢的厨师，能用任何语言烹制完美的菜肴，但服务员却不断将错误的订单送到错误的工位。

解决方案：RA-MoE（“引导接待员”方法）

该论文提出了一种名为RA-MoE（路由对齐混合专家）的新训练方法。他们不是仅仅教整个图书馆学习新词汇，而是教导“前台接待员”表现得更好。

以下是其运作的三个简单步骤：

1. “双重检查”审计（第一阶段）
他们取出一份问题清单，用英语和目标语言（例如西班牙语）向图书馆提出相同的问题。他们将结果分为四类：

CC： 两种语言都答对了。
II： 两种语言都答错了（图书馆根本不知道答案）。
IC： 英语答错但西班牙语答对（这种情况很少见）。
CI（金矿）： 英语答对但西班牙语答错。

研究人员只关注CI组。这些是图书馆拥有相关知识（它在英语中解决了问题）但在西班牙语中失败的案例。这证明问题不在于缺乏知识，而在于路由错误。

2. 映射专家（第二阶段）
他们查看图书馆中语言无关的“中间楼层”。他们精确识别出英语版本调用哪些特定顾问（专家）来解决该问题。他们会说：“好的，对于这个数学问题，英语版本调用了专家 #4、#7 和 #12。这些就是‘任务专家’。”

3. 对齐课程（第三阶段）
现在，他们利用西班牙语问题对图书馆进行微调。但他们添加了一条特殊规则：

当图书馆遇到CI示例（即在西班牙语中失败但在英语中本会成功）时，他们会告诉接待员：“嘿，看看英语版本是如何处理这个问题的。它调用了专家 #4、#7 和 #12。你也需要为西班牙语版本调用完全相同的这些专家。”

他们不仅仅是教模型说西班牙语；他们教模型将西班牙语问题路由到那些解决了英语版本的相同专家那里。

为什么有效

这就像一所学校。如果一个学生能用英语解出数学题，但在法语中却失败了，你不需要从头教他数学。你只需要告诉他，无论他用哪种语言提问，同一位数学老师都应该帮助他。

该论文发现：

这种方法优于标准训练（后者只是试图记忆新语言中的答案）。
它优于其他试图在不改变模型内部结构的情况下“引导”模型的方法。
一个任务拥有的"CI"示例越多（意味着模型知道英语答案但在目标语言中失败），这种方法就越有帮助。
他们在中间层发现的“任务专家”是通用的。一旦他们确定了哪些专家处理英语的数学问题，这些相同的专家也适用于西班牙语、法语和日语，而无需重新识别。

核心结论

RA-MoE 是一种修复多语言人工智能的聪明方法。它不是试图为每种语言构建一个新的大脑，而是修复现有大脑内部的“前台接待员”，使其无论问题是用何种语言提出，都能将问题发送给正确的专家。它将语言障碍转化为一个简单的、易于纠正的路由错误。

技术摘要：混合专家模型中面向多语言下游任务的路由对齐微调

问题陈述

混合专家（MoE）模型已成为高效扩展大语言模型（LLM）的主导范式。然而，将这些预训练的 MoE 模型适配到非英语下游任务仍然具有挑战性。现有的微调方法通常将 MoE 模型视为单一整体学习者，在目标语言数据上应用标准的监督微调（SFT）。这种方法忽视了预训练过程中形成的异构路由结构。

近期研究表明，跨语言路由差异呈现"U 型”模式：早期和晚期层具有高度的语言特异性，而中间层则表现出强烈的跨语言对齐。尽管存在这种对齐，非英语性能往往会出现下降，因为模型未能针对非英语输入激活特定的任务相关专家。核心问题在于如何利用这种跨语言路由结构来改善非英语任务的微调，同时避免重新训练整个模型或忽略稀疏路由动态。

方法论：RA-MoE

作者提出了RA-MoE（路由对齐 MoE 微调），这是一个三阶段框架，旨在将目标语言的路由模式与模型中间层中的英语任务专家激活模式对齐。

阶段 1：并行数据构建与分类

该方法首先构建一个并行数据集，其中英语任务示例 $(x_{en}, y_{en})$ 被翻译成目标语言 $(x_{tgt}, y_{tgt})$ 。MoE 模型对两个版本进行推理，并根据正确性将示例分类为四类：

cc：英语和目标语言均正确。
ci：英语正确，目标语言错误。
ic：英语错误，目标语言正确。
ii：两者均错误。

作者假设，ci 类别代表了一种“语言驱动”的性能差距，即模型具备必要的任务知识（在英语中已证明），但由于路由未对齐，无法在目标语言中应用该知识。

阶段 2：中间层与任务专家识别

本阶段分析模型的路由行为，以确定最佳的对齐目标：

中间层识别：作者计算各层英语与目标语言路由分布之间的 Jensen-Shannon (JS) 散度。他们确认了 U 型模式，识别出散度最小的连续中间层范围（ $L_{mid}$ ）。这些层充当“语言通用对齐区”。
任务专家识别：在这些中间层内，作者通过对比英语任务数据（仅限正确回答的示例）与通用英语语料库上的路由权重来识别“任务专家”。那些被优先激活用于特定任务（高特异性得分）的专家被选为目标集（ $E_{task}$ ）。

阶段 3：路由对齐 SFT

最后阶段涉及使用修改后的目标函数在目标语言数据上微调模型：
$\mathcal{L} = \mathcal{L}_{CE} + \lambda \cdot \mathcal{L}_{align}$

$\mathcal{L}_{CE}$ ：应用于所有示例的标准交叉熵损失。
$\mathcal{L}_{align}$ ：一种路由对齐损失，选择性地应用于ci 类示例。对于这些示例，鼓励模型在中间层将目标语言输入路由至与英语参考相同的任务专家。该损失计算为目标语言路由分布（限制在 $E_{task}$ 内）的重新归一化分布与英语参考分布之间的 KL 散度。

这种选择性应用确保了对齐信号建立在英语路由模式是任务有效且可靠参考的案例之上。

主要贡献

任务设置中 U 型散度的验证：本文通过实证验证了 U 型跨语言路由差异模式在特定任务设置中依然成立，表明中间层路由差异可可靠地预测各语言的任务性能差距。
四类分类法与预测器：作者引入了 cc/ci/ic/ii 分类法用于诊断跨语言差距。他们提供了实证证据，表明任务 - 语言对中 ci 示例的比例是路由对齐潜在收益的强预测指标（相关系数 $r=0.70$ ）。
任务专家识别与对齐目标：提出了一种利用英语数据在中间层定位任务相关专家的程序，并结合微调目标，在不需针对特定语言重新识别专家的情况下，缩小跨语言专家激活差距。
跨语言可迁移性：研究表明，在一种语言（如中文）中识别的任务专家可以迁移用于微调模型以处理语言距离较远的语言（如阿拉伯语、孟加拉语），而无需重新运行识别阶段，这表明中间层的任务专业知识在很大程度上是语言无关的。

实验结果

作者在三个 MoE 模型（OLMoE-1B-7B、Qwen1.5-MoE、DeepSeek-V2-Lite）、三个下游任务（GSM8K、IFEval、MMLU）和六种目标语言（阿拉伯语、孟加拉语、中文、法语、日语、西班牙语）上评估了 RA-MoE。

性能提升：RA-MoE 始终优于标准 SFT 和强基线模型，包括路由引导（推理时干预）和RISE（选择性微调语言特定子网络）。
与 CI 比例的相关性：性能提升在 ci 示例比例较高的任务 - 语言对中最为显著，证实了该方法的假设，即该方法针对的是语言驱动的差距而非知识差距。
机制变化：分析显示，与标准 SFT 相比，RA-MoE 大幅减少了中间层的路由差异，使目标语言路由更接近英语参考。此外，在 RA-MoE 下，目标语言的任务专家选择率上升更陡峭，并收敛至更高的平台期。
效率：该方法产生的计算开销微乎其微。对齐损失使总 FLOPs 增加不到 $10^{-3}\%$ ，而准备阶段（数据标注和路由分析）最多增加总墙钟时间的 15%，如果任务专家在语言间共享，则可减少至 10% 以下。

意义与局限性

本文声称，RA-MoE 弥合了 MoE 中间层理论上的跨语言对齐与实际下游任务性能之间的差距。通过显式地对齐路由模式而不仅仅是输出概率，该方法利用 MoE 的稀疏结构来提升多语言能力。

作者指出了具体的局限性：

对英语性能的依赖：该方法预设基础模型具有强大的英语任务性能；如果英语路由模式缺乏任务相关信息，则对齐信号不可靠。
预训练覆盖范围：对于在预训练语料库中严重代表性不足的语言，RA-MoE 带来的收益有限，因为瓶颈在于缺乏基础语言能力，而非路由未对齐。
模态：实验仅限于纯文本模型；推广到多模态大语言模型仍是一个未决问题。

这项工作表明，对于 MoE 模型，中间层充当了一个稳定的、语言通用的区域，在此区域内，可以通过路由对齐有效地跨语言迁移任务专业知识。