💬 NLP

A Data-Efficient Path to Multilingual LLMs: Language Expansion via Post-training PARAM $\Delta$ Integration into Upcycled MoE

本文介绍了一种名为\method 的数据高效方法，该方法将稠密模型上循环为混合专家架构，并整合后训练参数增量以扩展多语言能力，从而无需昂贵的持续预训练或复杂的对齐，即可有效平衡新语言习得与原有模型能力的保持。

原作者： Hao Zhou, Tianhao Li, Zhijun Wang, Shuaijie She, Linjuan Wu, Hao-Ran Wei, Baosong Yang, Jiajun Chen, Shujian Huang

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Hao Zhou, Tianhao Li, Zhijun Wang, Shuaijie She, Linjuan Wu, Hao-Ran Wei, Baosong Yang, Jiajun Chen, Shujian Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和生动的类比，对论文《DeltaMoE：通往多语言大语言模型的数据高效路径》的解读。

核心难题：“双语厨师”的困境

想象你有一位世界级的大厨（即大型语言模型），他是烹饪英语菜肴的专家，技艺精湛。现在，你希望这位大厨也能学会烹饪匈牙利语、塞尔维亚语和孟加拉语菜肴。

传统的方法是送这位大厨去一所庞大的烹饪学校进行长期学习（称为持续预训练）。他们会研读成千上万本这些新语言的食谱。但这里有个陷阱：

“健忘”的大厨：如果他们在这些新语言上钻研得太深，可能会开始忘记原本的英语食谱。
“稀释”的大厨：如果你试图小心谨慎，将旧的英语知识与新知识温和地融合，结果他们会在两者上都变得平庸。他们不会忘记英语，但也无法在新语言上变得精通。

这就是论文中讨论的“权衡”：你通常必须在“学好新语言”和“保持旧技能完美”之间做出选择，很难两者兼得。

解决方案：DeltaMoE（“专业厨房”方案）

作者提出了一种名为DeltaMoE的新方法。与其试图通过重新训练整个大脑来让大厨变得更聪明，不如给大厨配备一套专业化的厨房升级。

其运作原理分为三个简单步骤：

第一步：构建“专家混合”厨房（升级利用）

想象大厨的厨房得到了扩建。不再是只有一个发生所有事情的大操作台，而是建立了一个**专家混合（MoE）**厨房。

原始操作台（冻结专家）：大厨将原本的英语操作台保持原样，完全锁定。这里没有任何变化。这确保了他们永远不会忘记英语食谱。
新操作台（可训练专家）：他们专门为新语言（匈牙利语、塞尔维亚语、孟加拉语）建造了三个全新的操作台。
领班（路由器）：他们聘请了一位聪明的领班。当顾客点英语菜肴时，领班将他们送往原始操作台；当顾客点匈牙利语菜肴时，领班将他们送往匈牙利语操作台。

大厨只在新操作台上进行学习。原始操作台保持冻结，因此英语技能得到了完美保留。

第二步："Delta"嫁接（魔法迁移）

现在，新操作台擅长烹饪食物，但它们不知道如何礼貌地与顾客交流或遵循复杂的指令（这称为对齐）。通常，你需要训练它们数月才能学会这一点。

论文的巧妙之处在于Delta 合并。

想象还有另一位著名大厨（一个预训练的“指令”模型），他已经是与顾客交流及遵循规则的专家，但他只讲英语。
作者没有从零开始训练新操作台，而是提取了这位著名大厨与其原始基础模型之间的**“差异”（即 Delta）。这就像是一张写在便签纸上的“礼貌食谱”**。
他们将这张便签纸贴到了新操作台上。因为新操作台是用与原始模型相同的“面团”制作的，所以这份“礼貌食谱”能立即生效。

结果：新操作台现在既能烹饪匈牙利语食物，又能礼貌交谈，而无需经历昂贵且数据密集的训练过程。

为何这比旧方法更好

论文将这种方法与其他方法进行了测试，发现：

不再需要权衡：
- 旧方法 A（平均法）：试图混合旧技能和新技能。结果：大厨的英语变差了，新语言也只是勉强过得去。
- 旧方法 B（直接 Delta 法）：试图直接将新技能粘贴在上面。结果：大厨在新语言上表现优异，但忘记了如何说英语。
- DeltaMoE：大厨英语精通（因为原始操作台被冻结），并且新语言也精通（因为新操作台学习了这些语言，并获得了“礼貌”嫁接）。
数据高效：
- 其他方法需要数百万个示例来教导模型如何在一种新语言中表现得礼貌。
- DeltaMoE 通过从现有模型中“嫁接”这种能力，免费获得了这一功能。它节省了海量的时间和计算资源。
可扩展性：
- 作者证明，即使你添加更多的语言（例如从 3 种增加到 8 种），系统也不会崩溃。领班（路由器）只需学会将订单发送到正确的操作台，系统就能保持稳定。

总结

DeltaMoE 就像给一位名厨配备了一个专业化、模块化的厨房。

他们保持原始工作区原封不动，以保护核心技能。
他们为新的语言添加新的工作区。
他们无需重新训练，就能立即将“客户服务技能”迁移到新的工作区。

这使得 AI 模型能够流利且礼貌地掌握多种新语言，同时不会失去原有的智能，也不需要海量的新数据。

技术摘要：DeltaMoE——通往多语言大语言模型的数据高效路径

1. 问题陈述

将大语言模型（LLM）扩展到新语言目前是一个资源密集型过程。标准流程涉及在大规模多语言语料库上进行持续预训练（CPT），随后进行复杂的后训练对齐阶段（例如 SFT 和 RL）。这种方法需要大量的数据重放以防止对原始能力的灾难性遗忘，并且需要海量的高质量指令数据用于对齐。

最近的“无数据”合并技术试图通过将 CPT 增强模型与现有的指令模型融合来绕过对齐阶段。然而，这些方法面临一个关键的权衡：

线性平均（模型汤）： 稀释了新获取的语言知识，限制了扩展语言方面的收益。
Delta 合并： 直接应用参数变化通常会导致模型原始语言能力的灾难性遗忘。

核心挑战在于高效地获取新的语言和对齐能力，同时不牺牲模型的原始性能。

2. 方法论：DeltaMoE

作者提出了DeltaMoE，这是一个两阶段框架，通过将密集模型升级（upcycle）为混合专家（MoE）架构来解决上述权衡问题。

阶段 1：通过稀疏升级进行持续预训练

通过创建原始前馈网络（FFN）的深度副本来充当“专家”，将密集基础模型转换为 MoE 架构。

架构： 模型由 $N$ 个专家和路由器组成。原始参数（特别是第 0 个专家）被冻结，作为原始语言知识的专用存储库。
训练： 在针对新语言数据进行 CPT 期间，仅更新新添加的扩展专家和路由器。
目标： 模型在最小化下一个词元预测（NTP）损失的同时，使用负载均衡损失（LLB）确保词元在专家之间的高效分配。这确保了原始知识保持完整，而新语言由活跃的专家学习。

阶段 2：MoE 模型合并（Delta 集成）

一旦 MoE 基础模型在新语言上训练完成，它就缺乏对齐能力。作者通过从经过良好对齐的密集指令模型中嫁接参数 delta（ $\Delta_{post}$ ）来替代昂贵的后训练。

Delta 计算： $\Delta_{post} = \theta_{post-trained} - \theta_{base}$ ，代表指令模型训练期间获得的对齐知识。
组件级嫁接：
- 共享参数： 对于密集架构和 MoE 架构共有的层（例如 Attention、Embeddings），直接应用 delta。
- 专家参数： 对于 FFN 层，从密集模型的 FFN 权重计算单个 FFN 特定的 delta。然后，该 delta 被均匀应用于 MoE 架构中的所有专家。
原理： 该策略将所有专家视为继承相同的基础结构，允许对齐知识在所有专家中广播，而不会稀释存储在冻结或已训练专家中的特定语言知识。

3. 主要贡献

新颖框架： 引入DeltaMoE，将 MoE 升级与精细的 delta 合并策略相结合，以扩展语言并获取对齐能力，而无需繁重的后训练程序。
解决权衡： 该方法有效地将知识获取（通过新专家）与知识保留（通过冻结专家）以及对齐转移（通过 delta 嫁接）解耦，解决了扩展能力与保留原始能力之间的冲突。
通用性： 该方法在不同基础模型（Qwen2.5-7B、LLaMA-3.1-8B）和不同来源的对齐 delta（标准指令、Tulu3 SFT）上得到了验证，证明了其鲁棒性。

4. 实验结果

实验在将 Qwen2.5-7B 和 LLaMA-3.1-8B 扩展至匈牙利语、塞尔维亚语和孟加拉语上进行，并在匹配数据、FLOPs 和参数数量的基线模型上进行了评估。

扩展语言性能： DeltaMoE 实现了最先进（SOTA）的性能，在参数相当的情况下，其扩展语言的平均得分比其他基于 delta 的方法高出1.7 分。
原始能力保留： 与导致显著遗忘的密集 delta 合并不同，DeltaMoE 保留了原始语言性能，在保留指标上比密集 delta 基线高出1.5 分。
效率： 即使密集基线在两倍于 CPT 数据量上进行训练（以匹配 MoE 训练的 FLOPs），DeltaMoE 在扩展语言性能方面仍保持显著优势（约 1.94 分）。
消融研究：
- 合并策略： MoE 架构内的线性平均未能解决权衡问题，证实了 delta 合并方法的必要性。
- 路由器微调： 最小数据重放策略（0.15B 词元）结合路由器微调，使 DeltaMoE 在知识保留方面超越了密集平均基线。
- 可扩展性： 将可训练专家数量增加到三个以上带来的收益微乎其微，表明三个可训练专家足以应对多种扩展语言。

5. 意义与主张

论文声称，DeltaMoE 为扩展现有 LLM 的多语言对齐提供了一条实用且可扩展的路径。通过将密集模型升级为 MoE 架构并嫁接对齐 delta，该方法：

消除了对新语言进行大规模指令数据集和复杂 RL 对齐阶段的需求。
解决了当前合并技术中固有的“遗忘与学习”困境。
提供了一种数据高效的替代方案，与扩展密集训练数据相比，以显著更低的计算开销实现了更优越的性能。

作者承认了局限性，指出所评估的语言并未完全代表全球语言多样性，并且与密集模型相比，MoE 架构在推理期间引入了不可忽略的计算开销。然而，该框架被提出作为高效多语言扩展的稳健解决方案。