Mix-MoE: Improving Multilingual Machine Translation of Large Language Models through Mixed MoEs
本文提出了 Mix-MoE，这是一种两阶段混合专家框架，它将语言模型专家与机器翻译专家分离，并利用傅里叶变换增强的路由机制，有效缓解参数干扰，显著提升了大语言模型中的多语言机器翻译性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你有一位才华横溢、精通多种语言的图书管理员（即大型语言模型），他花费数年时间阅读了数百万本不同语言的书籍。这位图书管理员擅长理解任何他读过的语言中的故事、语法和事实。然而，如果你要求这位图书管理员开始一项新工作：将书籍从一种语言翻译成另一种语言，他可能会感到困惑。
为什么？因为这位图书管理员试图用同一组“脑细胞”来同时进行阅读和翻译。当他专注于新的翻译任务时，可能会不小心“覆盖”或遗忘他已经掌握的深层阅读技能。这被称为参数干扰——新任务扰乱了旧技能。
这篇论文介绍了一种名为Mix-MoE的巧妙新方法，用于训练这些图书管理员，使他们能够完美地同时完成这两项工作而不忘却任何内容。以下是其工作原理的分解说明：
1. “专业团队”类比
Mix-MoE 不是让一个大脑包揽所有工作，而是将工作拆分为两个专业的专家团队，就像在图书馆中聘请两个不同的部门：
- “阅读团队”（LM 专家）： 这些专家负责保留图书管理员原有的超能力。他们经过训练，以维护图书馆中关于语言运作方式（语法、词汇、叙事）的庞大知识库。他们的工作是确保图书管理员永远不会忘记如何理解一种语言。
- “翻译团队”（MT 专家）： 这些是新聘请的专家，专门学习如何将语言 A 的词汇转换为语言 B。他们仅针对翻译语对进行训练。
魔法技巧： 当图书管理员学习翻译时，“阅读团队”被置于“冻结”状态。他们不会发生任何改变。这确保了图书管理员的原始知识完好无损，而“翻译团队”则承担新任务的所有繁重工作。
2. “两阶段训练”流程
该论文提出了一种特定的训练计划，类似于一个两学期的学校项目：
- 第一学期（阅读训练营）： “阅读团队”获得额外的单语书籍阅读练习。这 sharpened 他们对语言结构的理解。
- 第二学期（翻译训练营）： 现在，“阅读团队”退居幕后（保持冻结）。“翻译团队”开始利用句子对（例如英语中的"Hello"和西班牙语中的"Hola"）进行训练。由于“阅读团队”没有发生变化，图书管理员在学习新的翻译技巧时不会失去其原始技能。
3. “频率调节器”（FFT 路由）
图书管理员如何知道该呼叫哪位专家寻求帮助？在大多数系统中，他们仅查看单词的含义。但 Mix-MoE 添加了一个名为**FFT（快速傅里叶变换）**的特殊工具。
将语言不仅仅视为单词，而是视为一首歌曲。每种语言都有其独特的节奏、节拍和“频率”（就像鼓点和小提琴声之间的区别）。
- 标准系统只听取歌词（含义）。
- Mix-MoE 的路由机制也会倾听句子的节奏和节拍（结构模式）。
通过分析文本的“频率”，系统可以更好地决定：“这句话具有土耳其语典型的复杂节奏，因此让我们呼叫擅长土耳其语结构的第 2 号专家”，或者“这是一个简单的英语句子，让我们呼叫第 1 号专家。”这有助于让正确的专家更高效地完成任务。
4. 结果
作者在 14 种不同的语言对（如中文到英语、德语到英语等）上测试了该系统。
- 问题： 旧方法在尝试学习翻译时，往往会使图书管理员的原始阅读技能变差。
- Mix-MoE 解决方案： 新方法在保持阅读技能完整的同时，显著提升了翻译质量。它击败了所有其他“标准”方法，证明了将团队分离并倾听语言的“节奏”比强迫一个大脑包揽所有工作更有效。
总结
Mix-MoE 就像为这位多语言专家配备了一位专门的翻译助手。该系统冻结了专家的知识，让一个新的、专业的团队处理翻译任务，而不是过度使用专家的脑力并冒着遗忘原始技能的风险。它甚至使用“节奏检测器”来确保为工作挑选正确的助手。其结果是，既拥有高超技能，又不会忘记最初如何说该语言的翻译器。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。