Multi-task Code LLMs: Data Mix or Model Merge?
本文比较了用于创建高效多任务代码大语言模型的数据混合与模型合并策略，发现模型合并在较大规模（7B）下优于数据混合，能够保留甚至超越专业化性能，而数据混合在较小规模（2B）下更具优势。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一个聪明但体型较小的机器人助手，它需要学习两项截然不同的技能：编写代码（像程序员一样）和解释代码（像老师一样）。你希望这个机器人在这两方面都表现出色，但你没有预算或时间去训练两个独立的机器人。你有两种主要的教学方式：
- “混搭”课堂（数据混合）： 你把所有的编程问题和所有的讲解课程都扔进一个大桶里，让机器人同时学习所有内容。
- “专家切换”（模型合并）： 你先训练一个成为编程大师的机器人，再训练另一个成为教学大师的机器人。然后，你将它们的“大脑”（其“权重”）仔细地融合在一起，变成一个超级机器人。
这篇论文提出了一个简单的问题：哪种方法效果更好？ 而答案完全取决于机器人的规模有多大。
重大发现：规模决定一切
研究人员在不同规模的机器人上进行了测试（拥有约 20 亿个“脑细胞”的小型机器人和拥有 70 亿个的大型机器人）。以下是他们的发现：
1. 小型机器人（20 亿参数）： “混搭”胜出
对于较小的机器人，试图将两个专家的脑子融合在一起简直是一场灾难。这就像是在尝试将油和水混合在一起；两种技能会互相冲突，导致机器人陷入混乱，从而既无法做好编程也无法做好教学。
- 类比： 想象一个学生在同一门课上同时学习微积分和诗歌。如果试图通过强行融合两门独立的课程来让他们成为一名“数学诗人”，他们可能会感到应接不暇，最终两样都学不好。
- 解决方案： 对于小型机器人，更好的办法就是把数学书和诗歌书放在一起，让他们同时学习。这种“混搭”法（数据混合）能让小型机器人保持对两项任务的胜任能力，而不会产生混乱。
2. 大型机器人（70 亿参数）： “专家切换”胜出
对于较大的机器人，情况发生了逆转。融合两个专家的脑子效果极佳。事实上，合并后的机器人有时甚至比单个专家还要出色。
- 类比： 想象一位天才教授，他既是数学大师，又是文学大师。如果你取走他们的“数学大脑”和“文学大脑”并将它们结合起来，他们并不会感到困惑。相反，他们会找到利用其博学知识来解决问题的办法，而这种方法是任何单一领域的专家都无法单独实现的。
- 结果： 合并后的大型机器人保留了专门化专家 96% 的性能。在某些情况下，合并后的机器人在编程测试中的得分甚至高于专门为编程而训练的机器人！
为什么会这样？（“脑部扫描”）
研究人员不仅观察了测试成绩，还观察了机器人在训练过程中大脑内部的变化。
- 小型机器人： 当小型机器人尝试同时学习两件事时，它们的大脑在处理这两项任务时的变化非常相似。这就像它们在用完全相同的神经元来处理数学和诗歌。当你试图合并两个小型机器人时，这些神经元会为了争夺控制权而发生冲突，导致大脑出现“交通堵塞”。
- 大型机器人： 大型机器人拥有足够的“大脑空间”，可以使用大脑的不同部分来处理数学，使用不同的部分来处理诗歌。它们就像房子里的两个独立房间。当合并它们时，房间不会发生碰撞，而是并排坐在一起，使机器人能够成为两者的专家而互不干扰。
核心结论
如果你正在构建一个小型、高效的 AI 系统（例如用于电池或内存有限的设备），不要尝试合并专家。 直接在一个包含你所需所有数据的模型上进行训练即可。
然而，如果你拥有一个更大、更强大的模型，那就大胆地合并专家吧。 你可以分别训练一个编程专家和一个总结专家，然后将它们结合起来，得到一个多才多艺、高性能的模型，从而节省从头开始训练大规模多任务模型的成本。
简而言之：
- 小型模型？ 混合数据。
- 大型模型？ 合并专家。
这篇论文为开发者提供了一套清晰的规则手册，指导他们根据模型的大小选择正确的策略，从而确保在不浪费资源的情况下获得最佳性能。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。