💬 NLP

Can Model Merging Improve Aggregation in DiLoCo?

本文通过证明将 Iso-C 合并技术与 Nesterov 动量相结合（IsoLoCo）在低通信分布式训练中显著优于现有的 DiLoCo 方法（特别是在本地工作节点数量增加时），弥合了模型合并与分布式学习之间的鸿沟。

原作者： Stefan Horoi, Benjamin Thérien, Guy Wolf, Eugene Belilovsky

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Stefan Horoi, Benjamin Thérien, Guy Wolf, Eugene Belilovsky

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图训练一个巨大的、超级聪明的 AI 大脑。为了实现这一点，你需要海量的计算能力。通常，公司会使用“数据并行”（data-parallel）的方法：他们把数百台计算机并排排列在一起，让它们在同一时间处理完全相同的任务，并且不断地向彼此发送更新。这种方法很快，但需要昂贵的高速电缆将每一台计算机连接起来。如果其中一台计算机变慢了，或者电缆性能变弱了，整个队列都必须停下来等待。

问题：“孤岛”法（The "Island" Approach）
为了节省成本并使用较弱的连接，研究人员开发了一种名为 DiLoCo 的方法。想象一下，与其使用单一的队列，不如拥有许多独立的“孤岛”：

每个孤岛在一段时间内（例如 30 个步骤）独立训练它自己的 AI 大脑版本。
在这 30 个步骤中，它们互不通信。
30 个步骤结束后，它们会将各自学到的总结（即“伪梯度”）发送到一个中央枢纽。
枢纽会对这些总结进行平均，并更新主大脑。

故障：
论文发现这种“孤岛”法存在一个缺陷。随着你增加孤岛（工作站）的数量，或者让它们在交流前训练的时间过长，AI 开始变得混乱。这就像一群人试图共同画一幅画却不说话：如果他们在独自创作时工作得太久，他们开始画出不同的东西，当他们试图合并作品时，结果就会变得一团糟。用技术术语来说，来自不同孤岛的“更新”开始相互冲突，从而降低了 AI 的性能。

灵感：合并专家模型（Merging Expert Models）
另外，另一组研究人员正在研究 模型合并（Model Merging）。想象一下，你有一个学习意大利菜的专家厨师和另一个学习日本菜的专家厨师。你想拥有一个既能做意大利菜又能做日本菜的厨师。

旧方法： 直接平均他们的食谱。这通常会失败，因为食材会发生冲突（例如，将酱油和奶油混合在一起）。
新方法（任务算术/Task Arithmetic）： 我们不再是平均整个食谱，而是观察专家最终食谱与原始基础食谱之间的差异。然后，你仔细地组合这些差异。

这篇论文的大发现是：意识到 DiLoCo 实际上就是在循环中进行模型合并。

“基础模型”是大家上次交流时的那个 AI 大脑。
“孤岛”是那些独立训练的专家。
它们传回的“更新”就是“差异”（或任务向量）。

论文认为，DiLoCo 随着孤岛增多而变得混乱的原因，与模型合并变得混乱的原因是一样的：干扰（Interference）。来自不同孤岛的更新正在互相争斗。

解决方案：IsoLoCo
作者决定借鉴模型合并领域中“最好的食谱”来修复 DiLoCo。他们测试了几种合并技术，发现一种名为 Iso-C（各向同性合并）的技术效果最好。

可以将 Iso-C 想象成更新过程中的一个“协调器（harmonizer）”。当孤岛们传回它们的更新时：

协调器会观察更新的“形状”。
如果某个孤岛在特定方向（特定的数学方向）上叫得太大声，协调器会将这个音量调低，以匹配平均水平。
这可以防止任何单个孤岛占据主导地位或产生冲突，从而创造出一个更平滑、更平衡的组合更新。

他们将这个“协调器”与一个“动量（momentum）”特性（就像一个即使路面颠簸也能保持速度的跑步者）相结合，创造出了一种名为 IsoLoCo 的新方法。

结果
他们在不同规模的 AI 模型和不同数量的孤岛（从 1 到 128 个）上测试了该方法。

胜出者： IsoLoCo 一贯优于原始的 DiLoCo 方法。
差距： 你增加的孤岛越多，IsoLoCo 的优势就越大。在 128 个孤岛的情况下，原始方法变得非常混乱，但 IsoLoCo 依然保持得干净且高效。
速度： 他们还利用一种数学捷径（Newton-Schulz 迭代）为 IsoLoCo 制作了一个“快速模式”，这使得过程变得更快，且不会损失质量。

总结
这篇论文表明，通过将分布式 AI 训练视为一个“专家合并”问题，我们可以使用先进的数学技巧来阻止计算机之间的争斗。这使得我们能够在许多连接较弱的计算机上训练大规模 AI 模型，而不会损失性能，从而使大规模 AI 训练变得更便宜、更具可扩展性。

技术摘要：用于 DiLoCo 聚合的模型合并技术

问题陈述

分布式低通信（DiLoCo）训练已成为一种在连接性能较差的计算集群（“孤岛”）上训练大型语言模型的方法，其核心在于最小化全局同步。在 DiLoCo 中，工作节点在通过全局优化器聚合参数更新（伪梯度）之前，会执行多次局部优化步骤（内步）。虽然这种方法在降低通信成本方面非常有效，但随着工作节点数量 ( $R$ ) 或局部步数 ( $H$ ) 的增加，性能会出现退化。这种退化的原因是局部副本之间发生了显著的分歧，导致平均后的伪梯度与紧密同步的数据并行训练所产生的更新不一致。

与此同时，**模型合并（Model Merging）**技术已被开发用于将独立微调的模型组合成单个模型。模型合并中的一个核心挑战是“任务干扰（task interference）”，即来自不同任务的参数更新会发生冲突，导致性能下降，尤其是在需要合并的模型数量增加时。

作者发现了这两个领域之间的结构性类比：DiLoCo 中使用 SGD 的外部优化器进行的伪梯度聚合过程，在数学上等同于**任务算术（Task Arithmetic）**模型合并。在这个类比中：

外部步开始时的共享全局模型对应于预训练初始化。
局部工作副本对应于微调后的“专家”模型。
局部更新（伪梯度）对应于“任务向量”。
工作节点的数量对应于任务的数量。

核心问题在于：专门用于减轻任务干扰的高级模型合并技术，是否可以被重新利用以改进 DiLoCo 的聚合步骤，从而在增加工作节点或局部步数时恢复性能。

方法论

理论桥梁

本文建立了一个理论基础，证明 DiLoCo 的 SGD 外部更新是任务算术的直接应用。通过将伪梯度的聚合视为一个模型合并问题，作者建议使用旨在减少负面干扰的高级合并算法来替代标准的平均操作。

合并方法的实验评估

作者系统地基准测试了几种最先进的合并方法，将其作为 DiLoCo 聚合步骤的即插即用替代方案。评估的方法包括：

基于稀疏性的方法： TIES (TrIm, Elect Sign) 和 DARE (Drop And REscale)。
基于正交化的方法： TSV (Task Singular Vector)、Iso-C (Isotropic merging in Common subspace) 以及 Iso-CTS。

关于合并方法的发现：

稀疏性方法 (TIES, DARE)： 仅在极低稀疏度水平下表现得与标准 DiLoCo SGD 相似。随着稀疏度的增加，性能发生退化，这表明它们在这种语境下并未比简单的平均法提供明显的优势。
TSV： 表现较差（验证损失较高），且计算成本过高，因为每个步骤都需要进行多次奇异值分解 (SVD)。
Iso-CTS： 虽然优于基准方法，但计算开销巨大，且在 DiLoCo 设置下（其中局部任务较短且相似）相对于 Iso-C 并未展现出显著优势。
Iso-C： 脱颖而出成为最有前景的候选方案。它通过使用聚合伪梯度的平均值来替换其奇异值谱，从而平滑高能方向，产生一个平衡的公共子空间，以此提升性能。它每个参数矩阵仅需一次 SVD，提供了良好的成本-性能权衡。

提出的算法：IsoLoCo

基于 Iso-C 的成功，作者提出了 IsoLoCo (Isotropic Distributed Low-Communication)。IsoLoCo 通过以下方式将 Iso-C 适配于分布式训练：

各向同性修正 (Isotropic Correction)： 对于二维参数矩阵（权重层），它计算平均伪梯度的 SVD，将奇异值替换为其平均值，并重建更新。这在保持子空间结构的同时正则化了谱分布。
Nesterov 动量： 与标准的 Iso-C 不同，IsoLoCo 在外部优化器中引入了 Nesterov 动量。这受到先前研究的启发，即动量在 FedOpt/DiLoCo 设置中具有益处。修正后的伪梯度被送入动量缓冲区，以生成最终更新。

实现优化

为了解决 SVD 的计算成本，作者开发了一种基于 Newton–Schulz 迭代 的快速 IsoLoCo 实现。该实现使用迭代正交化取代了标准 SVD，并使用 RMS 作为奇异值均值的代理。这种优化使得正交化速度提升了高达两个数量级，且性能损失微乎其微。

关键结果

随工作节点数量变化的性能

实验在 Llama 风格的模型（178M、512M 和 1B 参数）上使用 DCLM 数据集进行。

随工作节点数量的扩展性： 随着工作节点数量的增加，IsoLoCo 的表现显著优于标准 DiLoCo。
- 在 178M 规模且 $R=128$ 时，相比于 DiLoCo，IsoLoCo 将相对于数据并行基准的验证损失差距缩小了 5.8%。
- 在 $R=128$ 时，IsoLoCo 相对于数据并行训练的退化率为 9.7%，而 DiLoCo 的退化率为 16.5%。
- 在低工作节点数（ $R \le 4$ ）时，IsoLoCo 甚至超越了数据并行基准。
模型规模： IsoLoCo 相对于 DiLoCo 的优势在不同模型规模（178M 至 1B）下依然存在，尽管对于较大的模型，相对提升幅度略有减小（1B 时为 1.2%，178M 时约为 2.4%），这可能是因为较大的模型本身在处理更多工作节点时具有更好的扩展性。

局部步数的影响

研究人员对不断增加的同步间隔（ $H = 30$ 到 $240$）进行了 IsoLoCo 的评估。它在所有间隔下都持续优于 DiLoCo，展示了对更长时间局部分歧的鲁棒性。

与基于动量的 DiLoCo 的比较

值得注意的是，将 DiLoCo SGD 与 Iso-C 聚合（不带动量）相结合，其表现已经优于使用 Nesterov 动量的标准 DiLoCo。将 Nesterov 动量添加到 Iso-C 中（形成 IsoLoCo）进一步扩大了性能差距，这表明基于合并的聚合机制与动量机制是互补的。

与 Muon 的兼容性

论文指出，IsoLoCo 可以与 Muon 内部优化器（MuLoCo）组合使用。在这种配置下，当 $R \ge 32$ 时，IsoLoCo 取得了所有方法中的最低验证损失；同时，使用 AdamW 内部优化器的 IsoLoCo 在高工作节点计数下，能以显著更低的正交化成本达到或超越 MuLoCo 的表现。

意义与主张

本文声称，通过模型合并的角度来看待低通信分布式训练，为提高可扩展性提供了一个强大的框架。主要贡献如下：

理论统一： 建立了 DiLoCo 伪梯度聚合与任务算术模型合并之间的直接类比。
实证验证： 证明了模型合并技术（特别是 Iso-C）可以作为优于简单平均法、甚至优于基于动量的 DiLoCo 的分布式训练聚合规则。
IsoLoCo： 提出了一种实用的、增强了动量的算法，显著缩小了低通信训练与数据并行金标准之间的性能差距，特别是在工作节点较多或同步间隔较长的情况下。
效率： 提供了一种基于 Newton-Schulz 的实现方式，使得原本依赖 SVD 的重型合并过程在迭代式分布式训练中变得计算可行。

作者总结道，受合并启发的聚合是一种有效的低通信分布式训练策略，为在不牺牲模型质量的前提下，跨地理分布或连接性能较差的集群扩展训练规模提供了一条路径。