Escaping Low-Dimensional Overlap: Multi-Task Model Merging via High-Dimensional Sparse Disentanglement

在人工智能飞速发展的世界里，研究人员正不断尝试构建能够同时处理多种任务的机器。想象一下，一位学生多年来精通数学，另一位成为了编程高手，而第三位则是遵循复杂指令的专家。在过去，为了使用所有这些技能，计算机需要运行三个独立的程序，每个程序专门负责一个学科。这是低效的，需要消耗大量的计算机内存和能量。一个更优雅的解决方案是将这些不同的专家组合成一个单一的、多功能的模型。这个被称为“模型合并”（model merging）的过程，试图将不同专业程序的“知识”融合进一个统一的大脑中，而无需从头开始重新训练。然而，这种融合是极其困难的。当你混合两组截然不同的指令时，它们往往会发生冲突。计算机会变得混乱，导致最终的模型在所有任务上的表现都很差，仿佛这些不同的技能正在争夺机器内存中的同一块空间。

这一问题的核心在于这些人工大脑存储信息的方式。在神经网络内部，不同的技能往往共享相同的物理路径，研究人员称之为“叠加”（supervision）。这就像是多个不同的想法试图同时占据同一条狭窄的走廊。当研究人员尝试简单地将两个模型的权重相加时，这些重叠的想法会相互干扰，产生一团乱麻，导致有用的信息丢失。以往的修复尝试涉及在原始的拥挤空间内试图理顺乱麻，通常是通过剪掉模型的一部分或重新缩放数值。但当干扰严重时，这些方法就像是仅通过观察结节来试图理顺一堆混杂在一起的电线；它们无法在不损坏电路的情况下完全分离出单个线条。

一个研究团队提出了一种通过彻底改变视角来解决此问题的新方法。他们建议不是在拥挤的走廊里理顺电线，而是将电线移到一个更大、更空的房间里，那里有足够的空间将它们分开摆放。他们将这种方法称为“高维稀疏解耦合并”（High-Dimensional Sparse Disentangle Merging）。研究人员使用了一种被称为“稀疏自编码器”（Sparse Autoencoder）的工具，它充当了翻译官的角色。它将特定任务中纠缠在一起的指令转化为一份长长的、简单的、截然不同的特征列表。因为这个新列表比原始指令集要长得多，所以每个特征都能获得自己专属的空间，使计算机能够准确识别哪些知识属于数学，哪些属于编程，以及哪些属于遵循指令。一旦信息在这个宽敞的高维空间中被分离出来，研究人员就可以仔细地组合相关部分，而不必担心不同的技能互相踩踏。完成组合后，翻译官再将干净的、分离后的列表转换回原始格式，以便模型使用。

然而，将大型模型的每一个层都翻译成这种新格式会极其缓慢且昂贵。为了解决这个问题，研究人员引入了一种智能选择方法，称为“分组秩零阶优化器”（Group-Ranked Zeroth-Order Optimizer）。这个工具充当了侦察兵的角色，快速测试模型的哪些部分对特定任务最为关键。它通过对模型的不同部分进行微小的随机调整，并观察性能的变化情况来进行判断，而无需计算复杂的梯度。通过识别出最重要的层，系统仅在真正需要的地方应用昂贵的翻译和分离过程，让模型的其余部分使用更简单、更快速的方法进行合并。这确保了系统在保持高效的同时，仍能获得深度分离带来的好处。

研究人员使用 Qwen2.5 系列语言模型测试了这一新框架，这些是功能强大的人工智能系统。他们为数学推理、代码生成和遵循复杂指令等任务创建了专家模型。当使用传统方法合并这些专家时，结果往往令人失望，在困难任务上的表现显著下降。相比之下，他们的新方法始终优于现有技术。在一个拥有 70 亿参数的大型模型上，他们的方法在数学、编程和指令遵循任务上的平均得分达到了 68.49，明显超过了之前的最佳方法。在高度冲突的情景下，这种提升更为显著。当他们在较小的 15 亿参数模型上尝试合并包括安全对齐在内的四种不同任务时，传统方法的平均得分大幅跌至 15.45。而新方法保持了 36.48 的得分，有效地保留了模型进行数学和编程的能力，同时也遵循了严格的安全准则。

这项研究表明，成功合并模型的关键不仅在于我们如何混合数字，还在于我们在哪里进行混合。通过将任务信息投影到可以清晰区分特征的高维空间中，研究人员能够减少通常困扰这些系统的干扰。他们发现，他们改进后的自编码器（它使用一种特定的技术来保持最重要的特征活跃，同时忽略其他特征）对于这种成功至关重要。此外，他们的层选择工具证明了，并不需要将这种复杂的分离应用于模型的每一个部分；专注于关键层就足以捕捉到其优势。结果表明，这种方法提供了一种稳健的方式，可以构建能够处理多种冲突任务的通用模型，而无需额外的训练数据或昂贵的重新训练。虽然该方法在设置翻译工具时需要一些初始计算投入，但回报是一个比使用旧技术创建的模型能更好地保留其专业技能的模型。这项工作为创建更强大、更通用的、能够驾驭多种人类复杂任务而不迷失方向的人工智能系统提供了一条具体的路径。