技术摘要：MEROTUNE：具有可调旋钮的 RoPE 安全合并技术

1. 问题陈述

模型合并旨在将多个微调模型组合成一组单一的权重集，在不增加服务多个模型成本的情况下，保留每个模型的专业化能力。标准方法（如权重平均、TIES、DARE）直接作用于原始权重张量，这隐含地假设了被合并模型的内部坐标系（特别是注意力子空间）已经是对齐的。

最近的研究 [13] 尝试通过学习一个可逆的修正矩阵 $M$，来纠正查询（$W_q$）和键（$W_k$）投影中的失配。从理论上讲，单独对 $W_q$ 应用 $M$ 并对 $W_k$ 应用 $M^{-\top}$ 是一个“无操作”（no-op），因为 $(Mq)^\top (M^{-\top}k) = q^\top k$。然而，这种抵消依赖于一个假设，即在投影与点积之间没有任何干预。

核心冲突： 几乎所有现代开源语言模型（如 Qwen、Llama 3）都恰好在这一中间空间内使用旋转位置嵌入（RoPE）。RoPE 对查询和键向量应用一个与位置相关的旋转。如果学习到的修正矩阵 $M$ 不能与 RoPE 旋转矩阵 $R(\Delta\theta)$ 交换，那么“无操作”属性就会被破坏。这种修正会无意中扭曲 RoPE 旨在编码的相对位置依赖关系，而这种扭曲在不显式重新推导 RoPE 交互的标准训练损失中是不可见的。

2. 方法论

2.1 理论推导：RoPE-交换类（RoPE-Commutant Class）

本文推导出了在存在 RoPE 的情况下，使抵消关系 $(Mq)^\top R(\Delta\theta) (M^{-\top}k) = q^\top R(\Delta\theta) k$ 能够精确成立的特定矩阵 $M$ 类。

• 条件： $M$ 必须与所有的相对位置 $\Delta$ 下的 RoPE 旋转矩阵 $R(\Delta\theta)$ 交换。
• 结果： 有效矩阵构成了一个严格的、低维的可逆矩阵子集。具体而言，对于每个 RoPE 频率对（一个 2D 子空间），$M$ 必须是在该对内独立作用的缩放旋转。
• 结构： $M$ 是一个分块对角矩阵，每个 $2\times2$ 块的形式为 $aI + bJ$（其中 $J$ 是绕 $\pi/2$ 的旋转）。这使得搜索空间从每个头的 $d^2$ 个参数减少到 $d$ 个参数（每个频率对一个缩放因子和一个旋转角度）。
• 属性：
  • 安全性： 将此类变换应用于单个模型是精确的无操作（推论 1）。
  • 稳定性： 这些矩阵的条件数始终为 1，从而防止了不受约束的矩阵学习中常见的病态问题（推论 2）。

2.2 MeRoTune 算法

基于此，作者提出了 MeRoTune（Merging + RoPE + Tunable）：

1. 双侧对齐： 两个微调模型（$A$ 和 $B$）各自学习自己的 RoPE 合规修正矩阵（$M_a$ 和 $M_b$）。
2. 合并算子： 在混合比例 $\alpha$ 下，合并后的权重计算如下：
   • $W_k^{merge}(\alpha) = (1-\alpha) M_a^{-\top} W_k^A + \alpha M_b^{-\top} W_k^B$
   • $W_q^{merge}(\alpha) = (1-\alpha) M_a W_q^A + \alpha M_b W_q^B$
   • 其他权重（MLP、嵌入等）进行线性插值。
3. 可调旋钮： 该方法允许在事后调整最终的混合比例 $\alpha$。训练目标最小化在选定 $\alpha$ 范围内的损失（默认为固定的 $\alpha=0.5$，类似于 LoRA 的固定缩放），使合并后的模型能够在不同的运行点进行调节，而无需重新训练。
4. 预训练验证： 本文引入了一个数学条件（公式 7）来验证一对微调模型是否真的值得进行对齐。只有当每一对微调模型在其各自专业领域都有提升（$\Delta > 0$），但在对方的专业领域表现变差或持平（$\Gamma \le 0$）时，该对模型才是有效的目标。如果不存在这种“真实的双向能力差距”，对齐过程只会增加噪声而无益处。

3. 核心贡献

1. RoPE 安全修正证明： 提供了一个自洽的证明，确定了能够保持 RoPE 相对位置结构的矩阵类（频率对内的缩放旋转）。
2. MeRoTune 方法： 一种双侧合并算法，通过训练这些受限的修正矩阵作为运行时旋钮，实现事后对混合比例的调整。
3. 验证条件： 提供了一个闭式数学条件，用于在投入训练前经验性地验证两个微调模型之间是否存在真实的性能差距，从而避免在无效对上浪费计算资源。
4. 全面评估： 在经过验证的一对 Qwen2.5-1.5B-Instruct 微调模型（印尼语/代码 vs 日语）上，针对 TIES 和 DARE-TIES 进行了评估，展示了在不同混合比例下的鲁棒性。

4. 实验结果

该方法在 Qwen2.5-1.5B-Instruct 的一对模型上进行了测试：一个专注于印尼语和代码，另一个专注于日语。

• 相对于基准方法的性能：
  • 在所有测试的混合比例下，MeRoTune 从未输给过官方 mergekit 实现的 TIES 或 DARE-TIES。
  • DARE-TIES 在至少一个基准维度上明显差于未合并的基础模型。
  • MeLoTune 在大多数基准测试（MMLU、印尼语、日语）上都超过了统计噪声水平，而 TIES 在四个基准中的三个上表现低于基础模型。
• 混合比例行为：
  • 混合比例 $\alpha$ 有效地充当了旋钮功能。随着 $\alpha$ 的偏移，各项指标通常单调地向该任务更强的模型方向移动。
  • 使用固定混合比例（$\alpha=0.5$）进行训练，通常优于或匹配了在每一步随机重采样 $\alpha$ 的变体。
• 解耦消融实验：
  • 本文测试了将绑定的混合比例约束（$\alpha$）放宽为两个独立的缩放因子（$s_a, s_b$）的情况。
  • 结果： 解耦导致所有基准测试的性能出现可靠下降。同时推高这两个因子会产生不受控的偏差，导致性能甚至比随机猜测还差。这证实了绑定凸约束对于稳定性是必要的。
• 学习到的变换：
  • 学习到的修正主要表现为微小的旋转（中位数 $\approx 10^\circ$）以及接近 1 的缩放。
  • 一小部分块表现出较大的旋转（$>45^\circ$）并伴随显著的缩放（缩小），这表明虽然该方法在理论上是安全的，但优化器偶尔会利用这种能力，在纯几何对齐之外去重塑行为。

5. 重要性与声明

论文声称，旋转位置嵌入（RoPE）不仅仅是一个微小的细节，它是一个决定哪些合并修正具有数学安全性的根本约束。通过推导出“RoPE-交换”类，MeRoTune 提供了一种方法，它：

• 保证安全性： 与不受约束的方法不同，它不会在无形中破坏模型的相对位置逻辑。
• 提供灵活性： 它产生了一个可以像旋钮一样进行事后调节的模型，而不是锁定在一个固定的合并结果上。
• 防止浪费： 预训练条件确保资源仅用于具有真实且冲突的专业化能力的模型对。

作者强调其声明是谦逊的：结果是针对 Qwen2.5-1.5B 架构及其测试的特定配对。他们指出，虽然该方法具有鲁棒性，但具体的性能增益取决于所用基准测试的统计噪声水平，并且“对齐税”（即微调模型退化至低于基础模型水平的情况）仍然是适用性的关键过滤器。代码、数据和脚本均已公开。