技术摘要：当模型合并（Model Merging）对抗联合多任务强化学习（Joint Multi-Task Reinforcement Learning）时

问题陈述

模型合并经常被提议作为联合多任务训练的替代方案，特别是在强化学习（RL）场景中，即独立智能体已被发布，且其训练数据无法进行汇总。然而，关于合并能够匹配联合训练的说法很少能在其试图取代的基准上进行实证测试，因为在应用合并的跨领域场景中，联合模型通常是不可用的。本文通过构建一个受控对比来解决这一差距：在不相交的任务子集上训练 RL 专家模型，将其合并，并将结果与在相同数据上进行联合训练的模型进行对比。

研究方法

本研究利用了 Appworld 基准测试，这是一个带有难度标注的任务交互式数字智能体环境。实验设置包含以下组件：

• 基础模型与架构： 所有模型均基于 Qwen3-8B，使用 LoRA（低秩自适应）进行微调，秩 $r=16$，作用于注意力（attention）和 MLP 投影矩阵。
• 训练机制： 专家模型使用 LOOP（Leave-One-Out Policy Optimization）进行训练，这是一种结合了 RLOO 优势与 PPO 式裁剪的无评论家（critic-free）策略梯度方法。
  • 难度-1 专家模型： 仅在难度-1 任务上进行训练。
  • 难度-2 专家模型： 仅在难度-2 任务上进行训练。
  • 联合模型： 在难度-1 和 难度-2 任务的并集上进行训练。
• 合并策略： 专家的任务向量（相对于基础模型的参数偏移）使用以下方法进行合并：
  • TIES： 修剪低幅度的坐标，并通过幅度投票解决符号冲突。
  • RAM+： 根据支持共现性（shared vs. unique）对坐标进行划分，并放大唯一方向。
• 评估： 模型在留出的测试集（168 个任务）上进行评估，使用 任务目标完成度（TGC）（二元成功率）和连续性的部分得分指标（通过的单元测试比例）。
• 几何分析： 本文引入了一个校准的几何诊断工具，用于衡量专家任务向量之间的关系。这包括全局余弦相似度、符号一致性和支持重叠度。至关重要的是，作者将这些测量值针对 底线（随机 rank-16 适配器）和 天花板（同一次运行中的检查点）进行了校准，以区分学习信号与低秩参数化伪影。

核心贡献

1. 经验零假设： 本文建立并证明，在此受控设置下，在主要 TGC 指标上，模型合并与联合多任务 RL 是 统计学上不可区分的。此外，具备行为感知能力的合并方法（RAM+、TIES）与朴素平均法也是不可区分的。
2. 几何解释： 作者证明，由于专家任务向量具有 近正交性，因此不需要复杂的合并来处理干扰。尽管存在 65% 的支持重叠（这是由于相同的 LoRA 目标模块导致的），但其方向对齐度（余弦相似度）仍然很低（0.06–0.10）。这种微小的共享成分在训练过程中会逐渐发展，但仍明显区别于低秩初始化底线。
3. 支持与方向的解耦： 研究揭示，在基于 LoRA 的 RL 专家模型中，支持共现性（RAM 的基础）并不意味着方向对齐。由于向量近乎正交，基于支持的合并策略会坍缩为简单的平均法，使得复杂的符号或子空间解析变得不再必要。
4. 指标敏感性分析： 虽然连续性的部分得分指标显示合并模型的得分低于联合模型，但作者认为这并不意味着合并作为联合训练替代方案的失败。指标的反转（合并模型在 TGC 上优于联合模型，但在连续得分上表现较差）以及缺乏涌现的跨任务能力（联合性能并未超过表现最好的专家模型）表明，这种差异是由于对近正交向量进行平均而产生的机械性后果，而非能力的丧失。

结果

• 性能对等： 在主要指标（TGC）上，难度-1 专家模型、难度-2 专家模型、联合模型、TIES 合并模型和 RAM+ 合并模型都落在同一个统计重叠区间内（总计 12.5% – 16.1% TGC）。RL 模型之间不存在显著的成对差异（$p \geq 0.56$）。
• 几何发现：
  • 余弦相似度： 专家之间的全局余弦值为 0.06–0.10，在训练过程中从接近零单调上升，但在达到天花板（同一次运行检查点的 0.78–0.81）之前便已饱和。
  • 符号一致性： 共享支持上的符号一致性约为 52%，与随机概率一致。
  • 支持重叠： 由于共享 LoRA 模块，支持重叠度很高（~65%），但这并未转化为方向上的干扰。
• 合并动态： 由于向量近乎正交，TIES 和 RAM+ 实际上退化为均匀平均。RAM 中的“唯一”集合太小，不足以驱动放大效应，而 TIES 中的符号冲突由于缺乏共识而被任意解决。
• 检查点选择： 对“合并感知型”早期停止（即选择能最小化干扰同时最大化奖励的检查点）的分析表明，在此机制下没有杠杆作用。干扰与能力是同步增长的；用于合并的最佳点与峰值能力检查点重合，不存在“高能力、低干扰”的替代方案。

意义与主张

本文将其发现框架化为一个 校准后的零结果：一个经过仔细界定的、描述模型合并何时有效的特征描述。

• 对从业者而言： 在数据可以汇总的设置中，在此规模下（8B 参数，约 10 次迭代），合并在统计上并不比联合 RL 具有优势。然而，对于 无法 汇总数据的从业者，研究结果提供了保证，即合并并不会明显牺牲联合 RL 本应达到的性能。
• 机制洞察： 本研究阐明，在这种情况下，合并之所以成功，并非由于合并算法（如 RAM 或 TIES）的复杂性，而是由于学习到的任务向量固有的几何特性。LoRA 专家模型的近正交性最小化了干扰，使得复杂的解耦变得不再必要。
• 局限性与范围： 作者对研究范围持谨慎态度，指出这些结果特定于该基准测试设置、LoRA 参数化方式以及所使用的特定难度划分。他们承认，更大的模型、不同的训练机制或全量微调可能会产生不同的几何特性，届时合并方法可能会发挥更大的作用。本文明确避免声称模型合并在普遍意义上优于其他方法，或者所观察到的“零结果”适用于所有多任务场景，而是专注于研究在何种特定条件下，合并能够匹配联合训练。