Signature-Guided Capacity Occupancy for Dense Expert Merging

技术摘要：SigMerge（基于特征签名的容量占用）

问题陈述
稠密专家合并（Dense expert merging）旨在将多个领域专门化的语言模型组合成单个检查点，而无需进一步训练，通常通过在权重空间中对任务向量进行操作来实现。然而，现有方法面临一个根本性的限制：一组共享参数必须编码孤立习得的技能，这导致了“专家干扰”（expert interference），即针对某一领域的更新可能会抹除另一领域已习得的能力。

虽然现有策略部分解决了这一问题，但它们未能回答关于任务向量支持准入（admission of task-vector support）的三个关键问题：

1. 何处（Where）： 应该在哪些层开放容量，以及开放多少？
2. 谁（Who）： 基于需求，哪些领域应该占用该容量？
3. 如何（How）： 如何在不依赖昂贵的合并配方搜索的情况下实现支持准入？

实证分析表明，稠密合并留下了显著的“残余专家差距”（residual expert gap）（在各种设置下平均为 12.13 个百分点），这表明专家能力并未被完全保留。当前的方法通常采用统一规则或依赖于可能无法捕捉真实专家性能的搜索代理，从而无法将容量路由至最需要的领域。

方法论：SigMerge
作者提出了 SigMerge，这是一个无需训练的操作符，通过在各层和各领域之间分配有限数量的任务向量坐标，来恢复专家能力。该方法基于一个稠密基础合并模型（即“锚点/anchor”）进行操作，由三个核心组件组成：

1. 冲突转容量（Conflict-to-Capacity / 何处）：
   SigMerge 根据跨专家的分歧程度确定每一层的容量（$C_i$）。它聚合了每一层冲突的三种互补视角：

   • 隐藏状态几何（Hidden-state geometry）： 通过池化隐藏状态的中心化核对齐（CKA）进行测量。
   • 任务向量方向（Task vector direction）： 通过专家更新之间的余弦相似度进行测量。
   • 符号坐标需求（Signed coordinate demand）： 通过单个权重上相反符号出现的频率进行测量。
     这些信号经过归一化并取平均值，以形成冲突得分（$\bar{S}_i$）。层容量随后线性导出：冲突高的层获得较少容量（以避免干扰），而冲突低的层获得较多容量。

2. 赤字转分配（Deficit-to-Allocation / 谁）：
   该方法根据“残余专家赤字”在各领域之间分配开启的容量。对于每个领域 $d$，赤字 $g_d$ 定义为基础合并模型与该领域在专家池中表现最好的专家之间的性能差距。分配给每个领域的容量份额（$\rho_d$）与其赤字成正比。基础合并已经完美匹配的领域获得的容量为零，从而确保修复过程仅针对缺失的能力。

3. 顺序占用（Sequential Occupancy / 如何）：
   为了在不进行搜索的情况下填满层-领域预算，SigMerge 采用了顺序索取规则。领域按其赤字大小进行排序（赤字最大的优先）。每个领域从层内仍未被索取的坐标集中索取其分配的配额，并选择其任务向量（$\Delta_{d,i}$）中模长最大的坐标。这防止了多个领域竞争相同的高模长坐标，并确保受需求驱动最严重的领域能够优先获得最具影响力的更新。

最终的合并模型构建为 $\hat{\theta} = \theta_{base} + \sum_d V_d$，其中 $V_d$ 代表通过顺序占用规则准入的有界增量。

核心贡献

1. 实证表征： 作者证明了稠密合并中的专家赤字是巨大且具有异质性的（跨模型、领域及合并家族），并指出修复需要的是坐标分配而非仅仅是更好的平均规则。
2. 无需训练的框架： SigMerge 在无需训练或搜索的情况下解决了容量分配（何时、谁、如何）的三大挑战。它利用可测量的信号（冲突签名和性能赤字）来构建秩一预算矩阵（$B = C\rho^\top$）。
3. 理论与算法保证： 论文提供了一个证明（定理 1），证明了顺序占用规则在给定固定配额和优先级顺序的情况下，对于最大化准入的任务向量质量是阶段性最优的。
4. 全面评估： 该方法在 21 个配对设置（7 个锚点 $\times$ 3 个模型池）中进行了评估，并与包括冲突感知型、层级型和搜索型在内的六种基线方法进行了对比。

结果

• 性能提升： SigMerge 提升了所有 21 个配对设置的表现，在 Macro-5 分数上实现了平均 15.0% 的相对提升。
• 差距缩减： 平均残余专家差距从 12.13 降低至 5.77 个百分点。
• 排名： 在六种合并方法中，SigMerge 取得了最佳平均排名（1.67），在三类方法（冲突感知型、层级型和搜索型）中均优于所有基线。
• 消融实验： 去除冲突衍生的容量或赤字驱动的分配都会导致显著的性能下降（与总增益相当），证实了这两种信号都是必不可少的。特定坐标的选择（顺序占用）在固定预算下贡献了约 80% 的增益。
• 效率： 该方法仅为锚点增加约 0.6 个 GPU 小时，使其处于无搜索基线之列，且显著快于像 MERGE3（耗时约 26.8 小时）这样的基于搜索的方法。

意义与主张
论文声称 SigMerge 提供了一种原则性的、无需训练的方法来进行稠密专家合并，该方法明确解决了领域赤字的异质性和层级冲突问题。通过将容量决策建立在可测量的信号而非搜索或统一启发式规则之上，SigMerge 有效地恢复了在标准稠密合并中丢失的专家能力。

作者谦虚地指出，该方法并不决定锚点或专家池；它在两者定义的区间内运行。此外，目前的评估局限于五个领域，且向更大规模模型池的可扩展性或对更高秩预算矩阵的需求仍是一个开放性问题。然而，结果表明，基于实际性能赤字进行测量和路由，比仅依赖任务向量几何或昂贵的搜索程序更为有效。