⚡ electrical engineering

Access Sets Matter: Budgeting Expert Reads for Scalable Weight-Space Model Merging

本文介绍了 MergePipe，这是一个具备预算感知能力的执行层，通过将大语言模型合并视为专家访问集问题来优化该过程，在通过有界误差保证维持高准确率的同时，显著减少输入输出开销并加速合并流程。

原作者： Yuanyi Wang, Yanggan Gu, Su Lu, Yifan Yang, Zhaoyi Yan, Congkai Xie, Jianmin Wu, Hongxia Yang

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuanyi Wang, Yanggan Gu, Su Lu, Yifan Yang, Zhaoyi Yan, Congkai Xie, Jianmin Wu, Hongxia Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位主厨，正试图创造一道终极融合菜肴。你有一个基础食谱（“基础模型”）和一个包含 20 种不同“专家”香料混合物的庞大库（“专家模型”）。每位专家都以特定方式调整了基础食谱：一位多加了盐，另一位加了一抹肉桂，第三位则增加了额外的辣度。

在过去，要制作这道融合菜肴，你必须亲自走到储藏室，打开那 20 个香料罐中的每一个，各取一小撮，然后将它们全部混合在一起，之后才能开始烹饪。如果你有 100 位专家，你就得往返储藏室 100 次。这既缓慢又令人筋疲力尽，而且大量时间都浪费在来回走动上（这就是论文中提到的"I/O"或输入/输出问题）。

MergePipe 就像一位全新的、超级聪明的厨房助手，它改变了你处理这项任务的方式。以下是它的工作原理，使用简单的类比：

1. 问题：“储藏室往返”瓶颈

论文指出，当 AI 模型变得巨大时，最慢的部分实际上并不是“混合”食材（数学运算），而是从硬盘（储藏室）中“读取”食材。

旧方法：如果你想混合 20 位专家，计算机就会读取所有 20 个文件，即使每个文件中只有一小部分实际上很重要。这就像为了从 20 本不同的书中各找到一句话，而把每本书的每一页都读一遍。
结果：随着你增加更多专家，“往返储藏室”所需的时间会线性增长。这变成了一场交通堵塞。

2. 解决方案：“预算化购物清单”

MergePipe 引入了一个名为“预算访问集”的概念。你可以将其想象为给你的厨房助手一份严格的“预算”（例如：“你今天只能打开 5 个罐子”）以及一份基于快速查看标签的“购物清单”。

目录：在开始烹饪之前，MergePipe 会查看香料罐上的“标签”（元数据，如草图或范数），而无需打开它们。它知道哪些罐子包含了最重要的变化。
计划：它制定一个计划：“我们只需要打开装盐、肉桂和辣味的罐子。我们可以忽略其他 17 个罐子，因为对于这种特定的混合物来说，它们的变化太小，无关紧要。”
执行：助手只去储藏室“一次”，抓取那特定的 3 个罐子。它忽略其余的。

3. 实际运作方式

论文描述了一个三步过程：

目录：系统构建所有专家模型的地图，注明模型的哪些部分（哪些“权重块”）是重要的。
规划器：它像一个精明的购物者。如果你给它一个预算（例如：“只读取 10% 的数据”），它会挑选最有价值的“增量”（基础模型与专家模型之间的差异）来读取。它使用贪婪策略：“先抓取最大、最重要的变化，直到预算用完。”
执行器：它流式传输数据。它读取基础模型，然后仅读取它计划读取的特定专家变化。它通过将未读取的部分视为零，在数学上“跳过”它们，而无需将它们加载到内存中。

4. 结果：速度与精度

论文在流行的 AI 模型（Qwen 和 Llama）上对此进行了测试，这些模型拥有多达 20 到 25 位专家。

速度：由于停止读取不必要的文件，MergePipe 比旧方法快了高达 11 倍。
I/O 减少：它将硬盘读取的数据量减少了高达 10 倍（一个数量级）。
精度：即使它没有读取所有内容，最终菜肴的味道也几乎完全相同。论文发现，“味道差异”（参数偏差）非常微小（约 0.001），模型在编码或逻辑谜题等标准测试中仍然表现完美。

5. 为什么这很重要

论文认为，随着 AI 模型成长为拥有数百种变体的“家族”，我们不能继续盲目地读取所有内容。我们需要一个系统，将模型权重视为结构化的、受预算约束的数据，而不是巨大且不透明的文件。

总之：MergePipe 是一个系统，它阻止 AI 合并成为一项“读取所有内容”的苦差事。相反，它像一位聪明的图书管理员，确切地知道你需要阅读哪本书的哪几页才能获得答案，从而为你节省数小时往返图书馆书架的时间，同时仍能为你提供正确的答案。

技术摘要：访问集至关重要：预算专家解读可扩展权重空间模型合并

1. 问题陈述

随着大语言模型（LLM）的开发日益依赖于检查点家族——包括基础模型、指令微调变体、领域专家以及增量更新——通过权重空间合并将这些模型整合为单一可部署模型的任务变得至关重要。尽管现有研究聚焦于如何组合权重（例如通过平均、TIES 或 DARE），但在大规模场景下出现了一个显著的执行瓶颈：读取专家参数的成本。

在朴素的合并脚本中，系统将检查点视为不透明文件，无论专家参数对最终合并的实际贡献如何，都会扫描所有专家参数。随着专家数量（ $K$ ）的增长，专家读取的 I/O 几乎呈线性扩展，使得合并过程受限于 I/O 而非计算能力。这限制了迭代合并工作流的可扩展性，特别是在处理磁盘驻留存储上的大型专家池时。

2. 方法论：MergePipe

作者提出了 MergePipe，这是一个感知预算的执行层，它将模型合并重新框架化为一个专家访问集问题。MergePipe 不再将合并规则视为主要约束，而是将权重的逻辑组合与这些权重的物理访问解耦。

核心抽象：
MergePipe 基于专家在共享权重坐标系中对齐的假设（例如，从共享基础模型微调而来）。它引入了一个访问掩码（ $A$ ），用于确定哪些专家增量块会被物理读取。

全读合并： $A = 1$ （读取所有专家）。
预算合并： 选择一个掩码 $A$ ，使得专家读取成本 $C_{expert}(A) \leq B$ ，其中 $B$ 是用户定义的 I/O 预算。
执行： 系统执行一个感知掩码的操作符 $\Psi_{op}$ 。被省略的条目由掩码本身表示，不会触发存储读取。

系统组件：

目录（Catalog）： 将检查点作为块结构化数据而非不透明文件进行暴露。它存储元数据（大小、布局、哈希、草图、覆盖提示），以便在不扫描完整检查点的情况下进行成本估算。
规划器（Planner）： 构建满足预算约束的确定性访问掩码 $A$ 。它利用目录统计信息（例如范数、草图）对候选专家增量进行排名，并采用贪婪或每字节得分启发式方法来选择块。它不改变合并操作符的逻辑，而是决定哪些增量被实例化。
执行器（Executor）： 流式传输基础块，并使用 DeltaIterator 仅实例化所选的专家增量。它应用感知掩码的操作符，并记录一个可重放的清单，其中包含访问掩码、计划哈希和谱系信息。

理论保证：

预算健全性： 通过构造，执行轨迹保证保持在指定预算 $B$ 之内。
全预算一致性： 如果预算设置为覆盖所有专家（ $A=1$ ），系统将精确恢复标准的完整读取合并。
误差界限： 对于固定系数的加法操作符，被省略更新的误差由被省略增量的范数界定。对于非加法操作符（如 TIES 或 DARE），系统提供相同的抽象，其保真度通过实证评估。

3. 主要贡献

作为预算对象的专家访问集： 本文提出将专家访问视为首要的、受预算约束的资源，将“哪些”（访问）与“如何”（组合）分离。
理论分析： 作者证明了预算健全性和全预算一致性，并推导出了加法合并的省略更新界限，为基于范数的访问评分的使用提供了依据。
MergePipe 实现： 一个实现了该抽象的具体系统，在不改变底层合并操作符的情况下，实现了专家读取 I/O 的数量级减少和显著的速度提升。

4. 实验结果

作者在 Qwen 和 Llama 检查点家族（参数范围从 0.6B 到 8B）上评估了 MergePipe，专家数量多达 25 个。

I/O 与速度： MergePipe 将专家读取 I/O 减少了高达一个数量级。在特定场景下（例如，使用 20 个专家进行 TIES 合并），与朴素的全读基线相比，实现了高达 11 倍 的加速。
可扩展性： 随着专家数量的增加，朴素合并显示出 I/O 和挂钟时间的近线性增长，而 MergePipe 通过强制执行预算上限，使专家读取量几乎保持平稳。
操作符通用性： 该方法兼容各种操作符（AVG、TIES、DARE）。稀疏方法（如 TIES）受益最大，在高专家场景下，I/O 从约 174GB 降至约 3.5GB。
保真度：
- 参数偏差： 在全读预算的 50% 下，相对于全读合并的相对 $\ell_2$ 偏差保持在 $O(10^{-3})$ 数量级。
- 下游性能： 基准测试（HumanEval、IFEval、DROP）显示没有单调的退化。在某些情况下，性能甚至略高于全读基线，表明存在有利的速度 - 保真度前沿。
开销： 系统开销极小；规划时间约占执行时间的 1%，元数据存储仅占总 I/O 的一小部分。

5. 意义与主张

本文主张，对于 LLM 规模的检查点家族，合并中的限制资源通常是需要读取的专家权重集合，而不是组合它们所需的计算量。

范式转变： 作者认为，LLM 规模的合并需要一种权重访问抽象，而不仅仅是更好的合并规则。通过将权重视为结构化的、受预算约束的数据，而非不透明文件，MergePipe 揭示了一个实用的速度 - 保真度前沿。
互补性： MergePipe 被呈现为对现有对称性或排列对齐方法的补充。一旦权重对齐，MergePipe 即可优化物理执行。
未来影响： 随着模型家族的持续增长，作者建议权重空间方法必须与显式管理参数 I/O 模式的执行层相结合，以保持可扩展性。