💬 NLP

Transport and Merge: Cross-Architecture Merging for Large Language Models

本文提出了一种基于最优传输的跨架构模型融合框架，通过对齐激活值推断异构模型间的神经元对应关系，从而利用少量输入实现从大资源模型到小资源目标模型的有效知识迁移。

原作者： Chenhang Cui, Binyun Yang, Fei Shen, Yuxin Chen, Jingnan Zheng, Xiang Wang, An Zhang, Tat-Seng Chua

发布于 2026-02-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Chenhang Cui, Binyun Yang, Fei Shen, Yuxin Chen, Jingnan Zheng, Xiang Wang, An Zhang, Tat-Seng Chua

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种名为"Transport and Merge"（运输与融合）的新方法，旨在解决大语言模型（LLM）领域的一个核心难题：如何把“超级大脑”（大模型）的聪明才智，直接“移植”给“小脑”（小模型），而且这两个大脑的构造还完全不同。

为了让你轻松理解，我们可以用几个生动的比喻来拆解这项技术：

1. 核心难题：两个不同语言的“图书馆”

想象一下：

大模型（源模型）：像是一个拥有100 个房间、藏书亿万、知识渊博的超级图书馆。它什么都会，但体积巨大，运行很慢，普通电脑跑不动。
小模型（目标模型）：像是一个只有10 个房间的社区小书店。它运行飞快，适合日常使用，但书很少，知识有限。
现状：通常，如果你想让小书店变得像大图书馆一样博学，你得把大图书馆的书一本本抄写下来（蒸馏），或者让小书店重新学习（训练）。但这既慢又贵，而且如果两个图书馆的书架结构完全不同（比如大图书馆是螺旋楼梯，小书店是直梯），书根本没法直接搬过去。

这篇论文解决的问题就是：如何在不重新抄书、不重新装修的情况下，直接把大图书馆的“智慧”搬运到小书店里，哪怕它们的建筑结构（架构）完全不同。

2. 核心方法：用“最优运输”做“翻译官”

作者没有强行把大书店的书硬塞进小书店，而是发明了一种聪明的"运输计划"。

第一步：观察“思想火花”（激活值对齐）

当大图书馆和小书店同时读到同一句话（比如“苹果”）时，它们内部会产生不同的“思想火花”（神经元激活）。

大图书馆可能在第 5 号书架的第 3 层亮灯。
小书店可能在第 2 号书架的第 1 层亮灯。
虽然位置不同，但它们都在表达“苹果”这个概念。

第二步：绘制“运输地图”（最优传输 OT）

论文使用了一种叫最优传输（Optimal Transport）的数学工具。你可以把它想象成一个超级物流调度系统。

它不关心书架长什么样，只关心哪里的“思想火花”最像。
它会计算出一张运输地图：大图书馆的“第 5 号书架第 3 层”应该对应小书店的“第 2 号书架第 1 层”。
这就解决了“架构不同”的问题：它不再看物理结构，而是看功能上的对应关系。

第三步：精准“换血”（权重融合）

有了地图，就可以开始“搬运”了。

传统方法：可能把大图书馆的整层楼拆下来硬塞进去，结果把小书店压垮了（破坏原有能力）。
本文方法：它非常克制。它只挑选小书店里最活跃、最重要的那几个“神经元”（比如最聪明的几个店员），然后把大图书馆对应位置的“智慧”（权重）像输血一样注入进去。
比喻：就像给小书店换上了几个从大图书馆借来的“超级店员”，他们带着大图书馆的知识，但依然在小书店里工作。

3. 后续微调：让新店员适应环境（残差冻结适应）

刚换上的“超级店员”可能有点水土不服。

作者还加了一个小步骤：只训练小书店原本的店员（基础参数），而冻结（不训练）那些新来的“超级店员”（注入的残差）。
比喻：这就像让老店员去适应新来的超级同事，而不是让超级同事重新学习怎么在店里走路。这样既保留了大模型的知识，又让小模型能灵活适应新的任务。

4. 为什么这很厉害？（实验结果）

作者用这个方法做了很多实验，比如把英语/中文的大模型知识，搬运到马来西亚语、印尼语、粤语、泰语等“小语种”的小模型上，或者把通用知识搬运到医疗、金融等专业领域。

结果：小模型在没有大量数据训练的情况下，直接变聪明了！
对比：比传统的“重新训练”或“知识蒸馏”更快、效果更好，而且不需要两个模型长得一模一样。

总结

这篇论文就像发明了一种通用的“知识翻译官”和“精准移植手术”。

它告诉我们：即使两个大脑（模型）长得完全不同（架构不同），只要它们处理信息时的“思维模式”（激活模式）有相似之处，我们就能通过数学计算找到对应关系，把大模型的智慧精准、安全、高效地“嫁接”到小模型身上。

一句话概括：

不用把大象（大模型）塞进冰箱（小模型），也不用重新养大象，而是通过一张精准的“思维地图”，把大象的“智慧基因”提取出来，精准地注入到小模型的关键部位，让它瞬间进化。

这是一篇关于跨架构大语言模型（LLM）合并的学术论文总结，标题为《Transport and Merge: Cross-Architecture Merging for Large Language Models》。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

背景：大型语言模型（LLM）通过扩展模型容量和训练数据取得了显著成功，但许多实际部署场景（如低资源语言、特定领域）受限于计算资源和数据，只能使用较小的模型。
挑战：现有的模型合并（Model Merging）技术通常假设源模型和目标模型具有相同的架构，以便直接在权重空间进行操作。然而，在从“高资源大模型”向“低资源小模型”迁移知识时，两者往往架构异构（例如层数不同、隐藏层维度不同、甚至基础架构不同），导致无法直接进行参数合并。
现有局限：目前的跨架构知识迁移主要依赖知识蒸馏（Distillation），这需要大量的训练数据和复杂的训练过程，且通常涉及中间步骤，效率较低。
核心问题：能否在不依赖大量训练数据且架构异构的情况下，通过直接的模型合并机制，将高资源模型的知识有效迁移到低资源目标模型中？

2. 方法论 (Methodology)

作者提出了一种基于**最优传输（Optimal Transport, OT）**的跨架构合并框架。其核心思想是：尽管架构不同，但处理相同输入时，不同模型内部的激活模式往往存在相关性。通过最优传输对齐激活空间，可以推断出神经元之间的对应关系，进而指导权重空间的融合。

主要步骤如下：

A. 激活空间对齐与对应关系推断

激活提取：使用少量校准数据集 $D$ ，分别输入源模型（高资源）和目标模型（低资源），提取中间层的激活特征。
特征级传输（Feature-level Transport）：
- 构建基于皮尔逊相关系数的成本矩阵，衡量源模型和目标模型特征通道之间的相似性。
- 利用**熵正则化最优传输（Entropic Regularized OT）**求解传输计划矩阵 $Q$ 。该矩阵 $Q$ 描述了如何将源模型的激活特征重新组合以匹配目标模型的激活特征。
- 分别计算输入侧（pre-activation）和输出侧（post-activation）的传输计划。
层级传输（Layer-level Transport）：
- 基于特征级的传输成本，进一步计算层与层之间的全局对应关系矩阵 $P$ ，确定源模型的哪一层对应目标模型的哪一层。

B. 权重空间融合 (Weight Fusion)

从激活到神经元：利用推导出的传输矩阵 $Q$ $Q$ 和 $P$ $P$ ，将特征级的关系提升到神经元级别。
- 源模型的权重被映射到目标模型的神经元坐标系中。
- 公式核心： $W^{fused} = W^{base} + \alpha \cdot \text{Mask} \odot (\sum P \cdot Q_{out} W_{source} Q_{in}^T - W^{base})$ 。
选择性神经元替换（Selective Neuron Replacement）：
- 为了减少异构架构带来的干扰，方法仅融合在目标数据上激活强度最高的 Top- $k$ 个神经元。
- 通过掩码（Mask）机制，仅更新这些特定神经元的权重，其余参数保持不变。
残差冻结适应（Residual-Frozen Adaptation）：
- 融合后，冻结被传输的残差部分（即注入的知识），仅对目标模型的原始基础参数进行微调（Fine-tuning）。
- 最后将残差折叠回基础权重中，得到最终模型。

3. 主要贡献 (Key Contributions)

首个跨架构直接合并框架：提出了一种无需梯度反向传播、无需大量训练数据，即可在异构架构模型间直接进行参数合并的方法。
基于最优传输的对应关系推断：创新性地利用最优传输理论，通过激活空间的对齐来推断异构模型间的神经元对应关系，解决了架构不匹配导致的权重无法对齐的难题。
理论解释性：证明了权重传输在表示空间（Representation Space）上的等价性，即相当于将目标特征映射到源特征坐标系，应用源线性映射，再映射回目标空间。
高效性：仅需少量校准数据即可完成知识迁移，且融合后的模型无需重新训练即可使用（或仅需轻量级微调）。

4. 实验结果 (Results)

作者在低资源语言（马来语、印尼语、泰语、粤语）和专业领域（金融、医疗）进行了广泛实验，源模型主要为 LLaMA-3 系列（8B/32B），目标模型为 1B 量级的小模型。

低资源语言迁移：
- 在 MalayMMLU、Indonesian 基准、Cantonese (CMMLU) 和 Thai 基准上，该方法均显著优于基线模型（Base Model）。
- Fused w/ Adaptation（融合后微调）策略在大多数任务中取得了最佳性能，例如在 MalayMMLU 的 STEM 类别上提升了约 4%。
通用到专业领域迁移：
- 在金融（Finance）和医疗（Medical）领域，融合后的模型在 MMLU 子集上表现优异，证明了跨领域知识的有效注入。
对比实验：
- 优于蒸馏：在归一化评分下，该方法的表现一致优于传统的监督微调（SFT）和知识蒸馏（Distillation）。
- 源模型规模影响：源模型越大（如从 8B 到 32B），迁移效果越好，表明大模型包含更丰富的可迁移表示。
- 鲁棒性：方法对源模型骨干（LLaMA vs Qwen）和融合系数 $\alpha$ 的变化具有鲁棒性。
通用能力保持：融合操作并未损害目标模型的通用推理能力（如常识推理、物理常识等），甚至在部分语言上有所提升。

5. 意义与影响 (Significance)

打破架构壁垒：为低资源场景下的模型优化提供了一条新路径，使得小模型可以直接“继承”大模型的知识，而无需昂贵的重新训练或复杂的蒸馏过程。
降低部署成本：对于数据稀缺或计算受限的领域（如小语种、垂直行业），该方法提供了一种低成本、高效率的模型增强方案。
理论价值：揭示了异构大语言模型在内部激活空间存在结构化的相似性，并通过最优传输理论将其形式化，为未来的模型压缩和知识融合研究提供了新的理论视角。

总结：该论文提出了一种名为"Transport and Merge"的框架，利用最优传输技术解决异构模型间的知识迁移难题。它通过激活对齐推断神经元对应关系，实现直接权重融合，并在低资源语言和专业领域实验中证明了其有效性和优越性，是模型合并领域的一项重要进展。