🤖 machine learning

Stay Unique, Stay Efficient: Preserving Model Personality in Multi-Task Merging

本文提出了分解、阈值化与缩放（DTS），这是一种高度存储高效的个性化模型合并框架，它通过利用奇异值分解和语义相似性，仅需每项任务增加 1% 的额外存储空间，即可在保持特定任务性能的同时，实现对未知任务的泛化。

原作者： Kuangpu Guo, Aijing Yu, Jian Liang, Yuhe Ding, Zilei Wang, Ran He, Tieniu Tan

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Kuangpu Guo, Aijing Yu, Jian Liang, Yuhe Ding, Zilei Wang, Ran He, Tieniu Tan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：“奶昔”效应

想象一下，你有一位大师级厨师，他精通八种不同的菜系：意大利菜、日料、墨西哥菜、印度菜等等。为了节省厨房空间，你决定把所有的食谱都混合成一本巨大的“超级大厨”食谱。

你尝试通过简单的取平均值来融合这些食谱。结果呢？简直是一场灾难。“超级大厨”做不出完美的披萨，因为日本调料破坏了面团的味道，而墨西哥莎莎酱和印度咖喱完全不搭。这就是我们在尝试合并不同模型时 AI 所面临的情况：每个任务特有的“个性”或知识在混合过程中丢失了，导致性能下降。

现有的解决方法：“沉重的背包”

最近的一些解决方案试图通过给超级大厨一个背包来解决这个问题。对于每一种新菜系，厨师都要背一个专门的、沉重的包（即特定任务的参数）。这效果很好——厨师既能做出完美的披萨，也能做出完美的寿司。

但问题在于： 这些背包太重了。如果你有 100 个任务，你就需要 100 个沉重的背包。这完全违背了我们最初想要节省空间和资源的初衷。

解决方案：DTS（分解、阈值化与缩放）

作者提出了一种名为 DTS 的新方法。你可以把 DTS 理解为一种“智能压缩”技术，它让厨师在不需要沉重背包的情况下，依然能保持其独特的个性。它通过三个巧妙的步骤实现：

1. 分解（“精彩集锦”）

DTS 并不保存特定任务的整本食谱，而是利用一种数学技巧（称为奇异值分解）来找出该食谱中最核心的“精彩集锦”。

类比： 想象你有一部 3 小时的电影。与其存储整部电影，不如只提取出 10 个定义剧情的关键场景。你扔掉了无聊的填充内容。DTS 只保留那些让任务变得独特的、最重要的前 10% 的数字。

2. 阈值化（“分组游戏”）

现在我们有了这些精彩集锦，但它们仍然过于详细，无法高效存储。DTS 查看这些数字，并将它们分为四个简单的类别：

大正数
小正数
大负数
小负数
类比： 与其记录人群中每个人的精确身高（例如 176.23 厘米、176.25 厘米），不如直接把他们归入四个箱子：“高”、“中”、“矮”和“极矮”。你会损失一点点精度，但能节省大量的空间。

3. 缩放（“音量旋钮”）

为了确保这些“箱子”听起来仍像原来的那群人，DTS 会为每个组分配一个简单的“音量旋钮”（缩放因子）。

类比： 如果“高个子”这一组声音太小了，你就把这一组的音量旋钮调大。这使得系统仅使用极少量的比特数据，就能非常准确地重建出原始任务的“风味”。

结果： 这个过程将任务特有的信息压缩得非常厉害，每个任务仅占用 1% 的额外空间。这就像是将一个沉重的背包缩减到了只有一个钥匙的大小。

魔法技巧：预测新任务（泛化）

通常情况下，如果你想让厨师烹饪一种从未见过的新菜系（比如埃塞俄比亚菜），你需要重新训练他或者给他一份新食谱。

DTS 拥有一个特殊的“无数据”模式。它通过观察任务的名称或描述来进行判断。

类比： 如果厨师已经掌握了“意大利菜”和“西班牙菜”，而你要求他做“葡萄牙菜”，DTS 会观察这些名称。它知道“葡萄牙菜”在语言学上与“西班牙菜”很相似。因此，它会自动以正确的比例混合“西班牙”和“意大利”的风味，从而推测出葡萄牙菜的食谱。
它无需任何新数据或训练即可完成。它仅仅利用了“语义相似性”（即任务名称之间的相似程度）来融合现有的压缩记忆。

为什么这很重要

论文表明，DTS 实现了两全其美：

性能： 它完整保留了模型的“个性”，其表现几乎与为每个任务单独训练的模型一样出色。
效率： 每个任务仅需 1% 的额外存储空间，而其他方法可能需要 10% 到 100% 的额外空间。
通用性： 它既适用于图像（如识别汽车或手写数字），也适用于文本（如理解句子或创作故事）。

简而言之，DTS 让我们能够在合并许多 AI 模型的同时，不会让它们丢失各自的技能，并且它能让这些技能的“记忆”保持得极其轻量化。

技术摘要：保持独特，保持高效 (DTS)

问题陈述

模型合并提供了一种无需数据且无需优化的范式，旨在将多个特定任务的模型统一为一个单一表示，从而避免了微调和存储独立模型的极高成本。然而，传统的常规合并方法（如权重平均法、任务算术法）存在严重的参数冲突问题，即使在合并训练于语义相似任务的模型时，也会导致性能显著下降。

虽然近期的个性化模型合并框架试图通过保留任务特定信息来减轻这些冲突，但它们通常会带来极高的存储开销。存储稠密专家组件、全量模型参数或复杂路由网络的方法抵消了模型合并的主要效率优势，限制了其在资源受限环境中的部署。核心挑战在于如何在保留关键任务特定信息以维持性能的同时，最大限度地减少每个任务所需的额外存储。

方法论：分解、阈值化与缩放 (DTS)

作者提出了 DTS，一种基于近似的个性化合并框架，旨在高效压缩任务特定信息。该方法分为两个主要阶段：近似阶段和推理阶段。

1. 任务特定信息的表示

该框架将任务特定信息定义为两种形式：

任务向量 ( $\tau_n$ )： 微调后权重 ( $\theta_n$ ) 与预训练权重 ( $\theta_0$ ) 之间的差值，即 $\tau_n = \theta_n - \theta_0$ 。
差异向量 ( $d_n$ )： 一种新型表示，定义为微调后权重与粗略合并基准 ( $\theta_m$ ) 之间的差值，即 $d_n = \theta_n - \theta_m$ 。当原始预训练权重无法获取时，这种变体特别有用，它捕捉了相对于共享基准的个性化残差。

2. DTS 压缩流水线

为了高效存储这些向量，DTS 应用了三个连续操作：

分解 (SVD)： 目标矩阵（任务向量或差异向量）进行截断奇异值分解 (SVD)。仅保留前 $r$ 个奇异值及其对应的向量，根据 Eckart-Young-Mirsky 定理过滤掉无结构的参数噪声。
阈值化： DTS 没有使用简单的二值掩码（这会丢弃细粒度信息），而是引入了一种新颖的阈值策略。它将每个奇异向量的元素划分为四个组：
1. 正向“大”值
2. 正向“小”值
3. 负向“大”值
4. 负向“小”值
  这是通过首先对符号进行编码（1 bit），然后将正/负值与其各自的中位数进行比较，从而确定量级水平来实现的。
缩放： 对于这四个组中的每一组，计算一个单一的缩放因子。该因子代表该组内绝对值的算术平均值（通过 L1 范数计算以提高效率）。

3. 重构与存储效率

在推理期间，通过结合近似的奇异向量和缩放因子来重构任务特定信息。最终的表示仅需每元素 2 bits（1 bit 用于符号，1 bit 用于量级水平），实现了 16 倍的压缩率。这使得每个任务的额外存储开销仅约为 1%。

4. 对未知任务的泛化（无数据适配）

为了在没有额外训练数据或标记样本的情况下处理未知任务，作者提出了一种基于语义相似性融合任务特定信息的变体。

任务特征（例如分类任务中的类名、生成任务中的指令）通过预训练文本编码器进行编码，以生成语义嵌入。
未知任务的合并权重是根据未知任务的嵌入与已知任务嵌入之间的余弦相似度动态计算的。
这种方法完全是无数据驱动的，不需要在线训练或反向传播。

核心贡献

DTS 框架： 一种轻量级的、基于近似的个性化合并方法，通过 SVD、创新的四组阈值化和缩放技术，在最小化存储开销的同时保留任务特定信息。
DTS-T 和 DTS-D 变体： 引入了两种特定的实现方式：一种作用于标准任务向量，另一种作用于差异向量（相对于合并基准），为不同的部署场景提供了灵活性。
无数据泛化： 一种能够通过利用任务特征的语义相似性来适配未知任务的变体，消除了对目标域数据或可训练路由器的需求。
效率-性能权衡： 该方法以仅约 1% 的额外存储量实现了最先进的性能，显著优于通常需要 10–100% 额外存储的现有个性化方法。

实验结果

作者在视觉分类（ViT-B/32, ViT-L/14, ViT-B/16）、自然语言处理（RoBERTa, GPT-2）和自然语言生成（Qwen-14B）任务上评估了 DTS。

标准多任务合并： DTS 在标准基准测试中持续优于最先进的基准方法（包括 T-Switch, FREE-Merging 和 WEMOE）。
- 在 ViT-B/32 上，DTS-D 实现了 90.40% 的平均准确率，超过了表现最好的基准（T-Switch 为 90.15%），同时仅需 3.68% 的额外内存（相比之下，T-Switch 为 6.25%，WEMOE 为 49.95%）。
- 在 RoBERTa 上，DTS-D 以仅 3.81% 的额外内存实现了 84.98% 的平均准确率，恢复了单独微调模型 99.06% 的性能。
- 作者指出，通过自适应调整稀疏系数 ( $r$ )，他们可以将额外内存率降低到 <1%（例如，ViT-B/32 上的 DTS-D* 为 0.98%），且性能损失极小。
对未知任务的泛化： 在合并过程中无法获得未知任务的微调模型这类零样本场景下：
- DTS 变体显著优于所有竞争性的个性化方法。例如，在 ViT-B/32 未知任务上，DTS-D 实现了 55.41% 的平均准确率，而其他个性化基准（如 WEMOE 和 T-Switch）则降至 40–50% 范围，其表现往往不如基础的合并方法（如 Ties-Merging）。
- 这表明基于语义相似性的融合有效地转移了任务特定知识，而没有过拟合到已见的任务上。

重要性与主张

论文声称 DTS 解决了模型合并中性能保持与存储效率之间的根本权衡。通过证明任务特定信息可以被压缩到 2-bit 表示而不产生显著的保真度损失，作者认为个性化合并可以部署在以往此类方法无法触及的资源受限环境中。

此外，这项工作强调了个性化合并方法往往因为过度优化特定已见任务而导致无法泛化到未知任务。所提出的无数据、基于语义相似性的适配方案提供了一种可扩展的解决方案，用于应对“冷启动”多任务场景，使模型能够在无需额外训练数据或计算开销的情况下处理新任务。作者将 DTS 定位为下一代多任务部署中一种实用、高效且有效的范式。