技术摘要：通过缩放敏感型损失景观实现模型不可合并化

1. 问题陈述

公共模型枢纽（如 Hugging Face、GitHub）的激增促进了各种微调更新的广泛共享，包括全量检查点以及像低秩自适应（LoRA）这样的轻量级适配器。虽然这种模块化设计使得高效的模型合并（将多个特定任务的更新组合成单个模型而无需额外训练）成为可能，但也造成了显著的治理空白。一旦发布，这些权重可以被重新组合成未经授权的混合体，从而绕过安全对齐、许可条款或特定任务的约束。

现有的针对未经授权合并的防御手段在很大程度上是**事后（post-hoc）且依赖于特定架构（architecture-specific）**的。诸如 PaRaMS 和 MergeLock 等方法依赖于 Transformer 固有的架构对称性（例如注意力投影的耦合重参数化），以在保持独立效用的同时破坏直接的权重空间合并。然而，这些方法面临两个关键限制：

1. 与仅适配器发布（Adapter-Only Releases）不兼容： 它们通常需要访问全量模型权重才能应用配对变换，这使得它们对于仅共享更新 $\Delta W$ 而基座权重 $W_0$ 被冻结或不可用的 LoRA 适配器失效。
2. 缺乏架构通用性： 它们对 Transformer 特定对称性的依赖限制了其在非 Transformer 骨干网络（如 ResNet、ConvNeXt）上的应用。

核心挑战在于如何将**不可合并性（unmergeability）**直接嵌入到发布的更新中，使得模型在其独立设置（$s=1$）下保留完整的效用，但在遭受下游合并流程中典型的重缩放和聚合操作（$s \neq 1$）时，性能显著下降。

2. 方法论：TRAP2

作者提出了 TRAP2（通过任务鲁棒对抗扰动实现的训练时保护），这是一个将不可合并性集成到微调过程本身中的架构无关型保护框架。

核心直觉

合并流程通常涉及对组成更新进行重缩放（例如，将 $N$ 个适配器的缩放系数各乘以 $1/N$ 进行平均）。TRAP2 利用这一点，通过塑造对非标度（off-nominal scaling）敏感的损失景观来实现保护。它优化了一个对抗性目标，该目标在标度为标定时维持性能，同时在非标度缩放下诱发灾难性的性能退化。

目标函数

给定基座模型 $W_0$ 和可训练更新 $\Delta W$，定义在缩放因子 $s$ 下的损失为：
$$L_{scaled}(\Delta W; s) = \mathbb{E}_{\xi \sim D}[\ell(W_0 + s \cdot \Delta W; \xi)]$$

训练目标 $J(\Delta W)$ 最小化标度损失，同时最大化非标度缩放下的损失：
$$J(\Delta W) = L_{nominal}(\Delta W) - \lambda \cdot L_{off}(\Delta W)$$

其中：

• $L_{nominal}(\Delta W) = L_{scaled}(\Delta W; 1)$。
• $L_{off}(\Delta W) = \mathbb{E}_{s \sim S}[w(s) \cdot L_{scaled}(\Delta W; s)]$。
• $S$ 是非标度缩放的分布（排除 $s=1$ 周围的间隔 $\delta$）。
• $w(s)$ 是一个权重函数（默认为 $1/s$），用于稳定下缩放更新的梯度。
• $\lambda$ 在独立效用与对重缩放的敏感性之间进行权衡。

优化

该方法采用随机一阶优化（如 SGD）。在每次迭代中，从非标度分布 $S$ 中抽取一个样本 $s$ 来近似期望，从而提供无偏梯度估计量。此过程适用于以下两种情况：

• 仅适配器发布： 优化 LoRA 矩阵 $A$ 和 $B$。
• 全量微调： 在每个训练步骤优化全参数差值 $\Delta W_t = W_t - W_0$。

3. 主要贡献

1. 问题形式化： 作者形式化了一个后发布保护场景，该场景兼容多种架构和发布格式（适配器和全量检查点），建立了一套统一的评估协议，用于衡量独立效用和合并退化。
2. 架构无关型保护： 与以往工作不同，TRAP2 不依赖于架构对称性或全量权重访问。它将保护直接嵌入到更新中，使其适用于 LoRA、全量检查点以及非 Transformer 骨干网络。
3. 理论与实证分析： 论文提供了关于随机优化下收敛性的理论保证，并表征了在下缩放情况下的性能退化。在实证方面，它证明了 TRAP2 在保持独立准确性的同时，能诱导可靠的合并性能崩溃。

4. 实验结果

作者使用 CLIP 模型（采用 ViT-B/32、ViT-L/14 和 ConvNeXt 骨干网络）在八个视觉分类基准测试（Cars, DTD, EuroSAT, GTSRB, MNIST, RESISC, Aircraft, SVN）上对 TRAP2 进行了评估。

独立效用

• 性能保持： 在所有架构和数据集上，TRAP2 都能保持与未受保护的微调相当的独立准确率。
• 与基准对比： 事后防御方法（如 MergeLock）在仅适配器设置下无法保持独立效用（通常会崩溃至随机水平）。Pa $\text{R}$ $\text{a}$ $\text{M}$ $\text{S}$ 保留了效用但未能阻止合并。TRAP2 在两者上均取得了成功。

不可合并性（合并退化）

• 线性合并： 当使用标准算子（Task Arithmetic, TIES, DARE, TSV, CART）在 Full、KnOTS 或 Core 空间中与其他适配器合并时，受 TRAP2 保护的模型遭受了严重的准确率下降，通常跌破零样本（zero-shot）基准线。
• 对合并策略的鲁棒性： 即使合并系数经过网格搜索优化以寻找合并者可能达到的最佳性能，这种退化依然存在。
• 数据依赖型合并： TRAP2 对数据依赖型合并算子（如 RegMean 和 Chain-of-Merges [CoM]）依然有效，这些算子试图通过利用额外的信号来恢复效用。
• 成对与 N 路合并： 该方法在成对合并中导致了“自我崩溃”，并在 N 路均匀平均（$N \ge 2$）中引起了一致的退化。
• 附带损害： 将 TRAP2 适配器与未受保护的适配器进行合并，往往也会降低未受保护任务的性能，这展示了该保护机制的破坏性本质。

泛化性

• 架构： TRAP2 在 Transformer 特有的防御方法无法应用的 ConvNeXt 上也表现有效。
• 规模： 结果在 ViT-B/32 和 ViT-L/14 骨干网络中表现一致。
• 全量微调： 该方法成功扩展到了全量模型合并，而非仅仅是适配器合并。

5. 重要性与主张

论文声称，通过将保护范式从事后转向训练时，TRAP2 为开放模型生态系统中的治理空白提供了切实可行的解决方案。

• 防御策略的转变： 通过将不可合并性嵌入更新本身，TRAP2 绕过了需要全量模型访问或特定架构对称性的事后方法的局限性。
• 可靠性： 该方法确保了未经授权的重组是不可靠的，有效地遏制了创建旨在绕过安全或许可约束的未经授权混合体的行为。
• 对局限性的审慎说明： 作者承认其评估侧重于在即插即用复用中常见的基于系数的合并。他们指出，针对数据驱动恢复（即合并者利用额外的任务相关数据对合并后的模型进行再训练或微调以恢复效用）的保护仍是未来研究的一个开放方向。

作者强调，虽然该方法在训练期间使用了对抗性扰动，但其目的是作为一种防御工具来保护上传者的权利和模型的完整性，而非用于攻击。他们倡导负责任的发布实践，例如通过清晰的标签告知下游用户，其使用的受保护模型在合并时可能表现得不可靠。