🤖 machine learning

Locking Pretrained Weights via Deep Low-Rank Residual Distillation

本文介绍了 DLR-Lock，这是一种防御机制，通过将标准多层感知机替换为利用推理 - 训练不对称性来为自适应攻击者制造高昂的内存与优化壁垒同时保持模型性能的深度低秩残差网络，从而保护开放权重语言模型免受未经授权的微调。

原作者： Keitaro Sakamoto, Pierre Ablin, Federico Danieli, Marco Cuturi

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Keitaro Sakamoto, Pierre Ablin, Federico Danieli, Marco Cuturi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你建造了一个宏伟且高度智能的机器人（一个大语言模型），并希望将其“大脑”（权重）分享给世界，供人们使用。然而，你担心一些用户可能会拿走这个“大脑”，对其进行微调，并将其用于你未曾预料的用途——例如生成有害内容或绕过安全规则。

你想表达的是：“你可以使用我的机器人，但不能轻易地改变它的‘大脑’以去做别的事情。”

这篇题为《通过深度低秩残差蒸馏锁定预训练权重》的论文，提出了一种巧妙的“锁定”机器人“大脑”而不破坏其功能的方法。以下通过简单的类比来解释其工作原理。

问题：“开放盒子”的困境

目前，当公司发布开放模型时，这就像把一辆汽车的引擎盖完全打开、引擎暴露在外交给某人。任何人都可以掀开引擎盖，更换火花塞，并调整引擎使其跑得更快或使用不同的燃料。在人工智能领域，这意味着任何人都可以以极低的成本获取一个模型，并针对新任务对其进行“微调”（重新训练）。

传统的安全措施试图隐藏引擎或在引擎盖上安装假锁。但论文指出，如果黑客足够聪明，他们就能找出如何撬开这些锁，或者逆向工程这些假部件。

解决方案：“深度迷宫”技巧

来自苹果公司的作者提出了一种名为DLR-Lock的新型锁。他们不是隐藏引擎，而是用一个深邃、复杂的迷宫替换引擎。这个迷宫从外部看与原来一模一样，但从内部看却是一个难以 navigated 的噩梦。

以下是核心思想的三个组成部分：

1. “单行道”（推理与训练）

将模型想象成一家工厂。

推理（使用模型）： 这就像顾客走进工厂购买产品。他们走进去，拿起物品，然后离开。他们不需要记住走过的每一步；他们只需要最终的产品。
训练（改变模型）： 这就像机械师试图修理工厂。为了修理机器，机械师必须记住过程的每一个步骤，以知道哪里出了问题。他们必须存储大量的“记忆”（激活值）才能进行反向推导。

论文利用了这样一个事实：使用模型既便宜又容易，但修复/学习它却昂贵且消耗大量内存。

2. “深度迷宫”（DLR-Net）

在标准的人工智能模型中，处理信息的部分（称为 MLP）就像一条简单、短促的走廊。你走进去，然后走出来。这很快。

作者用**深度低秩残差网络（DLR-Net）**替换了这条短走廊。

类比： 想象将一条短走廊替换为通往完全相同出口的 100 层螺旋楼梯。
对于用户（推理）： 爬上 100 级台阶只多花一点点时间，但仍然很快。用户拿到了他们的产品，模型的表现和以前一样好。
对于黑客（训练）： 如果黑客想要“修复”楼梯（更新权重），他们必须记住 100 层攀爬的每一个步骤，才能确定在哪里进行修改。这需要大量的内存（RAM）。

3. “内存陷阱”

论文声称，通过将模型做得如此深邃，他们创造了一个内存陷阱。

为了训练模型，黑客的计算机必须存储所有这些中间步骤。
如果黑客尝试使用一种称为“梯度检查点”的技巧（通过忘记步骤并在稍后重新计算它们来节省内存），他们就必须一遍又一遍地重新运行这 100 层的攀爬。
结果： 训练被锁定的模型变得比训练原始模型指数级更慢且更昂贵。这就像为了换灯泡而在走短路与爬大山之间的区别。

他们如何在不破坏机器人的情况下做到这一点

你可能会问：“如果你把引擎换成 100 层的螺旋楼梯，机器人不会停止工作吗？”

不会。作者使用了一种称为蒸馏的技术。

类比： 想象一位知道如何制作完美汤品的名厨（原始模型）。作者建造了一个新的、复杂的厨房（DLR-Net），并通过让名厨品尝汤并说“不，再咸一点”来训练它，直到新厨房做出的汤尝起来与原始汤完全一样。
他们分两步进行：首先匹配单个成分（模块）的味道，然后匹配整道菜（最终输出）的味道。
结论： 对于普通用户，被锁定的模型表现与原始模型一样好，但对于任何人来说，重新训练它都极其困难。

总结

论文表明，他们可以将一个模型（具体在 Qwen3-0.6B 模型上进行了测试）的内部组件替换为这些“深度迷宫”，并实现：

保持质量： 模型回答问题和撰写文本的能力与以前一样好。
锁上门： 任何微调或适应模型的尝试在时间和计算能力方面的成本都会显著增加（具体来说，训练的“反向传播”变得比使用的“前向传播”慢得多）。

这是一种结构性锁：你无法撬开它，因为锁本身并不是秘密；只是锁的机制设计得让窃贼的工作变得极其困难，而合法用户甚至察觉不到任何差异。

技术摘要：通过深度低秩残差蒸馏锁定预训练权重

问题定义

开放权重大语言模型（LLMs）的普及使强大的 AI 系统得以民主化，但同时也削弱了模型提供商对权重使用方式的控制。尽管法律许可试图限制未经授权的适配，但它们缺乏技术层面的执行手段。拥有模型权重和架构完全访问权限的自适应攻击者，往往能够逆转简单的结构防御，或利用优化方法绕过这些防御。

本文解决的核心科学挑战是模型锁定：即修改预训练模型，使其适配（例如通过微调）的成本在本质上高于适配原始模型，同时严格保留模型的推理性能和通用能力。作者在基于柯克霍夫原则的自适应威胁模型下对此进行了形式化定义，即防御措施必须在攻击者知晓锁定机制设计的情况下依然有效。目标是实现“锁定因子” $\kappa > 1$ ，即在下游任务上达到目标性能水平所需的成本（时间、浮点运算次数或 GPU 小时数），锁定模型相比原始模型至少放大 $\kappa$ 倍。

现有方法的局限性

本文指出了先前防御策略的根本缺陷：

基于对称性的防御：利用权重对称性（例如缩放或可逆矩阵插入）来破坏优化的方法极易被逆转。攻击者可以检查权重范数或计算奇异值分解（SVD）以重新平衡权重，从而恢复原始的优化景观。
基于优化的防御：试图通过优化病态损失景观（例如最大化 Hessian 矩阵迹或插入屏障模块）来嵌入防御的方法面临“自相矛盾”的悖论。防御者必须利用优化来寻找抵抗优化的解，然而防御者可用的梯度信息攻击者同样可用。在简单多层感知机（MLP）上的实验表明，梯度下降往往无法从预训练初始化状态到达这些“锁定”的高成本区域。

方法论：DLR-Lock

作者提出了DLR-Lock，这是一种利用自动微分推理与训练不对称性的防御机制。与仅需前向传播并丢弃中间激活值的推理不同，训练需要存储所有中间激活值以进行反向传播。DLR-Lock 将 Transformer 中的每个标准 SwiGLU MLP 模块替换为深度低秩残差网络（DLR-Net）。

架构

标准 MLP 残差块 $x' = z + \text{FFN}(\text{RMSNorm}(z))$ 被替换为深度为 $L$ 的低秩残差网络：
$h_0 = z, \quad h_{i+1} = h_i + \alpha_i U_i \sigma(V_i \text{RMSNorm}(h_i)), \quad x' = h_L$
其中：

$V_i \in \mathbb{R}^{r \times d}$ 和 $U_i \in \mathbb{R}^{d \times r}$ 是瓶颈秩 $r \ll d$ 的低秩投影矩阵。
$\alpha_i$ 是可学习的 ReZero 标量。
深度 $L$ 的选择使得总参数量与原始 MLP 匹配（或略高），从而将参数分布在许多浅层中，而非少数几层深层中。

三种锁定机制

这种架构替换引入了三个针对适配的具体障碍：

激活显存增长：在反向传播期间，存储激活值所需的显存随深度 $L$ 线性增长。对于使用朴素微调的攻击者，激活显存开销相比原始模型按 $\Theta(d/r)$ 比例增加，可能迫使减小批量大小或使用更昂贵的硬件。
优化不稳定性：深度残差结构造成了与原始模型训练方案的架构失配。针对原始浅层 MLP 调整的标准微调超参数和优化器，在应用于深度 DLR-Net 时会变得不稳定或低效。
不成比例的反向传播开销：由于复杂的内存访问模式以及需要重新计算激活值（即使使用梯度检查点），反向传播产生的开销显著高于前向传播。关键在于，加速前向传播的编译器优化（如 CUDA 图重放）无法迁移到反向传播，从而扩大了必须计算梯度的攻击者的成本差距。

蒸馏过程

为确保锁定模型保留原始能力（效用保持），作者采用了两阶段蒸馏流程：

模块级蒸馏：每个 DLR-Net 独立训练，以复现相应预训练 MLP 层的输入输出映射，最小化相对均方误差（MSE）。
Logits 蒸馏：在所有层被替换后，通过使用原始模型作为教师，微调 DLR-Net 参数（冻结注意力和嵌入层）来修正累积误差。目标是最小化教师和学生输出分布之间的 top- $k$ KL 散度。

实验结果

该方法在 Qwen3-0.6B 和 Qwen3-8B 模型上使用 Nemotron-CC 数据集进行了验证。

质量保持：锁定模型成功保留了原始模型的能力。经过两阶段蒸馏后，在自然语言语料库（Nemotron-CC, WikiText-103）上的困惑度以及在下游基准测试（MMLU, ARC, HellaSwag 等）上的性能均恢复至预训练基线水平附近（误差在几个点以内）。
推理开销：虽然理论浮点运算次数保持相当，但 DLR-Net 的序列性质引入了挂钟时间开销。然而，这可以通过编译器优化（例如带有 reduce-overhead 的 torch.compile）来缓解。对于大型模型和批量大小，开销比率显著下降（例如，8B 模型从 eager 模式下的 $144\times$ 降至编译后的 $11\times$ ），对合法用户而言仍属可控范围。
抗微调能力：
- 收敛性：在 WikiText-103 上进行微调时，锁定模型的收敛速度显著慢于基线，且即使启用梯度检查点，其损失也停滞在较高水平。
- 不稳定性：在较高学习率（ $10^{-4}$ ）下，锁定模型完全发散，而基线模型训练正常，表明该防御缩小了有效学习率范围。
- 成本放大：对于锁定模型，反向传播占总训练时间的 89%（基线为 83%），且达到目标损失所需的挂钟时间显著更高。作者指出，反向传播的开销不成比例地高于前向传播，证实了该防御依赖于训练特有的成本。

意义与主张

本文声称建立了一种新的模型锁定防御维度，该维度与优化器无关，并依赖于结构特性而非防御机制的保密性。主要贡献包括：

形式化：在自适应威胁模型下将模型锁定定义为适配成本的放大。
新颖机制：证明了自动微分的推理 - 训练不对称性可被利用来构建一种评估廉价但求导昂贵的防御。
鲁棒性：展示了该方法能够抵御拥有策略完全知识的自适应攻击者，包括那些使用梯度检查点、部分权重更新或 LoRA 的攻击者。
实用性：验证了锁定机制并未牺牲模型的效用，允许合法用户以接近原始的性能进行推理，同时对未经授权的适配施加可测量的成本障碍。

作者总结道，虽然前向传播开销可通过自定义内核或编译来缓解，但反向传播成本的根本不对称性仍然是对抗微调的稳健障碍。