🤖 machine learning

Towards Building Non-Fine-Tunable Foundation Models

本文提出了私有掩码预训练（Private Mask Pre-Training, PMP），该框架通过仅发布稠密权重并对关键的稀疏子网络掩码进行保密，从而保护基础模型免受未经授权的微调，进而创造一种内在的几何失配，在保持基础模型性能的同时破坏其适配过程。

原作者： Ziyao Wang, Nizhang Li, Pingzhi Li, Guoheng Sun, Tianlong Chen, Ang Li

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ziyao Wang, Nizhang Li, Pingzhi Li, Guoheng Sun, Tianlong Chen, Ang Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你花费了数年时间和数百万美元，烘焙出了一个巨大且完美的面包（一个基础模型）。你想向世界分享这个食谱，让每个人都能从中学习并制作属于自己的美味三明治。然而，你有一个担忧：如果有人拿走了你的面包，尝试用他们自己的奇怪配料进行“重新烘焙”（未经授权的微调），并最终做出了有毒或有害的东西怎么办？或者更糟的是，如果他们拿走了你辛苦研发出的风味，却把所有的功劳都据为己有呢？

这篇论文提出了一种巧妙的方法来分享你的面包，它能让你在分享的同时，既能让人们享用原味，又能让那些试图在未经许可的情况下进行“重新烘焙”的人变得举步维艰。

以下是作者提出的解决方案——**私有掩码预训练（Private Mask Pre-Training, PMP）**是如何运作的，我们使用简单的类比来解释：

1. 问题所在：“开放食谱”的困境

目前，当 AI 公司发布他们的模型时，他们会交出“权重”（大脑的最终设置）。任何人都可以拿到这些权重，并针对特定任务对其进行微调。

好处： 它有助于科学进步和创新。
坏处： 原创者失去了控制权。有人可能会将模型调整得具有危险性，或者他们可能会廉价地将其改编用于某种原本由创造者作为服务来销售的任务，从而窃取创造者的经济价值。

2. 解决方案：“秘密骨架”

作者提出了一种新的训练模型的方式。他们不是平等地训练整个大脑，而是只训练大脑中一个特定的、稀疏的“骨架”，同时让大脑的其余部分保持冻结状态。

把这个模型想象成一个庞大而复杂的健身房。

标准训练： 每个人都在健身房里的每一块肌肉上进行锻炼。
PMP 训练： 教练（AI 公司）秘密地识别出一组特定的10% 的器械（即“彩票中奖券/Lottery Ticket”），这些器械实际上承担了所有的重活。他们锁定了其余 90% 的器械，让任何人无法触碰它们。他们只训练那 10% 真正重要的部分。

3. 发布过程：分享健身房，但隐藏地图

当模型训练完成后，公司会将这个健身房公之于众。

他们发布的内容： 健身房的最终状态（权重）。它看起来像是一个功能完备的正常健身房。
他们隐藏的内容： 秘密地图（二进制掩码/binary mask），这张地图告诉你会哪些机器是真正经过训练的，而哪些仅仅是冻结的道具。

4. 结果：两种不同的结局

场景 A：授权用户（你拥有地图）
如果你是一个受信任的合作伙伴，公司会将秘密地图交给你。你知道确切该使用哪些机器。你可以进入健身房，调整那特定的 10% 的机器，这时健身房就能完美地胜任你的新任务。你获得了极佳的效果。

场景 B：未经授权的用户（没有地图）
如果一个陌生人在没有地图的情况下试图微调模型，他们并不知道哪些机器是“真正的”已训练机器，哪些只是冻结的道具。

他们试图调整所有的东西。
因为他们在触碰那 90% 被冻结的机器，他们实际上是在推撞那些本就不该移动的墙壁。
类比： 想象你试图通过转动轮子来驾驶汽车，但有人偷偷把转向柱焊接到了仪表盘上。如果你试图强行操作，你不仅无法转向，还会损坏整个机制。
论文的说法： 这种“不匹配”会导致模型变得不稳定。未经授权的用户尝试微调得越多，模型的表现就越差。当有人试图在没有密钥的情况下进行适配时，模型实际上会“崩溃”。

5. “早鸟”技巧

他们是如何找到那特定的 10% 机器的？
他们使用了一种叫做 “早鸟彩票中奖券”（Early-Bird Lottery Ticket） 的方法。

想象你开始训练模型，仅持续几分钟。
你观察在大脑最初的几分钟内，哪些部分“苏醒”得最快且学习得最快。
你将这些特定的部分锁定为你的“秘密骨架”，并在剩下的训练过程中忽略其他部分。
论文声称这种早期选择至关重要。如果你只是随机挑选部分进行训练，模型就不会表现得这么好，也很难被破坏。

总结声明

该论文证明了：

你仍然可以使用该模型： 基础模型（面包）的味道与普通模型一样好。它仍然可以写作、推理和聊天。
未经授权的微调会失败： 如果你在没有秘密地图的情况下尝试进行微调，模型的性能会在许多不同任务上显著下降。
授权的微调可以成功： 如果你拥有地图，你仍然可以成功地进行微调。
这是一个“预训练”特性： 这不是后期添加的补丁；它是从一开始就融入到模型训练过程中的。

简而言之，这篇论文提供了一种分享 AI 模型的方法，使其在设计上具有鲁棒性：它们对每个人都非常好用，但除非你拥有在创建过程中隐藏的特定密钥（掩码），否则它们对于未经授权的更改是“锁定”状态的。

技术摘要：迈向构建不可微调的基础模型

1. 问题陈述

基础模型（FM），特别是大语言模型（LLM）的开源，促进了广泛的复用与科学创新，但也使模型训练者面临显著的经济与安全风险。一旦权重发布，用户即可进行低成本、未经授权的下游任务微调。这产生了两个主要问题：

经济风险： 用户可以从原本属于原始训练者的下游适配价值中获取收益。
安全风险： 训练者失去了对模型生命周期的控制。针对有害数据（如暴力、极端主义、歧视）进行的未经授权的微调可能会产生有害输出，同时保留原始预训练模型的声誉，从而可能导致法律和监管责任。

现有的防御措施，如模型免疫或特定任务的遗忘（unlearning），依赖于已知需要限制的具体下游任务或数据分布。对于缺乏对模型如何被重新利用的可见性的开放权重发布而言，这些方法是不切实际的。本文旨在解决一种机制的需求，该机制允许开源发布，同时在本质上限制未经授权的、与任务无关的微调的有效性。

2. 方法论：私有掩码预训练 (PMP)

作者提出了私有掩码预训练 (Private Mask Pre-Training, PMP)，这是一种旨在将“不可微调性”转化为模型内在几何属性的预训练范式。其核心思想是在训练早期识别出一个稀疏子网络，并将表示学习集中于此，同时保持定义的二进制掩码（binary mask）私有。

PMP 流程

PMP 分三个阶段运行：

私有早期鸟掩码发现 (Private Early-Bird Mask Discovery)：
- 模型在少量数据上进行一个短期的“热身”预训练阶段。
- 使用“早期鸟彩票假设”（early-bird lottery ticket）准则，根据该阶段梯度的大小识别出一个稳定的、稀疏的二进制掩码 ( $M$ )。
- 当连续的掩码趋于稳定时（通过交并比 IoU 衡量）选择该掩码。
- 该掩码 $M$ 对后续所有训练过程保持私有且固定。
私有掩码预训练 (Private Mask Pre-Training)：
- 模型在完整的预训练数据集上进行训练，但优化严格限制在由掩码定义的参数 ( $\theta_M$ ) 内。
- 补集参数 ( $\theta_{\bar{M}}$ ) 在整个预训练过程中保持冻结状态。
- 虽然前向传播利用了完整的稠密参数向量，但所有的梯度更新都局限于该稀疏子网络中。
不带掩码的发布 (Release Without Mask)：
- 收敛后，训练者仅发布最终的稠密权重。
- 私有掩码 $M$ 不予公开。

防御机制

当未经授权的用户尝试在没有掩码的情况下微调发布的模型时，他们必须更新完整的参数向量。这产生了一种内在的优化失配 (intrinsic optimization mismatch)：

预训练： 优化了一个条件目标函数，其中更新被限制在 $\theta_M$ 中，而 $\theta_{\bar{M}}$ 保持固定。
未经授权的微调： 优化了一个联合目标函数，同时更新 $\theta_M$ 和 $\theta_{\bar{M}}$ 。
结果： 微调过程迫使对从未在预训练期间进行过适配的冻结补集参数 ( $\theta_{\bar{M}}$ ) 进行更新。理论分析表明，沿这些冻结方向的损失函数曲面呈现正曲率（尖锐性）。更新这些方向会破坏预训练的解，导致适配增益有限或性能退化。

3. 理论分析

论文为 PMP 如何诱导不可微调性提供了理论证明：

非对称局部几何 (Asymmetric Local Geometry)： 预训练模型达到了一个条件最优解，即损失函数在训练过的子空间 ( $\theta_M$ ) 沿之是平坦的，但在冻结方向 ( $\theta_{\bar{M}}$ ) 沿之呈现正曲率。
不稳定性 (Instability)： 在没有掩码进行微调时，随机梯度下降会同时更新这两个子空间。理论分析（命题 1）表明，对冻结方向的更新会引入破坏性的扰动。具体而言，由于未适配方向的正曲率，预训练损失的期望值会增加（或无法降低），从而抵消了来自特定任务梯度的任何收益。
结论： 未经授权的微调在数学上倾向于不稳定，从而限制了可实现的微调增益。

4. 实验结果

作者在 GPT-2 和 TinyLlama (1.1B) 架构上评估了 PMP，并在 SlimPajama-6B 上进行预训练，在 GLUE 基准测试上进行微调。

基础模型性能： PMP 保留了基础模型的核心能力。在许多情况下（例如 TinyLlama 在 CoLA 和 MRPC 上），PMP 模型在微调前的表现与非 PMP 基准模型相当甚至略好。
未经授权的微调： 当在没有私有掩码的情况下进行微调时，PMP 模型在多种下游任务（如 SST-2, MRPC, QQP, MNLI）中表现出大幅退化。这种性能下降在不同架构和任务中是一致的，表明这是一种通用的有效适配失败，而非特定任务的脆弱性。
经授权的微调： 当将私有掩码提供给受信任的用户时，他们可以通过仅更新掩码子空间来进行微调。在这种情况下，PMP 模型能够达到或超过未经授权微调的性能，证明该方法并非本质上阻止适配，而是将其限制在授权方手中。
消融实验：
- 早期鸟 vs. 随机掩码： 使用早期鸟彩票掩码至关重要。具有相同稀疏度的随机掩码并未诱导出同等程度的不可微调性，证实了早期鸟子网络的稳定性是关键。
- 掩码比例： 0.7（70% 稀疏度）的掩码比例在基础性能与抑制未经授权微调之间提供了最佳平衡。
- 超参数： 改变学习率和微调轮数（epochs）并不能恢复未经授权用户的性能，这表明该限制是根本性的优化失配问题，而非超参数调优问题。
- 损失曲面可视化： 可视化确认了损失曲面在授权方向（掩码子空间）是平坦的，而在未经授权的方向（全参数空间）是陡峭的，验证了理论上的“陡峭墙壁”假设。
- 鲁棒性： 论文认为，由于分布重叠，仅凭梯度大小无法揭示掩码的位置，因此攻击者很难推断出掩码。

5. 核心贡献

问题识别： 论文将不可微调性阐述为一个基础层面的预训练问题，强调了训练者在开放权重发布中缺乏控制未经授权适配的机制。
PMP 框架： 提出了私有掩码预训练，这是一种通用的范式，能够在保持基础效用的同时，在任务无关的黑盒设置下限制未经授权的微调。
理论洞察： 提供了一种分析，表明 PMP 会诱导预训练与微调目标之间的内在失配，并在未经授权的更新过程中注入破坏性扰动。
实证验证： 证明了 PMP 能持续抑制多样化基准测试和架构中的适配增益，同时保持竞争力的预训练性能。

6. 意义与主张

论文声称，它将不可微调性重新定义为一种由预训练诱导的属性，而非特定任务的遗忘问题。通过将学习集中在私有的稀疏子网络中，PMP 允许模型训练者在开源基础模型的同时，保留对下游适配的有效控制权。

作者强调，这种方法：

不需要预先了解下游数据或任务。
为训练者保留了原始模型的经济与安全价值。
允许通过持有私有掩码的受信任用户进行“经授权”的适配。
提供了一种实际的机制，在无需假设模型将被如何重新利用的前提下，协调 AI 生态系统的开放性与对安全及经济控制的需求。