🤖 machine learning

Modular Pretraining Enables Access Control

本文介绍了梯度路由辅助模块（GRAM），这是一种具有成本效益的预训练方法，通过在保持通用性能的同时，通过模块消融选择性地禁用特定能力，从而实现对双用途人工智能的可扩展访问控制，且其抗恢复能力优于事后遗忘。

原作者： Ethan Roland, Murat Cubuktepe, Erick Martinez, Stijn Servaes, Keenan Pepper, Mike Vaiana, Diogo Schwerz de Lucena, Judd Rosenblatt, Addie Foote, Cem Anil, Alex Cloud

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ethan Roland, Murat Cubuktepe, Erick Martinez, Stijn Servaes, Keenan Pepper, Mike Vaiana, Diogo Schwerz de Lucena, Judd Rosenblatt, Addie Foote, Cem Anil, Alex Cloud

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个超级聪明的机器人厨师。这位厨师非常了不起，从救命的疫苗到危险的生物武器，他样样精通。这是一个“双重用途”的困境：同样的知识既可以治愈疾病，也可以制造瘟疫。如果你把这位厨师交给医院，你会得到疗法；但如果你把它交给恶棍，就会带来麻烦。

通常情况下，阻止恶棍的唯一方法是直接解雇这位厨师，但这同时也意味着医院失去了疗法。或者，你可以尝试雇佣五位不同的厨师，每位厨师只接受一种特定技能的训练（一位懂疫苗，一位懂网络安全，一位懂核物理等等）。但雇佣并培训五位独立的厨师既昂贵又缓慢。

于是有了 GRAM（梯度路由辅助模块）。把 GRAM 想象成不仅仅是雇佣五位厨师，而是雇佣了一位拥有神奇模块化围裙的一位大师级厨师。

神奇的围裙

在普通的 AI 中，所有的知识都混合在一起，像一锅巨大的浓汤。如果你想移除“生物武器”这个食谱，你必须搅拌整锅汤，这可能会不小心弄坏“疫苗”的食谱。

GRAM 改变了厨房的布局。它给了厨师一件主围裙（即“核心”），处理所有基础工作，比如切洋葱和烧开水。但它还在围裙上增加了几个较小的、可拆卸的口袋。

一个口袋用于病毒学。
一个口袋用于网络安全。
一个口袋用于核物理。
一个口袋用于特殊代码。

这就是魔术所在：当厨师在学习时，厨房只会打开当前课程所需的特定口袋。如果课程是关于病毒的，“病毒学口袋”就会获得所有的关注和更新。“核物理口袋”则会保持拉链紧闭，在当天的课程中不学习任何东西。

结果：一位厨师，多种人格

因为知识存储在这些独立的口袋中，你可以通过在开工前拉开或拉上特定的口袋来控制厨师知道什么。

对于医院： 你让“疫苗”口袋保持拉链开启，而将“武器”口袋拉链紧闭。此时，厨师是治愈方面的天才，但他完全不知道如何制造武器。
对于实验室： 你打开“网络安全”口袋，并关闭其他口袋。

研究表明，这个经过这种模块化围裙训练的单一厨师，其表现几乎与你从头开始训练五位独立厨师的效果几乎一样。事实上，当他们在一个 50 亿参数的模型（一个巨大的大脑）上进行测试时，这个单一的模块化厨师在保持“好技能”和忘记“坏技能”方面，都与那种昂贵的方法一样出色。

为什么这比其他技巧更好

研究人员尝试了其他方法来解决这个问题，并排除了它们：

“事后遗忘”（Post-Hoc Unlearning）技巧： 这就像是在厨师已经学会之后，试图抹除他脑中的记忆。论文发现这种方法很弱。如果你试图在以后“遗忘”武器食谱，厨师只需经过一点点练习（微调）就能轻易记起它。这就像试图通过倒着哼唱一首歌来忘记它一样，是记不住的。
“模型分支”（Model Branching）技巧： 这就像先让厨师学习基础知识，然后再送他们去五所不同的学校学习特定技能。虽然这种方法效果尚可，但论文发现 GRAM 的“模块化围裙”方法在保持技能分离方面表现更好，尤其是在处理一些标签不明确的混乱数据时。

“部分标签”带来的惊喜

这里有一个奇怪但很酷的发现：有时，你并不知道哪些食谱属于哪一类（也许有 50% 的数据是没有标签的）。

如果你尝试训练独立的厨师或使用“分支”法处理无标签数据，他们会因为把一切都视为“基础”知识，而不小心学到了危险的技能。
但 GRAM 厨师却出奇地聪明。即使有一半的标签缺失，模块化口袋仍然能成功地将危险技能隔离。论文指出，这是因为一旦某个口袋开始专业化，无标签的数据就会自然地“漂移”到同一个口袋中，从而保持核心大脑的纯净。

他们有多确定？

作者对他们的数字非常有信心，但也对局限性保持谨慎。

他们在合成故事和涵盖病毒学、网络安全、核物理和专业代码的真实世界数据上进行了测试。
他们将模型规模从 5000 万参数扩展到了 50 亿参数。
在这些实验中，GRAM 始终能匹配“金标准”（训练独立模型）的表现，同时在他们的五种配置下，使用的计算量（训练成本）仅为后者的 1/5。
然而，论文也承认他们尚未在绝对最大的“前沿”模型上进行测试，因此虽然这种趋势在 50 亿参数规模下看起来非常好，但他们无法保证在规模更大的水平上是否完全一致。

底线

GRAM 为 AI 开发者提供了一种实现“最小权限”系统的方法。你不需要给每个人整个厨房，只需通过拉开或拉上正确的口袋，就可以为每个用户提供一个特定的、安全的厨师版本。这是一种既能拥有强大的 AI（吃到蛋糕），又能实现安全访问控制（吃到蛋糕）的方法，而无需为每项工作都重新烘焙一个蛋糕。

论文结论认为，这并不是解决所有问题的万灵药（有些技能实在太纠缠不清，难以分离），但它是迈向更安全、更灵活且无需为每个任务构建新模型的一大步。

技术摘要：模块化预训练实现访问控制

问题陈述

AI 开发人员面临着“双重用途困境”：既能实现益处（例如治愈疾病、强化网络安全）的能力，往往也与能够造成危害的能力（例如合成生物武器、执行网络攻击）相重叠。目前的访问控制机制并不充分。访问控制的“金标准”是为不同的用户提供具有不同能力配置的、分别训练的独立模型（例如，为研究人员提供具备病毒学知识的模型，但不对公众开放该知识）。然而，在最前沿规模下，为 $N$ 种能力配置训练并部署 $N$ 个独立的模型，其成本是难以承受的。

现有的替代方案无法满足鲁棒性要求：

拒绝训练、输出过滤和分类器虽然限制了输出，但保留了底层的能力，使其容易受到对抗性诱导的影响。
事后遗忘（Post-hoc unlearning）（例如 MaxEnt）试图从已训练的模型中移除能力，但这种方法很脆弱；能力往往可以通过对少量样本进行微调而迅速恢复。
模型分支（Model branching）（训练一个基础模型并微调出不同的变体）降低了预训练成本，但仍需要多次部署，对于稀疏的使用模式而言效率低下。

方法论：梯度路由辅助模块 (GRAM)

本文提出了 GRAM，这是一种预训练方法，通过模块化架构和梯度路由诱导专业化，使单个模型能够支持多种能力配置。

架构

GRAM 在标准的稠密 Transformer 基础上进行了增强，在每一层的核心 MLP 旁边添加了较小的辅助 MLP 模块。

核心模块（Core Module）： 一个大型 MLP，在所有数据上共享，捕捉通用知识。
辅助模块（Auxiliary Modules）： 较小的 MLP，每个对应一种特定的辅助能力（例如，病毒学、网络安全）。
参数量： 总参数量与标准稠密模型相当，其中核心模块的大小与基准模型一致，辅助模块仅占参数的一小部分。

训练动态（梯度路由）

与使用学习到的路由器进行逐 Token 路由的混合专家模型（MoE）不同，GRAM 使用基于数据集标签的数据依赖型梯度路由：

前向传播：
- 核心数据： 核心 MLP 始终处于激活状态。以概率 $p_{cr}$ 激活一个随机的辅助模块，以确保核心模块对模块的存在保持鲁棒性。
- 辅助数据： 核心 MLP 和与该数据对应的特定辅助模块同时处于激活状态。
反向传播（梯度更新）：
- 核心参数： 在处理辅助数据时，以概率 $p_{as}$ 进行更新。这控制了不同能力之间的干扰程度。
- 辅助参数： 当前批次对应的特定辅助模块始终会被更新。其他辅助模块则不接收任何更新。
- 独立优化器： 每个参数子集（核心和每个辅助模块）都使用一个独立的 AdamW 优化器进行优化。

推理与访问控制

在推理阶段，通过激活核心 MLP 以及获得授权能力的辅助模块子集，来提供特定的能力配置。消融（Ablating）（即停用）一个辅助模块会从网络中移除其关联的能力。本文认为，这近似于一个在经过数据过滤后训练的模型，因为被消融的模块从未在脱离核心的情况下独立学习过该特定能力。

核心贡献与实验

1. 数据过滤的近似

作者证明了通过 GRAM 训练的单个模型可以近似实现通过数据过滤（即每个模型都在数据子集上训练）训练出的多个模型的性能。

合成评估（简单故事）： 在一个将核心主题与辅助主题进行划分的儿童故事数据集上，GRAM 在保留所需能力和移除不需要能力方面均达到了与数据过滤模型相当的效果。
现实世界双重用途评估： 在一个 800M 参数的模型上进行训练，包含核心数据（网页文本、代码、通用论文）和四个辅助领域（病毒学、网络安全、核物理、专门的 Lisp 代码），GRAM 实现了：
- 保留： 在保留能力上的表现几乎与全数据基准模型持平。
- 移除： 在被移除能力上的表现显著下降，达到了数据过滤模型的“遗忘”性能。
- 鲁棒性： GRAM 对移除能力的处理比事后遗忘方法（MaxEnt）在面对恶意微调（诱导遗忘）时更具鲁棒性。

2. 可扩展性与可组合性

缩放法则（Scaling Laws）： 通过从 50M 到 5B 参数的 Chinchilla 最优缩放分析显示，GRAM 紧密追踪了数据过滤的能力特征。随着模型规模的增大，被移除能力与全数据模型之间的差距随之扩大，而 GRAM 保持了这一趋势。
可组合性： GRAM 支持从单次训练运行中提取任意能力的子集。与性能会在多个适配器叠加时下降的 LoRA 分支（FT-LoRA）不同，当多个辅助模块同时激活时，GRAM 仍能保持性能，从而实现从一个模型中衍生出 $2^{N-1}$ 种能力配置。
部分标注： 在仅有 50% 数据被标注的情况下，GRAM 在能力移除方面显著优于数据过滤和 FT-LoRA。作者将其归功于一种“吸收效应”，即未标记数据的更新集中在专门化模块中，而非共享的核心中。

3. 成本效率

训练成本： GRAM 仅需一次训练过程，相比训练 5 个独立的过滤数据模型，其训练计算成本降低了 5 倍。
部署成本： 与模型分支或全量微调不同，GRAM 不需要部署多个模型副本；它通过动态模块激活来提供服务。

重要性与主张

本文声称 GRAM 为实现具有双重用途能力的 AI 系统的鲁棒访问控制提供了一条切实可行的路径，且无需承担训练多个模型的极高成本。

安全性： 通过物理移除负责某种能力的参数（通过消融），而非仅仅抑制输出，GRAM 提供了比行为引导或事后遗忘更强的防范误用和越狱的保障。
经济可行性： 该方法将训练成本与所支持的能力配置数量解耦，使得在最前沿规模下实施差异化访问控制变得可行。
与数据过滤的一致性： 结果表明，数据过滤本身具有良好的缩放特性（更大的模型在保留通用知识的同时，能更好地遗忘特定数据），而 GRAM 成功追踪了这一行为。

作者对局限性保持了谦逊的态度，指出：

纠缠（Entanglement）： 如果能力高度纠缠，无论采用何种方法，清晰的分离可能都是不可能实现的。
前沿规模： 虽然趋势在 5B 参数规模下成立，但在前沿规模（数万亿参数）下的表现尚未得到验证。
实现： 将 GRAM 集成到生产流水线中会引入开发者可能希望避免的复杂性。
后训练： GRAM 的预训练分离与后续指令微调或 RLHF 之间的相互作用尚不明确。

总之，本文将 GRAM 定位为一种并非完美、但却是重要的一步，旨在通过允许供应商从一个高效训练的单个模型中提供经授权的能力配置，从而实现安全、灵活地部署高能力 AI 系统。