← 最新论文
🤖 机器学习

A Rank-One Bypass of Fixed Linear Erasure

本文证明了开源权重模型中固定的线性擦除层容易受到秩一仿射旁路攻击,这类攻击允许攻击者在保留良性分类器输出的同时恢复被擦除的目标信息,从而证明了此类擦除保证了表示安全性而非篡改抗性。

原作者: Jai Kumar Sharma, Vanshaj Khattar

发布于 2026-11-19
📖 1 分钟阅读☕ 轻松阅读

原作者: Jai Kumar Sharma, Vanshaj Khattar

原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明

在人工智能领域,安全性往往依赖于一个简单的理念:如果你能让计算机无法“看到”某个危险的概念,它就无法生成该概念。想象一下,一个模型已经被教会了识别图像中的人,但研究人员通过手术式地移除其识别特定有害类别的能力,对其进行了处理。他们通过修改模型的内部数学逻辑,使得任何寻找该类别的尝试都会导致一个平坦且毫无意义的信号。这种被称为“概念擦除”(concept erasure)的技术,旨在充当一种永久性的过滤器。人们希望一旦模型带有这些过滤器并发布到公众手中,即使允许用户下载代码并在自己的电脑上运行,它也能保持安全。其假设是,安全机制是机器的一个固定组成部分,用户无法更改。

然而,一项新的研究通过提出一个关键问题,挑战了这一假设:如果用户被允许更改喂入安全过滤器中的信息部分,会发生什么?研究人员在处理标准的图像识别任务时发现,固定的安全层不是一把锁,而仅仅是一个门。如果这个门阻挡了信息的某个特定方向,但却在另一个方向留下了哪怕极小的缝隙,聪明的用户就可以重写输入数据,从而让被禁止的概念通过这条缝隙溜进来。研究表明,这种绕过方式并非复杂且不可预测的故障,而是一种简单的数学手段,执行起来几乎不需要多少努力。

研究人员专注于一种特定类型的安全过滤器,即“线性擦除层”。通俗地说,这一层接收模型形成的复杂内部图像,并将其投影到一组新的坐标系上,刻意抹平任何与被禁止目标相关的信息。该层提供的保证是精确的:如果你完全按照过滤器输出的原始状态进行观察,没有任何标准的线性检测器能够找到那个被禁止的概念。模型的创造者声称这使得该概念变得不可读。研究接受了这一说法,认为对于未经修改的输出而言,该结论是成立的;但研究调查的是当模型处于开放修改状态时会发生什么。研究人员询问,攻击者是否可以通过改变过滤器之前的层,将“被禁止的分数”直接写入一个过滤器恰好允许通过的方向。

他们发现的答案是,该过滤器的保证比在现实场景中看起来要弱得多。研究人员证明,如果过滤器允许哪怕一个方向的信息通过,攻击者就可以计算出所需的“被禁止分数”,并将其注入到那个特定的方向中。由于过滤器没有阻挡该方向,分数会原封不动地穿过。一旦它出现在另一侧,标准的检测器就能完美地读取它。研究显示,这并不需要对模型进行大规模的重构。事实上,攻击者只需要对模型早期的层进行非常微小且特定的调整——这种变化极其细微,在数学上被描述为一次简单的偏移。这种调整足以让被禁止的信息完全绕过过滤器。

为了测试这一点,团队使用了一组标准的图像数据和六对不同的类别来模拟擦除及随后的攻击。他们发现,通过极少量的编辑——仅将模型内部特征的变化平均控制在10%以内——攻击者就能恢复几乎所有的被禁止概念的表现。具体而言,该攻击恢复了该概念在未被擦除前所能达到的约91%的潜在增益。即便在攻击发生时,过滤器本身的内容(bit for bit)与之前完全一致,这一结果依然成立。研究人员还展示了这种绕过行为可以在不破坏模型执行其原有、安全任务的能力下完成。他们构建的攻击方式使得其他无害类别的得分保持不变,精确到了小数点后极小的位数。这意味着,用户理论上可以在保持模型对其他一切事物功能正常的同时,绕过针对特定目标的安全性过滤器。

该研究还强调了安全性衡量方式与实际表现之间的关键区别。研究人员指出,如果使用简单的标准检测器来测试安全过滤器,它看起来似乎工作得非常完美。被禁止的概念在未经修改的输出中确实是不可读的。然而,这种测试忽略了过滤器输入端可以被重写这一事实。研究人员发现,弱检测器可能会提供一种虚假的安全感,使擦除效果看起来比实际更强。当他们使用更精确的方法来检查过滤器时,发现安全保证仅适用于当前状态的模型,而不适用于被用户编辑过的模型。

这种绕过的成本出奇之低,但并非为零。研究人员测量了实现绕过所需改变模型内部特征的程度。他们发现,随着允许的变化量减小,攻击的成功率会大幅下降。在1%的变化量下,攻击仅恢复了25%的概念潜力。然而,在10%的变化量下,恢复率跃升至90%以上。这表明,虽然攻击易于执行,但并非完全免费,它需要对模型进行可衡量的改动。然而,由于开源权重模型允许用户自由进行此类改动,因此不存在强制限制修改程度的机制。研究结论指出,这类模型的安全性不能仅仅依赖于存在一个固定的过滤器。

这些发现对于我们如何看待开放系统中人工智能安全性的思考具有重要意义。研究人员认为,“线性防护性”(linear guardedness),即使用这些过滤器,是对数据的一种特定、不变表示形式的有效保证。它证明了模型在“现状”下无法读取该概念。但这并不是说模型在被用户编辑后就无法读取该概念。这项研究并不声称这种绕过适用于每一种可能的AI模型或每一种类型的有害内容,因为他们的实验仅限于特定的图像任务和线性过滤器。他们明确表示,其结果并不证明非线性或更复杂的过滤器也会以同样的方式失效。然而,在他们测试的范围内,结果是明确的:固定的过滤器并不是一个防篡改的密封件。

最后,这篇论文为AI安全领域提供了一个冷峻的现实检查。它表明,一个“安全”的开源权重模型的承诺是脆弱的。如果模型的权重是公开的,那么构建在其中的安全机制可以通过重写输入来被规避。研究人员建议,未来的安全评估必须考虑到这种可能性。与其仅仅检查过滤器在静态模型上是否有效,我们必须衡量破解它的难度有多大。研究提供了一个清晰的衡量指标,即这种成本,显示出虽然限制编辑可以使攻击变得困难,但开源权重的本质意味着这些限制无法被强制执行。因此,这些系统的安全性不仅取决于过滤器的强度,还取决于一个假设——即用户不会试图破坏它——而这项研究表明,做出这种假设已不再安全。

您所在领域的论文太多了?

获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。

试用 Digest →