Adversarial Attacks Leverage Interference Between Features in Superposition
本文提出，对抗脆弱性和可迁移性源于神经网络中的“叠加”现象，即高效的信息编码迫使非正交表示产生特征间的干涉，使得针对性的扰动会无意中影响其他概念。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
以下是该论文的中文翻译：
核心思想：在过小的盒子里塞入过多内容
想象你有一个非常小的手提箱（神经网络内部的“大脑”或维度），但你需要往里面装下一整柜子不同的衣服（网络需要理解的概念或特征，比如“猫”、“狗”、“卡车”或“云”）。
在理想世界中，你会有一个巨大的手提箱，为每件衣服都准备一个独立的隔层。但在现实中，神经网络通常追求效率。它们试图在有限的物理空间内塞进比实际容量更多的概念。这种现象被称为叠加（Superposition）。
为了实现这一点，网络必须将这些概念挤压在一起。它不再拥有一个专门的“猫”抽屉和一个专门的“狗”抽屉，而是必须让两者共用同一个空间，只是位置稍微偏移一点。这就像是在同一张纸上通过使用略微不同的墨水角度，来书写两个不同的故事。
问题所在：“串扰”效应
由于这些概念被挤压得如此紧密，它们开始相互干扰。论文称之为干扰（Interference）。
这就像是一个拥挤的广播电台。如果你正在调到一个播放爵士乐的频道，而旁边的频道正在播放摇滚乐，有时你会听到爵士乐中混入了些许摇滚乐的声音。信号在彼此之间“渗漏”，因为它们没有被完美地分离。
在神经网络中，如果你试图激活“猫”这一特征，由于它们共享相同的内部空间，“狗”这一特征也可能会意外地获得一些能量。
黑客如何利用这一点（对抗性攻击）
通常情况下，这种干扰是实现高效运行所付出的微小代价。但论文揭示了黑客（对手）可以将这种串扰武器化。
假设你想欺骗网络，让它把一张猫的照片误认为是一只狗。
- 传统思维： 你只需调整猫耳朵的像素，使其看起来更像狗。
- 新发现： 黑客不仅仅盯着“猫”和“狗”这两个按钮。他们观察的是整个拥挤的手提箱。
因为“猫”和“狗”的概念被挤压在一起，黑客可以以一种方式推动“猫”的特征，从而导致“狗”的特征被意外地比预期更强烈地推动，同时抑制“猫”的信号。他们利用了网络自身拥挤的打包方式来对付它。
论文表明，这些攻击并非随机噪声。它们遵循基于概念如何打包的精确数学模式。如果网络将“猫”和“狗”靠得很近，那么攻击看起来就会呈现出一种特定的、可预测的畸变。
为什么攻击会在模型间“跳转”（迁移性）
你可能会问：“为什么在模型 A 上有效的攻击在模型 B 上也有效？”
论文通过拥挤房间类比解释了这一点。
想象两个不同的人（两个不同的 AI 模型）试图将同一套衣服装进两个完全相同的小手提箱里。
- 即使他们的初始打包策略不同，物理定律（它们训练所用的数据）也会迫使他们以类似的方式来打包“衬衫”和“裤子”，因为这些物品本身具有相关性。
- 最终，两者的手提箱都会让“猫”和“狗”这些概念坐在几乎完全相同的位置，产生完全相同的干扰。
因为“干扰模式”是相同的，所以在一个手提箱上有效的技巧，几乎肯定也能在另一个手提箱上奏效。论文发现，当模型在相似的数据上进行训练时，它们产生的这些“打包模式”如此相似，以至于攻击在模型之间的迁移成功率接近 100%。
实验的“魔力”
研究人员并不仅仅是靠猜测，他们构建了一个微型的、受控版本的这种手提箱（一个合成模型），在那里他们可以精确观察概念是如何被打包的。
- 他们证明了，如果你强迫概念共享空间（叠加），你就会自动创造漏洞。
- 他们展示了他们在纸面上计算出的“完美”攻击，与计算机自身的黑客算法（PGD）所发现的攻击完全吻合。
- 他们在真实的图像分类器（如识别汽车或动物的模型）上进行了测试，发现攻击中确实存在相同的“干扰指纹”。
总结
论文认为，对抗性脆弱性不仅是一个漏洞，更是效率的一种副作用。
神经网络在压缩信息（将图书馆装进鞋盒）方面表现得如此出色，以至于它们在想法之间创造了“串扰”。黑客已经学会了监听这种串扰，并利用它来破坏系统。如果你想阻止这些攻击，你可能需要停止将概念打包得如此紧密，或者学习如何更好地分离它们，而不是仅仅试图修补手提箱上的漏洞。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。