📊 statistics

On Surjectivity of Neural Networks: Can you elicit any behavior from your model?

本文证明了现代神经架构的基本组件（如前层归一化和线性注意力）几乎总是满射的，这意味着像 GPT 式 Transformer 和扩散模型这样广泛使用的生成模型在理论上可以生成任何输出，从而揭示了其对对抗性攻击和安全风险的内在脆弱性。

原作者： Haozhe Jiang, Nika Haghtalab

发布于 2026-06-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Haozhe Jiang, Nika Haghtalab

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：你能让机器说出“任何话”吗？

想象你有一个非常先进、经过训练的机器人，它会说话，也会创作图像。你可能会好奇：“是否有一种特定的句子或图片，无论我输入什么或展示什么，这个机器人都永远无法生成它？”

用数学术语来说，这是在询问该机器人是否具有满射性（Surjective）。

满射意味着：对于每一个可能的输出（比如一段特定的句子或一张图片），都至少存在一个输入，能让机器人产生该输出。
非满射意味着：在输出的世界中存在一些“禁区”，无论你如何努力，机器人都无法触及这些区域。

这篇论文的作者提出了一个问题：现代 AI 模型是否存在这些“禁区”，还是它们在技术上可以生成“任何东西”？

主要发现：“门始终敞开”

研究发现，对于当今许多最流行的 AI 架构（例如驱动 ChatGPT、图像生成器和机器人控制器的架构），答案是：门始终是敞开的。

他们证明了这些模型几乎总是满射的。这意味着，如果你挑选出任何你能想象到的输出——即使是有害的、危险的或荒谬的内容——在数学上都可以保证存在某种输入，能让模型生成它。

“无限钥匙环”的比喻：
把 AI 模型想象成一把巨大且复杂的锁。通常，我们认为“钥匙”是一个像“你好，最近怎么样？”这样的普通句子。
论文指出，对于这些现代模型，锁的设计方式使得锁芯的所有可能组合（输出）都可以由某把钥匙（输入）打开。 即使那把钥匙看起来像是乱码、秘密代码或格式奇怪的图像，它也是存在的。

他们是如何证明的？（“平滑滑梯”理论）

研究人员并非仅仅靠猜测，而是使用了数学的一个分支——微分拓扑学（Differential Topology）。

“平滑滑梯”的比喻：
想象 AI 模型是一个巨大的、平滑的滑梯。

旧的 AI 模型（例如带有简单 ReLU 开关的模型）就像是有尖角或死胡同的滑梯。如果你顺着滑下去，可能会卡在某个角落，永远无法到达底部（某些输出是无法触及的）。
现代 AI 模型（那些带有 Pre-LayerNorm 和 Attention 的模型）则像是完美平滑、带有弧度的滑梯。因为它们如此平滑且连续，数学证明了你总能在滑梯上的某个起点，最终到达底部的任何一个特定位置。

论文特别强调了现代 AI 中使这一现象发生的两个“神奇成分”：

Pre-LayerNorm：一种在处理数据前对其进行归一化的技术。论文证明，将一个函数包裹在这种结构中，使得它不可能“封锁”掉输出的任何部分。
线性注意力机制（Linear Attention）：一种模型观察数据的方式（用于更新、更快的模型），它同样保证了你可以触及任何输出。

这对安全性意味着什么（“越狱”的现实）

论文将这种数学理论与一个非常现实的问题联系起来：越狱（Jailbreaking）。

“不可逾越之篱”的比喻：
想象安全团队在动物园周围建了一道篱笆，以防止危险动物（有害的 AI 输出）跑出来。他们训练 AI 变得礼貌，并拒绝不当请求。

旧观点：我们认为，“如果我们把 AI 训练得足够好，它就永远不会翻过这道篱笆。”
论文观点：数学表明，这道篱笆只是幻觉。因为模型的满射性，对于每一种动物，都存在一条翻越篱笆的路径。

这并不意味着寻找这些路径很容易。它可能需要非常奇怪、复杂或隐藏的输入（比如特定的代码或奇特的图像）。但论文证明了，这条路径确实存在。

对于文本：你理论上可以找到一个奇怪的提示词，让一个礼貌的 AI 写出一份制造炸弹的手册。
对于图像：你理论上可以找到一种特定的噪声模式，让图像生成器画出一件危险武器。
对于机器人：你理论上可以找到一系列传感器输入，让机械臂做出伤害他人的动作。

论文并没有说的是什么

严格遵守论文的实际主张非常重要：

它并不表示我们可以轻易找到这些危险的输入。寻找那把“钥匙”在计算上可能非常困难，就像大海捞针一样。
它并不表示目前的安全性训练是徒劳的。安全性训练让“针”变得更难被找到，但它并没有把“针”从草堆中移除。
它并不表示每一款 AI 模型都是如此。论文特别指出，较旧的模型（如简单的 ReLU 激活模型）或特定类型的注意力机制确实存在“死胡同”，即某些输出是不可能实现的。但我们今天使用的现代模型（Transformer、扩散模型等）通常不存在这种情况。

总结

这篇论文传达了一个令人警醒的数学真相：我们无法在数学上保证现代 AI 永远不会产生有害输出。

由于这些模型的构建方式，它们在本质上具备生成任何内容的能力。因此，安全性不能仅仅依赖于模型内部完美的“拒绝机制”。相反，我们必须接受：潜在的危害已经内置于机器的结构之中，我们需要通过其他手段（如过滤器和监控）来管理这种风险，而不是寄希望于模型本身是“天生安全”的。

技术摘要：论神经网络的满射性

问题陈述

本文探讨了深度生成模型在安全性与能力方面的一个基本问题：是否任何指定的输出都可以由某个输入生成？ 用数学语言来说，训练后的神经网络是否对应于从其输入空间到输出空间的满射函数（surjective function）？

现有的安全研究侧重于通过数据清洗和微调来约束模型的行为，但仍存在一个关键空白：我们能否保证一个训练好的模型绝不会生成有害内容？如果一个模型是满射的，那么对于任何任意的目标输出（包括有害、危险或受版权保护的内容），都至少存在一个输入能够产生它。这引发了对现代架构固有脆弱性的担忧，即容易受到“越狱”（jailbreak）攻击，使攻击者能够诱发出不良行为。本文旨在确定在广泛使用的现代神经架构中，满射性是否是一种“几乎总是”成立（即对于除测度为零的子集之外的所有参数配置）的属性。

方法论

作者结合了微分拓扑学，采用了一种概率视角。他们并非询问所有或某些参数设置是否产生满射性，而是询问在固定的架构内，对于几乎所有参数配置，满是在是否成立。这种方法承认了训练引入了随机性（通过优化器、数据分布等），使得最终的模型是从高维分布中抽取的一个样本。

其核心方法论工具涉及微分拓扑学，具体包括：

布劳威尔不动点定理（Brouwer's Fixed Point Theorem）： 用于证明在特定有界条件下，连续函数存在原像。
布劳威尔度理论（Brouwer Degree Theory）： 一种用于证明满射性的拓扑不变量，通过展示映射的度（degree）非零来暗示原像的存在。
同伦不变性（Homotopy Invariance）： 用于将复杂的函数形变为简单的函数并保持度不变，从而允许对复杂的神经网络模块进行分析。

作者分析了基本构建模块（MLP、注意力机制、LayerNorm 变体）的满射性，并将这些结果扩展到复合架构，如 Transformer 和扩散模型（Diffusion models）。

核心贡献与结果

1. 对架构模块的理论保证

本文确立了特定架构组件在何种条件下几乎总是具有满射性的严格条件：

Pre-LayerNorm 是满射的： 定理 3.1 证明，任何被包裹在 Pre-LayerNorm 中的连续函数 $f$ （定义为 $g(x) = f(\text{LN}(x)) + x$ ）都是满射的。这依赖于 LayerNorm 将输入映射到一个有界集合，从而允许应用布劳威尔不动点定理。因此，被 Pre-LayerNorm 包裹的 MLP 和注意力层是满射的。
线性注意力（Retention）几乎总是满射的： 定理 3.4 表明，Retention 机制（一种不带 softmax 的线性注意力形式）几乎总是满射的。该证明将序列级问题简化为形式为 $f(x) = Mx + (x^\top N x)x$ 的标记级映射，并使用度理论证明了对于几乎所有的参数选择都是满射的。
Transformer 几乎总是满射的： 由于现代 Transformer（如 GPT 式）是包裹在 Pre-LayerNorm 中的模块的组合，推论 4.1 指出，整个 Transformer 架构几乎总是满射的。

2. 负面结果（非满射性）

本文还识别了不是几乎总是满射的架构，强调了特定设计选择的重要性：

Softmax 注意力： 定理 3.5 证明，标准的注意力机制（带有 softmax）并非几乎总是满射的。由于注意力权重的指数衰减，某些输出对（特别是具有有界第一标记和任意大第二标记的输出对）构成了一个正测度的不可达集。
标准 MLP（ReLU/GeLU）： 定理 B.1 和 B.2 表明，使用 ReLU 或 GeLU 激活函数的两层 MLP 并非几乎总是满射的。根据权重配置的不同，这些网络可能会被限制在特定的子空间或有界区域内（例如，输出被限制在某个常数下方）。

3. 对现实世界模型的意义

作者将他们的理论发现应用于具体的生成框架：

语言模型： GPT 式的 Transformer 几乎总是满射的。这意味着，原则上，任何句子（包括受版权保护或有害的文本）都可以通过从合适的输入嵌入进行解码来生成，即使该模型是进行自回归训练的。
扩散模型： 使用 ODE 求解器的确定性扩散模型（其中速度预测器是 Transformer 或 U-Net）从噪声空间到输出空间几乎总是满射的。这表明其对于生成有害图像的对抗性噪声向量具有固有的脆弱性。
机器人技术： 使用因果掩码 Transformer 的机器人策略网络被证明几乎总是满射的，这意味着任何动作序列（包括不安全轨迹）都可以由某个输入序列诱导产生。

重要性与主张

本文声称提供了一种理解 AI 安全中不可避免之脆弱性的形式化方法。

安全训练的根本局限性： 作者认为，满射性意味着安全训练（如 RLHF、微调）在理论上无法阻止模型输出有害行为。如果一个模型是满射的，那么有害输出就在值域内；问题从“是否可以生成”转向了“如何高效地找到对应的输入”。
风险解耦： 本研究将“诱发行为的风险”（属于越狱领域）与“行为本身的风险”（属于特定领域的危险）进行了解耦。满射性表明，诱发任何行为的能力是架构的一种存在性属性，独立于模型的特定能力或训练数据。
安全评估中的谨慎： 本文警告不要仅基于输出行为探测来得出关于模型安全性的结论。由于满射性意味着在原则上任何输出都是可能的，因此标准的评估如果未能发现有害输出，可能仅仅是因为未能找到诱发这些输出所需的特定且可能复杂的输入。

作者保持了审慎的态度，澄清说满射性是一个存在性属性，而非构造性属性。它保证了对于任何输出都存在一个输入，但不保证能高效或以可行信息的方式找到该输入。然而，他们指出，成功越狱案例的激增表明，在实践中，计算难度通常并不是瓶颈。

总之，本文认为，使现代神经网络强大且可训练的特定架构选择（特别是 Pre-LayerNorm 和残差连接）同时也使其在本质上是满射的，这为仅通过训练所能实现的安全性保证设定了一个内在的理论上限。