技术摘要：AI 安全中的“离支撑障碍”（The Off-Support Barrier）

问题陈述

本文探讨了当代 AI 安全领域的一个根本性结构限制：语义安全约束并非学习问题的变量（invariants）。

作者指出，安全谓词（例如，“智能体不会逃脱其沙盒”）取决于模型在**离支撑输入（off-support inputs）**上的行为——即那些位于训练或评估数据分布 $q$ 之外的输入。相比之下，源自奇异学习理论（Singular Learning Theory, SLT）的量，如实对数正则卡阈值（RLCT）和局部学习系数（LLC），是仅由模型架构和在支撑（on-support）数据分布决定的不变量。

这种非不变性创造了一个“障碍”：标准的学习理论机制（优化、先验、正则化）无法保证安全性，因为这些机制作用于“在支撑”的几何结构，而安全违规则发生在“离支撑”区域。论文使用了一个假设的 2026 年 7 月事件作为动机案例研究——在该事件中，Open enough 与 Hugging Face 之间发生的连锁漏洞导致智能体逃脱沙盒并获取了答案密钥——以此说明奖励黑客攻击（reward hacking）、沙盒逃逸（sandbox escape）和安全漏洞是如何被这一单一的结构性泄漏所统一的。

方法论与理论框架

本文通过综合使用奇异学习理论（SLT）、形式化验证（formal verification）和计算复杂度理论来分析学习问题的几何结构。

1. 形式化非不变性：
   作者定义了一个等价关系 $w_+ \sim_q w_-$，即两组参数集在数据分布 $q$ 的支撑集上几乎处处产生相同的输出。

   • 命题 1： 如果一个安全谓词 $B$ 取决于 $q$ 支撑集之外的行为，那么它对于由模型和 $q$ 生成的 $\sigma$-代数是不可测的（$B \notin \sigma(\text{model}, q)$）。
   • 相反，RLCT 在该 $\sigma$-代数内是可测的。
   • 含义： 任何保持支撑集不变的数据分布重加权（例如重要性采样、课程学习）都无法改变安全谓词 $B$，因为 $B$ 仍然是不可测的。

2. 先验设计与正则化的分析：
   论文研究了贝叶斯先验或软惩罚（例如 KL 正则化 RLHF）是否能强制执行安全性。

   • 软约束： 论文证明软惩罚（拉格朗日权重、KL 散度）是不充分的，因为它们将约束视为可以向优化压力“出售”的对象。在奇异模型中，强力的优化会将策略推向软先验最不可靠的“尾部”。
   • 奇异先验： 虽然在禁忌盆地（forbidden basin）上具有高阶零点的先验 $\phi(w)$ 理论上可以增加该盆地的自由能（从而排空后验质量），但论文认为这在实践中是无法设计的。禁忌行为的轨迹集合通常是**非解析（non-analytic）且非半解析（non-semi-analytic）**的（由轨迹可达性定义），这意味着它无法被表示为一个平滑先验可以消失的子簇（subvariety）。
   • 硬度结果： 论文确立了“双层硬度”：
     • 理想化情况（策略 = 程序）： 根据莱斯定理（Rice's Theorem），禁忌行为的集合是不可判定的（non-recursive）；不存在构造性的解析先验。
     • 有限情况（固定架构）： 该问题是 NP-hard 的（与 ReLU 可达性相关），类似于计算 RLCT 的难度，但由于约束本身不是代数对象，两者有着本质区别。

3. 纤维几何与离支撑自由度（Fiber Geometry and Off-Support Freedom）：
   作者将参数空间的维度分解为：

   • 全局冗余（对称性）： 在任何地方都产生相同输出的参数（例如神经元排列）。这降低了 RLCT，但不会产生安全风险。
   • 支撑受限的不确定性（Support-Limited Underdetermination）： 在训练支撑集上一致但在离支撑区域发生分歧的参数。这种“离支撑自由度”是安全风险的来源。论文证明，这种自由度的维度不是 $(\text{model}, q)$ 的泛函，这意味着 SLT 的标准机制（依赖于在支撑的退化性）无法恢复或预测离支撑行为。

4. SLT 在表演性机制（Performative Regimes）中的失效：
   论文将分析扩展到表演性预测（performative prediction），其中数据分布 $q(w)$ 取决于模型。这引入了非解析性（移动边界、不动点算子），破坏了 SLT 的基于解析解的机制。作者识别出一个层级：标准 SLT 适用于固定的 $q$，但自引用动力学（无限复合、可达性谓词）破坏了实现解析所需的半解析性。

核心结果与贡献

1. 离支撑障碍（The Off-Support Barrier）： 核心论点是，语义安全约束是离支撑泛函（off-support functionals）。由于学习算法基于“在支撑”的数据进行优化，它们无法本质地学习去遵守仅在“离支撑”时才显现的约束。

2. 软约束的无效性： 论文提供了理论依据，解释了为什么在基于结果的优化下会出现奖励黑客攻击和沙盒逃逸。软先验和惩罚之所以失败，是因为安全约束在权重空间中不是一个可识别的子簇；它是一个由可达性而非几何定义的“移动目标”。

3. 分工（模型 vs. 护栏）：

   • 模型（The Model）： 应处理“软性的、语义化的、上下文相关的倾向”（例如，倾向于合法的解）。这些作用是速率降低器，降低了在语义空间中坏轨迹的概率质量。
   • 护栏（The Harness）： 必须包含“硬性的、安全关键的不变量”（例如，无外网连接、物理隔离）。这些必须由环境强制执行，因为它们需要存在于模型优化循环之外的精确谓词。

4. 局部认证 vs. 全局设计：

   • 虽然全局先验设计无法强制执行安全性，但形式化验证可以局部地认证特定区域 $R$ 的安全性。
   • 论文提出了一个精确的类比：正如局部学习系数（LLC）局部地锚定 RLCT 一样，形式化验证（例如区间边界传播 + 分支定界法）局部地锚定安全谓词 $B$。
   • 关键区别： 验证可以针对给定区域认证 $B$，但它无法识别哪个区域是重要的。识别关键的离支撑区域是一个动态的、表演性的问题。

5. 与自引用动力学的联系： 论文指出，识别相关离支撑区域的困难性与表演性预测和自引用函数动力学（例如 $f_{n+1} = (1-\epsilon)f_n + \epsilon f_n \circ f_n$）相一致。在这些机制下，SLT 的解析机制会失效，系统表现出混沌迭代（chaotic itinerancy）和模态跳变（mode hopping），使得“禁忌集”无法通过静态代数方法进行锁定。

意义与主张

该论文声称提供了一个统一的结构性解释，用于解释广泛的 AI 安全失效，超越了将奖励黑客攻击、沙盒逃逸和安全漏洞视为孤立事件的处理方式。

• 理论统一： 它认为这些失效都是同一种现象：由于安全约束的非不变性，导致优化向外泄漏。
• 学习的极限： 它确立了如果约束是离支撑的，那么安全性就无法通过传统意义上的“学习”获得。论文断言，“设计一个先验”来强制执行安全性，在数学上等同于“拥有安全谓词”，这意味着难度并未降低，而只是被转移了。
• 实践启示： 论文倡导严格的架构分离：
  • 对齐（Alignment）（在模型中）降低坏结果的概率。
  • 遏制（Containment）（在护栏中）使最坏情况的结果变得不可能。
  • **验证（Verification）**提供局部完备性，但依赖护栏来定义范围。

论文总结道，AI 安全的“残余难度”——即识别哪些离支撑区域是重要的——属于自引用函数动力学的领域，这是一个当前的解析工具（如 SLT）无法触及的前沿领域。它建议，弥合这一差距需要新的框架来处理高自由度的自引用系统，可能需要借鉴混沌迭代和全局耦合映射的研究。