🤖 AI

From Attention Masks to Inert Zero-Vector Tokens: OAttention and O-Closure for Token Dynamics

本文介绍了 OAttention 和 O-Closure 定律，这是一种通过将静态注意力掩码替换为活跃存在系数，以实现精确零向量标记处理和组合封闭性的标记动力学框架，并证明了在将其回溯适配到 TabPFN 回归器时性能影响极小。

原作者： Heyang Gong

发布于 2026-08-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Heyang Gong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能领域，计算机通过将信息传递到数字神经元层来学习识别模式。这一过程的一个核心机制叫做“注意力”（attention），它就像一束聚光灯，决定哪些信息片段应该被允许相互作用。想象一个拥挤的房间，人们正试图进行交谈；注意力机制就是决定谁被允许与谁交谈的规则。如果两个人不被允许交谈，系统就会简单地忽略他们之间的连接。这通常由一个数字掩码（digital mask）来控制，它是一个简单的列表，对特定的数据点对说“是”或“否”。多年来，这一直是处理缺失或无关信息的标准方法：如果一个数据片段不应该被看到，系统就会被告知看向别处。

然而，在“告诉系统忽略一个连接”与“拥有一个由于过于空虚而自然拒绝参与的数据片段”之间，存在着细微但重要的区别。在现有的标准方法中，即使一个数据片段完全空白或为零，注意力系统的数学机制通常仍会将其视为一名常规参与者。它可能不会发出强烈的信号，但它的存在本身仍可能轻微地改变对话的平衡，改变其他数据点的权重。这种情况导致了一个局面：一个“空白”标记并非真正惰性的，它是一个活跃的背景数学参与者，能够微妙地扭曲结果。这种区别至关重要，因为在许多现实世界的应用中——从分析医疗记录到预测天气——拥有一个真正的空状态（即既不增加内容也不改变任何事的状态）对于准确性和可靠性而言是必不可少的。

一位研究人员提出了一种处理此问题的新方法，引入了一种让标记的“空虚感”携带在其自身表示之中的系统，而不是仅仅依靠从外部应用的规则。该研究人员不再仅仅依赖掩码来隐藏信息，而是为每一件数据分配了一个衡量其自身“存在感”（presence）的指标。这种存在感是根据数据的信号强度计算出来的。如果信号强，数据就是完全活跃的；如果信号恰好为零，数据就会变得完全惰性。这一个单一的存在感指标承担了双重职责：它既控制着一个数据片段向外发送多少信息，又决定了当该数据被他人考虑时承载多少权重。

研究人员构建了一个新版本的注意力系统，称之为 OAttention，它利用这种存在感指标来门控（gate）信息的流动。在这个新系统中，如果一个数据片段确实为零，它就不会产生输出，也不会对其他标记的计算贡献权重。就好像这个数据片段已从对话中彻底消失，让剩余的系统完全不受干扰。这与旧方法相比是一个重大转变，在旧方法中，一个零值仍会对数学分母产生微小的贡献，从而略微稀释所有活跃数据的权重。新方法确保了在序列中插入一个空白标记不会对现有输出产生影响，从而保护了已有信息的完整性。

为了使这一逻辑在整个 AI 模型中生效，研究人员必须将这一逻辑扩展到注意力机制之外。他们意识到，要让模型真正尊重“空值”状态，系统的每一个处理数据的部分也必须被设计为忽略零值。他们为模型的其他部分（例如归一化层和前馈网络）开发了一套配套工具，这些部分也都使用相同的存在感指标来门控其操作。通过确保从输入到输出的每个组件都遵循这一规则，他们创建了一个完整的系统，使得零值能够被真正吸收并中和。他们将这一特性称为“O-封闭性”（O-Closure），意味着系统对空状态的影响是封闭的，防止它们泄露到最终结果中。

研究人员对这些想法进行了严格测试，以验证它们在实践中是否有效。首先，他们进行了数学检查，以确认新的注意力系统是否完全按照理论预期运行，确保零值确实会导致零输出且不对其他值产生变化。这些测试证实，该系统在现代计算机硬件上运行具有极高的精度。接着，他们将这种新的注意力机制应用于一个现有的、用于处理表格数据（一种常用于商业和科学领域的结构化信息）的强大 AI 模型。他们并没有重新训练该模型，而只是简单地将新的注意力规则替换进去。结果显示，该模型的性能几乎保持不变，变化量不到五分之一百分点，这表明新系统可以在不破坏现有工具的情况下进行集成。

或许最具有启发性的测试在于观察仅更新系统的一部分会发生什么。他们发现，如果他们只改变了注意力机制而保持模型的其他部分不变，那么“零”状态就无法得到保持；模型的其他部分会重新激活这些空数据，从而破坏效果。这证明了这种新方法需要对整个路径进行完整且一致的更新。当他们将整个系统更新为“O-封闭”时，模型成功地在整个处理过程中维持了空状态。这证实了该方法不仅仅是对机器某个部分的微调，而是对系统如何处理“无”这一概念的一次根本性变革。

研究人员谨慎地指出，这项工作并未解决所有与缺失数据相关的问题。他们澄清说，他们的系统是为那些“缺失值确实不含信息量且应被视为无”的情况而设计的。如果一个缺失值带有特定含义（例如“数据未收集”与“数据为零”的区别），则仍需由用户来处理。此外，虽然该系统在理论上和他们在特定测试中表现完美，但他们并不声称它能改进所有可能的 AI 任务，或在不做修改的情况下适用于所有类型的数据结构。这项工作的价值在于提供了一种在复杂的神经网络中创建真正惰性状态的数学精确方法，确保当一个数据片段为空时，它保持为空，而不会意外地将系统推向错误的方向。

技术摘要：从注意力掩码到惯性零向量标记

1. 问题陈述

当前的基于注意力的模型依赖于注意力掩码（ $m_{ij}$ ）来控制交互。这些掩码是关系层级的控制，规定了哪些查询-源对（query–source pairs）被允许进行交互（例如用于因果律或路由）。然而，掩码并未提供一种状态层级的机制，使一个标记（token）的表示能够本质地意味着“不参与”。

标准的缩放点积注意力未能将零向量标记（ $h=0$ ）视为惯性元素：

作为接收者（Receiver）： 如果查询 $q_i = 0$ ，注意力分数会变得均匀，输出会变成可见值的平均值，而非零。
作为源（Source）： 如果源标记满足 $k_j=0, v_j=0$ ，它会向 Softmax 分母添加一个常数（ $e^0=1$ ）。这改变了所有其他活跃标记的权重，意味着原点是一个“普通状态”而非“空状态（null state）”。

本文认为需要一个互补的要求：一个结构化 NULL 状态，在该状态下，一个表示能够携带其自身的“不参与”属性，确保它既不产生输出，也不向共享计算贡献质量，而不仅仅依赖于外部掩码。

2. 方法论

2.1 标记存在系数（Token Presence Coefficient）

核心创新在于为每个隐藏载体 $h_i$ 分配一个平滑的、活跃的存在系数 $p_i$ ：
$p_i = \rho_\tau(h_i) = \frac{\|h_i\|^2}{\tau + \|h_i\|^2}$
其中 $\tau > 0$ 是一个尺度超参数。

属性： $p_i \in [0, 1)$ ，仅在原点处（ $h_i=0$ ）精确为零，且当 $\tau \to 0$ 时，对于固定的非零向量趋近于 1。
双重角色： 这一个系数控制着两个截然不同的角色：
1. 局部更新参与度： 门控信息由标记 $i$ 发出的程度。
2. 上下文支持参与度： 决定标记 $i$ 为共享统计量（分母、分配函数）贡献的质量。

2.2 OAttention（支持耦合注意力）

OAttention 是这一规则的具体实现。它通过以下方式修改标准注意力：

接收者门控（Receiver Gating）： 输出乘以接收者的存在系数 $p_i$ 。
源权重化（Source Weighting）： 将源的存在系数 $p_j$ 同时乘入注意力机制的分子和分配函数（分母）中。
公式：
$\text{OAttention}_i(H; m) = p_i \frac{\sum_j m_{ij} p_j \exp(s_{ij}) v_j}{\epsilon_{den} + \sum_j m_{ij} p_j \exp(s_{ij})}$
其中 $s_{ij}$ 是标准的缩放点积得分， $m_{ij}$ 是外部可见性掩码。

这种设计确保了如果 $h_i=0$ ，则 $p_i=0$ ，导致零输出（Null Receiver）。如果 $h_j=0$ ，则 $p_j=0$ ，意味着源不对分子或分母做出贡献，从而保持其他权重不变（Null Source Insertion）。

2.3 O-Closure 与标记动力学

论文通过 O-Closure 将这一概念扩展到整个模型架构。O-Closure 是一个定律，规定插入一个零标记不应改变现有的输出或状态。这要求：

局部映射（零吸收）： 诸如前馈网络（OFFN）和归一化（ONorm）等组件必须通过 $p_i$ 对其更新进行门控（例如， $h^+ = h + p_i \cdot \text{FFN}(h)$ ）。
支持耦合映射（零质量）： 跨标记统计量（如 OStandardize）必须使用存在权重化的矩（moments），使得零标记不会偏移活跃标记的均值或方差。
OTransformer： 通过组合这些 O-闭合组件（OAttention, OFFN, ONorm, OInject）构建的模型，确保整个路径在残差相加和组合过程中都能保持 NULL 状态。

3. 核心贡献

形式化 Null 一致性： 定义了精确的算子属性，将表示携带的状态级参与与关系级的可见性掩码区分开来。
推导 OAttention： 证明了单个标记级存在系数可以同时满足零接收者、零源插入、自注意力插入和空支持属性，同时保留标准的 Softmax 竞争特性。
O-Closure 定律： 确立了标记算子要组合成零一致架构（OTransformer）所需的代数条件（零吸收与上下文擦除）。
组件实现： 提供了符合这些定律的具体实现，包括 OFFN、ONorm、OInject 和 OStandardize。

4. 结果

论文评估了三个具有限定范围的截然不同的主张：

4.1 精确性（算子契约）

方法： 在 FP32、BF16 和 FP16 下对 OAttention 实现进行独立的 GPU 评估。
结果： 该实现相对于直接评估实现了 $L_\infty$ 误差 $\le 8.94 \times 10^{-8}$ 。它成功实现了零接收者的精确零输出，并在插入零源时保持现有输出不变。

4.2 活跃路径兼容性（改造/Retrofit）

方法： 对克隆的预训练 TabPFN v3 回归器进行“零微调”改造。冻结模型权重，仅引入隐藏载体 OAttention（及 Full-O 变体）。
结果： 在 18 个匹配的数据集-种子案例中：
- 隐藏载体 OAttention： 使平均 RMSE 变化为 +0.088%。
- Full-O（包含 OFFN/ONorm）： 使平均 RMSE 变化为 +0.177%。
  这些变化被描述为“校准后的近恒等（near-identity）”观察，而非普遍的无损保证。

4.3 组合必要性（消融实验）

方法： 一个两块消融研究，对比标准宿主模型、仅含 OA 的宿主（OAttention 配合标准 FFN/Norm）以及完整的 “OTransformer”（所有 O-闭合组件）。
结果：
- OA-only： 未能保持 NULL 状态；插入零标记会导致旧标记状态发生剧烈偏移（ $L_\infty \approx 7.98$ ），因为普通的 FFN 和仿射归一化重新激活了该零值。
- OTransformer： 成功保持了 NULL 状态（ $L_\infty \approx 0$ ），证明了仅靠注意力机制是不够的，如果没有宿主组件的闭合，注意力本身无法实现目标。

5. 重要性与主张

本文将其贡献定位为对精确性、活跃路径兼容性和组合必要性的限定范围测试。

其主张是：
- 它建立了一个数学框架，使标记的表示能够本质地携带“结构化 NULL”状态。
- 它证明了为了防止零插入破坏模型中的活跃计算，OAttention 和 O-Closure 是必要的。
- 它展示了可以将这些机制以极小的性能损失改造进预训练模型中。
它明确未主张：
- 普遍无损： 结果并未证明 O-闭合模型在所有任务上都具有普遍优越性或非劣性。
- 任意宿主闭合： 该理论取决于宿主模型的路由、池化和读出路径也必须满足 O-Closure 定律。
- 学习到的零吸引子动力学： 论文并未声称训练会自动发现或利用这些零状态；它提供的是实现这些状态的机制，而非其必然涌现的证明。
- 通用缺失值语义： 它区分了结构化 NULL 与信息性缺失（例如学习到的 [MASK] 标记），并且并未声称解决了通用的缺失数据语义问题。

综上所述，本文为如何使“零向量”成为注意力模型中真正的惯性元素提供了一个严密的代数和架构解决方案，确保只要整个计算路径遵循 O-Closure 定律，标记表示的缺失即意味着其影响力的消失。