技术摘要：VORT：面向 NLP 变换器的自适应幂律记忆

问题陈述

标准 Transformer 架构依赖注意力机制，该机制对远距离 token 的影响施加了隐式的近指数衰减。这种计算设计与自然语言的统计特性相冲突，因为在自然语言中，token 之间的互信息遵循幂律衰减（$I(\ell) \sim c \ell^{-\gamma}$，其中 $\gamma \in (0, 1)$）。这种“统计失配”表明，当前模型在捕捉自然语言中发现的长程依赖（长记忆过程）方面并非最优，而长记忆过程在统计上由幂律权重（如 ARFIMA 过程中所见）预测效果最佳。

现有的长上下文解决方案——例如驱逐缓存（二元保留/驱逐）、具有固定指数递归的状态空间模型或量化缓存——未能提供针对每个 token 的、内容自适应的幂律衰减机制。此外，虽然分数阶微积分（特别是 Grünwald–Letnikov 加权和）提供了幂律记忆的正确数学结构，但其本质上是非马尔可夫的，这意味着在不进行近似的情况下，它无法简化为固定维度的递归。

方法论：VORT 机制

作者引入了可变阶保留 Transformer（VORT），这是一种旨在解决分数阶微积分的非马尔可夫性质同时保持计算效率的记忆架构。

1. 指数和（SOE）近似

为了使 Grünwald–Letnikov（GL）分数阶和在计算上可行，VORT 采用了指数和（SOE）分解。

• 积分表示：GL 权重 $w^{(\alpha)}_j$ 通过涉及密度函数 $\rho_\alpha(\lambda)$ 的拉普拉斯型积分来表示。
• 求积法：该积分使用 Gauss–Laguerre 求积法（在变量对数变换后具体为 Gauss–Legendre）进行近似，将核分解为 $S$ 个衰减指数项：
  $$\hat{w}^{(\alpha)}_j \approx \sum_{s=1}^S c_s^{(\alpha)} (\lambda_s^{(\alpha)})^j$$
• 马尔可夫递归：每个指数项都允许精确的单步马尔可夫递归。这使得分数阶状态可以在每一步以 $O(S d_v)$ 的复杂度更新，其中 $S = O(\log(T/\varepsilon))$ 个项足以在范围 $[1, T]$ 内实现 $\varepsilon$-均匀精度。

2. 可变阶路由

与固定阶分数阶模型不同，VORT 为每个 token $x_i$ 分配一个可学习的分数阶 $\alpha_i \in [\delta, 1]$。

• 路由逻辑：阶数由 token 的上下文熵和一个实体指示器（来自浅层命名实体识别探针）的函数决定。
  • 高熵/非实体 token：接收低 $\alpha_i$（激进压缩）。
  • 实体 token：接收高 $\alpha_i$（近乎无损保留）。
• 银行架构：为了保持效率，token 被路由到 $K$ 个并行银行中的一个，每个银行在固定的分数阶 $\alpha_k$ 下运行。系统使用 SOE 递归在这些银行中累积值。

3. 键控线性注意力检索

检索通过线性注意力累加器执行。通过用随机特征 $\phi(q)^\top \phi(k)$ 近似 softmax 注意力分数，系统维护显式状态矩阵 $G_t$ 和向量 $b_t$，它们通过相同的 SOE 递归演化。这导致每一步的精确递归复杂度为 $O(K S d_\phi d_v)$，避免了标准注意力的二次成本。

主要贡献与理论结果

本文确立了四项主要理论结果和一个收敛定理：

1. SOE 近似定理（定理 3.1）：证明了 SOE 近似的几何收敛性。误差界依赖于对数变量变换后被积函数的解析性，证明了 $S = O(\log(T/\varepsilon))$ 个项足以实现高精度。
2. 量化界（定理 4.1）：建立了在区间 $[\delta, 1]$ 上量化分数阶 $\alpha$ 时的误差界。关键在于，它提供了 $\alpha = 0$ 附近的正确分析，表明核收缩至零而非发散。
3. 缩放下界（命题 4.2）：直接的 $L^2$ 能量论证表明，对于任何分数阶 $\alpha > 1/2$，任何具有最小衰减率 $\Lambda > 0$ 的 $M$ 个固定指数的混合，其 $L^2([1, T])$ 误差都会随着 $T \to \infty$ 而增长。这证明了固定指数模型（包括状态空间模型）无法在渐近意义上匹配长程的幂律保留。
4. 梯度可塑性收敛（定理 5.1）：证明了在 Polyak–Łojasiewicz (PL) 条件下，用于细化 $\alpha_i$ 的基于梯度的可塑性规则的线性收敛性。

实验结果

作者通过三个合成和半合成实验验证了该架构：

1. Zipf 分布检索：在锚点 token 以 Zipf 分布滞后植入的任务中，幂律（PL）模型在长滞后（>1000）时保持了 79.4% 的准确率，而指数模型降至 52.3%。5 组分混合（M5）提升至 61.8%，但未能缩小差距，这与理论下界一致。
2. 实体标签复制（均匀滞后）：为了排除“先验匹配”（即模型成功仅因为滞后分布与核匹配），第二个任务使用了均匀分布的滞后。幂律模型再次显著优于指数基线（长滞后时为 82.7% 对 58.4%），证实了优势是结构性的而非分布性的。
3. PG-19 语言建模：在 PG-19 语料库的一个子集上，幂律模型在上下文长度 >4096 时达到了 1.56 比特/字符（BPC），而指数基线为 1.68 BPC。这种优势随着上下文长度的增加而扩大。

学习到的行为：对学到的 $\alpha_i$ 分布的分析显示了双峰分离：实体 token 聚集在 $\alpha \approx 0.80$ 附近（高保留），而功能词和连接词聚集在 $\alpha \approx 0.35$ 附近（高压缩），验证了自适应路由机制。

意义与主张

本文声称，VORT 提供了一种计算高效的机制来实现幂律记忆，这在理论上与自然语言的长程依赖相一致。

• 理论一致性：它弥合了长记忆过程对幂律权重的统计需求与马尔可夫递归的计算需求之间的差距。
• 架构优势：通过使用 SOE，VORT 实现了线性复杂度 $O(n)$，同时保留了指数模型在长距离上丢失的厚尾保留特性。
• 适应性：可变阶机制允许模型动态分配内存资源，压缩无关上下文的同时保留关键实体。

作者指出了局限性，包括可塑性的收敛证明是局部的，下界主要在 $\alpha > 1/2$ 时是紧的，且当前实验是试点规模的。他们提出，需要在 RULER 和 128K 上下文“大海捞针”等基准上进行全规模评估，以进行全面的验证。