技术摘要：超越正弦波：一种用于 Transformer 位置编码的 Morlet 小波框架

1. 问题陈述

标准的 Transformer 位置编码，特别是正弦（sin/cos）和旋转位置嵌入（ROPE），将每个位置视为同等局部。虽然它们编码了“在哪里”，但未能编码“影响范围有多远”。

• 正弦 PE： 使用固定频率且在所有位置具有统一振幅。
• ROPE： 将相对位置编码为复空间中的旋转，但在复数空间中保持恒定的振幅包络（即所有位置的权重是相等的）。
• 理论差距： 这些方法缺乏一个统一的数学框架。此外，它们假设信号是平稳的（无限位置不确定性），这对于语言这种非平稳信号（字符分布和句法结构随位置变化）来说并非最优。

2. 方法论：Morlet 位置编码 (MOPE)

作者提出了 Morlet 位置编码 (MOPE)，它利用复 Morlet 小波作为位置编码的自然基底。Morlet 小波同时最小化了位置和频率的不确定性，遵循海森堡不确定性原理。

2.1 定义

对于位于位置 $b$ 且维度为 $i$ 的 token，MOPE 定义为：
$$\text{MOPE}(b, i) = e^{i\omega_i b} \cdot e^{-b^2/2\sigma_i^2}$$
该公式为每个维度引入了两个可学习参数：

1. 中心频率 ($\omega_i$)： 决定振荡速率（相位）。
2. 带宽 ($\sigma_i$)： 决定高斯局部性包络（振幅衰减）。

2.2 几何解释

• 相位： 相位分量 $\omega_i b$ 与 ROPE 中的旋转角度相同。它编码了在一个振荡周期内的相对位置。
• 振幅： 项 $e^{-b^2/2\sigma_i^2}$ 作为一个以序列原点 ($b=0$) 为中心的高斯包络。与标准编码中振幅固定为 1（意味着 $\sigma_i \to \infty$）不同，MOPE 学习一个有限的 $\sigma_i$，导致位置信号随距离序列起始点的距离增加而衰减。
• 不确定性权衡： MOPE 学习位置不确定性 ($\Delta b_i = \sigma_i$) 与频率不确定性 ($\Delta \omega_i = 1/\sigma_i$) 之间的最佳权衡，满足边界 $\Delta b_i \cdot \Delta \omega_i \geq 1/2$。

2.3 现有方法的统一

论文证明了标准编码是 MOPE 的极限情况：

• 正弦 PE： 当 $\sigma_i \to \infty$ 时出现（无限局部性，无衰减）。
• ROPE： 当 $\sigma_i \to \infty$ 时出现。在这一极限下，MOPE 的互相关核精确地恢复了 ROPE 注意力分数，而在一般情况下，则由学习到的高斯局部性核进行调制。
• ALiBi： 在概念上类似于零频率局部性极限（没有振荡的指数衰减）。

3. 核心贡献

1. 理论统一： 证明了 sin/cos PE 和 ROPE 是 MOPE 的退化情况（即局部性被关闭的情况）。
2. 相位等价性： 确立了 MOPE 的相位差在数学上与 ROPE 的旋转角完全一致。主要区别在于 MOPE 增加了一个学习到的高斯局部性核。
3. 经验结合： 将 MOPE 与 能量门控注意力 (EGA) 相结合。最终模型 (EGA-MORLET) 在 TinyShakespeare 数据集上实现了比标准注意力高出 +0.119 的验证集困惑度（perplexity）提升，优于单独使用其中任何一个组件。
4. 参数分析： 分析了学习到的参数，发现所有 128 个频率-带宽对都精确收敛于 小波容许性边界 ($\omega_i \sigma_i = 5$)。

4. 实验结果

实验在上下文长度为 $T=256$、6 层 8 头 Transformer 架构的字符级 TinyShakespeare 数据集上进行。

• 性能：

  • EGA-MORLET: 1.3550 验证集困惑度（比基线高 +0.119）。
  • EGA-1 (基线): 1.3821 (+0.092)。
  • ROPE: 1.4637 (+0.011)。
  • Sin/Cos: 1.5863 (-0.112)。
  • 仅使用 MOPE: 1.5060 (-0.032)。
  • 注： 仅使用 MOPE 的表现低于学习到的嵌入基线，这可能是由于小型模型的容量限制（PE 只有 512 个参数，而查找表有 65,536 个）以及以原点为中心的高斯结构的结构性偏差。然而，当与 EGA 结合时，其协同效应非常显著。

• 学习到的参数：

  • 容许性边界： 所有 128 个维度都收敛于 $\omega_i \sigma_i = 5.000$。优化器一致地将参数推向这一边界，表明模型倾向于更强的局部性和比约束允许的更低的频率。
  • 尺度集中： 学习到的带宽 ($\sigma_i$) 范围在 1.49 到 4.50 个 token 之间。这表明模型将所有的位置容量集中在 字符到单词的尺度 上，而不是像在更长上下文中预期的那样跨越更广的尺度（如从句、句子）。
  • 频率压缩： 学习到的频率被压缩在一个狭窄的频带内 ($\omega_i \in [1.11, 3.35]$)，远高于初始的二进制范围。

5. 意义与主张

论文声称提供了第一个统一的振荡位置编码数学框架，揭示了它们是具有时频局部性的小波基底的特例。

• 理论洞察： 该工作认为语言是非平稳的，因此位置编码不应假设无限局部性 ($\sigma = \infty$)。MOPE 允许模型学习适当的“时间影响范围”。
• 互补性： 结果表明，频谱显著性（由 EGA 处理，决定“关注什么”）与 时频局部性（由 MOPE 处理，决定“影响延伸到哪里”）是互补的机制。两者的结合产生了超加性的收益。
• 可复现性： 在位置编码实验和另一个能量门控实验（论文 1）中均观察到了向容许性边界 ($\omega \sigma = 5$) 的收敛，这表明这是字符级语言信号的一个可复现的经验属性。

6. 局限性与未来工作

作者对目前的研究结果保持了谦逊的态度：

• 规模： 实验受限于字符级、短上下文 ($T=256$) 以及单一种子。
• 原点偏差： 当前的公式使用以 $b=0$ 为中心的高斯函数，这产生了一个“绝对原点先验”，即靠近序列起始的 token 比序列末尾的 token 具有更强的位置振幅。这破坏了平移不变性。作者提议未来使用可学习的中心 $b_{0,i}$ 进行泛化。
• 容许性约束： 向 $\omega \sigma = 5$ 边界的收敛可能是基于投影实现的实现方式（截断）导致的产物，而非真正的无约束最优解。放宽这一约束是未来研究的重点。
• 后续步骤： 未来的工作将验证 MOPE 在词级分词、更长上下文下的表现，并探索 Morlet-ROPE（将高斯包络应用于 ROPE 旋转机制）。