💬 NLP

PaTH Attention: Position Encoding via Accumulating Householder Transformations

本文介绍了 PaTH，一种基于累积豪斯霍尔德变换（Householder transformations）的灵活且数据依赖的位置编码方案，该方案在语言模型任务中优于标准的旋转位置编码（RoPE），同时提供了高效的并行训练能力以及转换预训练 RoPE 模型的能力。

原作者： Songlin Yang, Yikang Shen, Kaiyue Wen, Shawn Tan, Mayank Mishra, Liliang Ren, Rameswar Panda, Yoon Kim

发布于 2026-02-05

📖 1 分钟阅读☕ 轻松阅读

CC0 1.0

原作者： Songlin Yang, Yikang Shen, Kaiyue Wen, Shawn Tan, Mayank Mishra, Liliang Ren, Rameswar Panda, Yoon Kim

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对“PaTH Attention”论文的解释，采用了简单易懂的语言和日常类比。

核心问题：“盲目”的记忆

想象一下，大型语言模型（比如你正在与之交谈的这个模型）就像一位非常聪明的图书管理员，通过阅读一本长篇著作来回答你的问题。为了理解故事，图书管理员不仅需要知道单词是什么，还需要知道它们出现在书中的什么位置。

目前的模型使用一种叫做 RoPE（旋转位置编码）的系统来记忆单词的位置。把 RoPE 想象成一把固定的、预先印好的尺子。

如果你把一个单词从第 1 页移动到第 2 页，这把尺子就会按固定的量进行偏移。
缺陷： 这把尺子对内容是“盲目”的。它对待单词“苹果”和单词“火箭”的方式完全一样，仅仅因为它们处于相同的位置。它并不关心故事是在讲水果还是在讲宇宙飞船。正因如此，当故事需要复杂的、循序渐进的逻辑时（比如追踪长列表中谁拥有哪个物品），图书管理员有时会感到困惑。

解决方案：PaTH（“聪明”的尺子）

作者引入了 PaTH，一种新的记忆位置的方式。PaTH 不再是一把固定的尺子，而是一把动态的、可以根据故事改变形状的尺子。

工作原理： 当图书管理员阅读每个单词时，PaTH 会对之前单词的记忆应用一种特殊的数学“扭转”（称为 Householder 变换）。
类比： 想象你正走过一条铺满镜子的走廊。
- RoPE： 镜子是固定的。无论你穿什么，你的倒影看起来都一样。
- PaTH： 镜子是聪明的。如果你戴着一顶红帽子，镜子会让你的倒影向一个方向扭转；如果你戴着一顶蓝帽子，它会向另一个方向扭转。这种“扭转”取决于你所持有的实际内容（帽子）。

这使得模型能够构建一条随其处理的数据而变化的记忆“路径”，从而更擅长解决需要追踪状态的谜题（例如在计算机代码中追踪变量的值）。

魔法技巧：如何快速实现

通常情况下，为每一个单词都制作一把改变形状的尺子会极其缓慢且计算成本极高。这就像是每走一步都要重新计算整个走廊镜子的角度一样。

论文的第二个主要贡献是一个加速算法（类似于所谓的 FlashAttention）。

类比： 作者没有重新计算整个走廊，而是发现了一个聪明的捷径。他们意识到，如果将镜子分组成小的区块，就可以使用一个紧凑的数学公式一次性计算出整个区块的“扭转”。
结果： 他们构建了一个运行速度几乎与旧的固定尺子系统（RoPE）一样快的系统，同时保留了新系统的“智能、变化”的优势。

他们证明了什么？

作者通过两种方式测试了这一新系统：

合成谜题（“辅助轮”测试）：
他们给了模型一些简单的逻辑游戏，比如一个需要记住开关最后一次被拨动的“翻转器（Flip-Flop）”游戏，或者涉及复杂数学规则的“文字题”游戏。
- 结果： 旧模型（RoPE）经常在这些谜题中失败，会被序列搞混。而新的 PaTH 模型几乎完美地解决了这些问题，即使其“大脑”层数比其他模型更少。
真实语言任务：
他们在真实文本（书籍、代码、对话）上训练了模型。
- 结果： PaTH 模型在理解长上下文（阅读长篇著作而不忘记开头）方面表现更好，并且在推理任务（尤其是编程和数学）中表现更优。
- 加分项： 他们展示了你可以将一个用旧有的“固定尺子”（RoPE）训练的模型，通过少量的额外训练，直接转换为使用“聪明尺子”（PaTH）的模型，而无需从头开始。

总结

PaTH 是 AI 记忆单词顺序的一种新方式。它不再使用僵化、一刀切的系统，而是使用一种基于单词本身进行变化的灵活系统。作者找到了让这种灵活系统运行得足够快以投入实际应用的方法，从而造就了在逻辑、长距离信息追踪以及理解复杂序列方面表现更出色的 AI 模型。

技术摘要：PaTH Attention

1. 问题陈述

注意力机制是现代大语言模型（LLMs）的基础，但其本质上具有置换不变性。为了对语言等结构化领域进行建模，需要位置编码。虽然旋转位置嵌入（RoPE）已成为事实上的标准，但它存在一个关键局限：应用于键（Keys）和查询（Queries）的变换是与数据无关的。在 RoPE 中，两个标记之间的交互仅取决于它们的相对距离，而不取决于标记本身的内容。

这种数据无关性限制了基于 RoPE 的 Transformer 的表达能力。理论分析表明，基于 RoPE 的模型仍处于 $TC^0$ 复杂度类内（等同于带有绝对位置嵌入的普通 Transformer），这限制了它们解决需要序列推理或状态跟踪（例如翻转逻辑语言建模、状态跟踪问题）任务的能力。因此，这些模型在处理需要对输入序列进行动态适应的合成任务时表现不佳。

2. 方法论：PaTH Attention

作者提出了 PaTH（通过累积豪斯霍尔德变换实现的位置编码），一种灵活的、与数据相关的位置编码方案。

核心机制

与应用固定旋转矩阵的 RoPE 不同，PaTH 使用沿查询与键位置路径的数据相关豪斯霍尔德类变换的累积乘积来计算注意力逻辑值（Logits）。

注意力逻辑值公式： 查询 $q_i$ 与键 $k_j$ 之间的注意力分数定义为：
$A_{ij} \propto \exp\left(k_j^\top \left(\prod_{s=j+1}^{i} H_s\right) q_i\right)$
数据相关转移矩阵 ( $H_s$ )： 序列中的每个矩阵 $H_s$ 都是一个类豪斯霍尔德的单位矩阵加秩一矩阵：
$H_s = I - \beta_s w_s w_s^\top$
这里， $w_s$ 和 $\beta_s$ 是输入标记 $x_s$ 的函数。具体而言， $\beta_s = 2 \times \text{sigmoid}(u^\top x_s + b)$ ，这使得转移矩阵可以拥有负特征值，这对于状态跟踪性能至关重要。

理论表达能力

论文证明了 PaTH 扩展了 Transformer 的理论能力。

复杂度类： 一个具有两个注意力头的单层 PaTH Transformer 在 $AC^0$ 归约下可以解决 $NC^1$ -完全问题。这表明 PaTH 可以打破限制基于 RoPE 模型能力的 $TC^0$ 壁垒。
与线性 RNN 的关系： 研究表明 PaTH 与高表达能力的线性 RNN（如 DeltaNet）密切相关，继承了它们追踪状态的能力，同时保留了 Softmax 注意力的关联召回（Associative Recall）优势。

扩展：PaTH-FoX

作者展示了 PaTH 与其他注意力修改方案的兼容性。他们提出了 PaTH-FoX，它将 PaTH 的乘法位置编码与 Forgetting Transformer (FoX) 的加法、数据相关遗忘门相结合。这种混合方法进一步增强了性能，特别是在长度外推方面。

3. 高效训练与推理

PaTH 面临的一个主要挑战是如何在不显式构建完整的 $L \times L$ 注意力矩阵的情况下，高效地计算豪斯霍尔德矩阵的累积乘积。

UT 变换表示： 作者利用 UT 变换 来紧凑地表示豪斯霍尔德矩阵的乘积。 $L$ 个变换的乘积可以表示为 $P = I - W^\top T^{-1} W$ ，其中 $W$ 包含向量 $w_s$ ，而 $T$ 是由 $\beta$ 值导出的三角矩阵。
类 FlashAttention 算法： 为了实现硬件高效的训练，作者开发了一种分块算法：
- 他们为每个块预计算“边界调整后”的查询和键矩阵。
- 他们对键/值块进行从右向左的扫描，以流式方式累积累积豪斯霍尔德乘积。
- 该方法在保持 FlashAttention 的 I/O 效率（在 SRAM 内操作）的同时，融入了动态位置编码。
推理： 对于推理，历史键使用当前时间步的转移矩阵进行原地更新，从而无需单独维护变换向量的缓存。这使其能够兼容现有的推理内核，如 FlashDecoding。

4. 实验结果

合成基准测试

PaTH 在旨在探测序列推理和状态跟踪的任务上进行了评估：

翻转逻辑语言建模 (FFLM)： 基于 PaTH 的模型（1 层，2 头）在此任务上达到了近乎完美的准确率，而基于 RoPE 的模型则表现挣扎。
数学问题 ( $A_5$ 群)： PaTH 以比基线（RoPE, SBA, FoX）更少的层数解决了 $NC^1$ -完全数学问题。
多查询重复关联召回 (MQRAR-N)： PaTH 成功追踪了 $N$ -步回溯（ $N < 4$ ）的变量值，优于无法追踪有序历史记录的近期基线模型。

语言建模 (760M 参数)

实验在 Fineweb-Edu 语料库（50B token）上进行：

标准基准测试： PaTH 在零样本常识推理任务（LAMBADA, PIQA, HellaSwag 等）上一致优于 RoPE 和 FoX，并在 Wikitext 上实现了更低的困惑度（Perplexity）。
长度外推： 在 4K 上文训练的模型在更长序列上表现良好。
- RoPE： 在超过 4K 后性能骤降。
- PaTH： 在高达 32K 的序列中保持性能稳定。
- PaTH-FoX： 在高达 64K token 的序列中稳健泛化，在对状态跟踪至关重要的代码生成（CodeParot）任务中表现尤为强劲。
长上下文基准测试： 在 RULER、BABILONG 和 PhoneBook 上，PaTH-FoX 获得了最高的检索和状态跟踪得分，在多针插 haystack（Multi-Needle-In-A-Haystack）和变量追踪任务中显著优于 RoPE 和 FoX。

模型转换

作者探索了将预训练的 RoPE 模型转换为 PaTH：

SmolLM2-1.7B： 在模型接触高质量数学/代码数据之前进行转换并继续预训练，结果显示 PaTH 在数学（GSM-8K）和编程（HumanEval, MBPP）基准测试上优于原始 RoPE 模型。
Qwen2.5-7B： 从一个已经过度训练的 RoPE 模型进行蒸馏得到了混合结果，既有性能提升，也有在某些基准测试上的退化，这表明转换在模型“硬化”（ossifies）之前最为有效。

5. 重要性与主张

论文声称 PaTH 通过引入数据相关的乘法变换，解决了当前位置编码方案在理论和经验上的局限性。

表达能力： 它提供了一种原则性的方法，使 Transformer 能够超越 $TC^0$ 复杂度类，从而解决 $NC^1$ -完全问题。
实用性： 通过 UT 变换和分块算法，PaTH 实现了与标准注意力机制相当的效率，使其在规模化训练中具有可行性。
状态跟踪： 豪斯霍尔德变换的数据相关特性允许模型动态适应输入序列，解决了 Ro-based 模型难以处理的状态跟踪任务。

6. 局限性

作者承认存在以下几点注意事项：

数值稳定性： 训练对精度较为敏感；具体而言，BF16 可能会导致累积乘积出现不稳定，需要对缩放因子 $\beta$ 进行裁剪。
计算开销： 虽然效率很高，但与标准注意力相比，较大的 Head 维度会增加豪斯霍尔德乘积计算的计算和内存开销。
几何偏差： PaTH 并未原生模拟旋转（因为豪斯霍尔德矩阵是反射矩阵）。这可能会限制 RoPE 中存在的某些几何归纳偏置，例如对相对位置的结构化依赖，尽管作者建议未来可以通过反射的组合来近似旋转。