💬 NLP

Beyond Sequence Order: Syntax-Informed Positional Embeddings for Transformers

本文介绍了语法信息增强型位置嵌入（Syntax-Informed Positional Embeddings, SiPE），这是一种轻量级方法，通过将依存句法解析信息注入到各种 Transformer 位置嵌入家族中，在不增加推理成本的情况下，显著提升了语法理解能力和通用语言性能。

原作者： Haris Riaz, Hyungji Kim, Mihai Surdeanu

发布于 2026-08-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Haris Riaz, Hyungji Kim, Mihai Surdeanu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

语言的 GPS：为什么仅有顺序是不够的

想象一下，你正试图教一个机器人如何理解人类语言。你给了它一个庞大的书籍库，并告诉它通过阅读来学习语法规则。这就是现代“大语言模型”（LLMs）的工作方式。它们就像是读过几乎所有互联网内容的超级聪明学生，但它们有一个特定的盲点：它们非常擅长猜测句子中的下一个词，但有时却难以理解词语之间为什么会联系在一起。

为了帮助这些机器人知道自己在句子中的位置，科学家们给了它们“位置嵌入”（positional embeddings）。可以将这想象成每个单词的 GPS 坐标。它告诉模型：“你是第 5 个词”或者“你距离起点有 3 个词的距离”。长期以来，这已经足够了。但问题在于：人类语言不仅仅是一条由单词组成的直线，它是一个复杂的关联网络。在句子“The keys to the cabinet are on the table”（柜子的钥匙在桌子上）中，“keys”是主语，而“are”是谓语。尽管“keys”和“are”被其他三个词（“to the cabinet”）隔开了，但它们在语法上是相连的。一个只计算距离的简单 GPS 可能会忽略这种联系，将这些词视为仅仅是在队列中相邻的邻居，而不是舞伴。这篇论文提出了一个问题：我们能否给我们的语言机器人一张更好的地图——一张不仅显示单词在哪里，还显示它们如何连接的地图？

论文的核心思想：给机器人一个句法指南针

这项研究背后的研究人员 Haris Riaz、Hyungji Kim 和 Mihai Surdeanu 提出了一种巧妙的升级方案，称为句法感知位置嵌入（Syntax-informed Positional Embeddings, SiPE）。SiPE 不仅仅是告诉机器人“你在位置 5”，而是向它低声传递一个秘密提示：“你在位置 5，而且你还是后面那个词的‘所有者’。”

为了实现这一点，他们使用了一个名为“依存句法解析器”（dependency parser）的工具，这就像一个快速扫描的语法检查器，可以绘制出单词如何相互依存的地图。他们将这张地图转化为一种简单的代码（称为“Hexatags”），并将其直接注入机器人的位置 GPS 中。SiPE 的魔力在于它并不强迫机器人重建整个大脑，它只是在现有系统中添加了一个极其轻量级的“句法直觉”层。

团队发现，提示信息放在哪里比提示信息本身是什么更为重要。他们测试了两种主要的注入方式：

输入法（The Input Method）： 将句法提示直接混合进单词的起始块中（就像在烘焙前将香料加入面粉中）。
位置法（The Positional Method）： 仅将提示混合进 GPS 坐标本身，而不动单词本身（就像为地图添加一个特殊的指南针，但不动车本身）。

他们的发现：

对于“解码器”（Decoder）模型（像聊天机器人那样逐个单词生成故事的模型），位置法成为了赢家。通过将句法提示与距离计算相乘，模型学会了即使在距离很远时，也会格外关注在语法上相关的单词。这使它们在专门的测试集 SyntaxGym 上，将理解复杂语法的能力提升了 10.3%，同时也提高了预测下一个词的能力（降低了“困惑度/perplexity”达 9.0%）。
对于“编码器”（Encoder）模型（像搜索引擎那样一次性阅读并理解整个句子的模型），输入法效果最好。只需将句法提示添加到单词的起始块中，就足以提高它们的理解能力。

论文指出，这种方法之所以是一个游戏规则的改变者，是因为它解决了一个主要的权衡问题。以往的方法要么完全忽略句法（虽然快但显得笨拙），要么试图在每次说话时都重新计算整个语法树（虽然极其聪明但速度极慢）。SiPE 处于完美的平衡点：它使用一张单一且快速的语法图来引导模型，实现了两全其美。

结果：更聪明，而不只是更大

研究人员在包括 RoBERTa、DeBERTa 和 ModernBERT 在内的多种不同类型的 AI 模型上测试了他们的想法。结果非常一致。使用 SiPE 训练的模型不仅在语法测试中表现更好，在现实世界的任务中也表现出色。在 GLUE 基准测试（一项标准的通用语言理解测试）中，模型的表现提升了高达 8.2%。

或许最令人兴奋的发现是，这种提升并没有以牺牲速度或效率为代价。这些模型获得的额外“句法大脑”极其轻量化，仅增加了约 5,000 到 7,000 个额外参数（相对于这些模型已有的数百万参数而言，这只是微不足道的一小部分）。

然而，作者也谨慎地指出，这并不是解决一切问题的万灵药。他们发现，对于“解码器”模型，句法提示在进入系统早期（即网络的第一层）时效果最好。如果你等到模型已经开始处理句子后再添加提示，其益处就会消退。他们还发现，仅仅增加更复杂的语法细节（如具体的逻辑关系名称）并没有太大帮助；简单的“方向”提示就已经足够了。

为什么这很重要

这篇论文表明，我们不需要彻底改造 AI 的架构来让它更好地理解人类语言。我们只需要给它一张稍微好一点的地图。通过教会这些模型去观察连接单词的那些隐形线条，我们可以让它们变得更准确、更合乎逻辑，并且不易被长而复杂的句子所迷惑。这提醒我们，有时让机器变得更聪明的最佳方式，并不是给它更多的数据，而是教会它如何观察它已有的数据。

技术摘要：用于 Transformer 的语法启发式位置嵌入 (SiPE)

问题陈述

尽管 Transformer 架构是现代大语言模型（LLMs）的基石，但其对标准位置嵌入（PE）的依赖存在一个根本性的局限：这些嵌入虽然编码了标记距离和线性顺序，但在很大程度上对语法结构保持着不可知性。这种缺乏显式语法建模的问题阻碍了语义框架的提取和组合泛化能力，因为模型缺乏将谓词与其论元联系起来的信号——即便这些元素在空间上可能距离较远，但在语法上却很接近。

现有的注入语法归纳偏置的方法通常涉及复杂的架构修改，例如通过硬编码掩码来约束自注意力机制，或维护递归栈（如 Pushdown LMs）。这些方法往往会增加计算开销、需要显著的架构变更，或者在推理时需要在许多解析树之间进行边缘化处理，从而导致高昂的成本。相反，“无解析器”（parser-free）的方法虽然在训练期间注入了语法，但在运行时会丢弃语法知识，导致泛化能力较弱。

方法论：语法启发式位置嵌入 (SiPE)

作者提出了 SiPE，这是一种轻量级的方法，通过从依存句法解析中获取语法先验来增强模型的路径，而无需改变自注意力机制或核心 Transformer 架构。

核心组件

Hexatagging（六标签法）： 该方法利用 Hexatagging，一种“解析即标注”的方法，将依存树线性化为一系列离散标签。每个标记被分配两类标签：
- 终结符标签（Terminal tags）： 指示附着方向（左子节点或右子节点）。
- 非终结符标签（Non-terminal tags）： 指示内部节点的头部方向（左 L 或右 R）。
  这些标签被映射到学习到的嵌入表（ $E_T$ 用于终结符， $E_N$ 用于非终结符）。
注入策略： 语法先验通过两种主要路径注入模型，具体取决于架构：
- 输入侧注入（编码器）： 对于 RoBERTa、DeBERTa-v3 和 ModernBERT 等模型，标签嵌入直接添加到输入标记嵌入中。这创建了一个复合输入向量，其中语法先验与绝对或相对位置信息处于同一层级。
- 位置路径注入（自回归解码器）： 对于使用相对位置 PE（如 Transformer-XL 中的注意力分数）的解码器，作者发现将先验直接注入注意力分数中的位置项更为优越。具体而言，标签嵌入被投影并与注意力分数中的相对位置项（$BD$）进行乘性耦合。这使得语法偏置能够调节现有的位置偏好，而非作为一个独立的、未受条件的偏置存在。
架构无关性： SiPE 被设计为能与三种主流的 PE 家族组合：
- 绝对 PE： 添加到输入嵌入中。
- 相对 PE： 与注意力分数中的位置项进行乘性耦合（用于解码器）或添加到输入嵌入中（用于编码器）。
- 旋转位置嵌入 (RoPE)： 作为相位偏移注入到旋转角度中，位于查询（query）和键（key）向量旋转之前。
训练： 模型在标准的语言模型目标（编码器的 MLM，解码器的下文预测）之外，使用一个辅助的指示符预测目标进行预训练。标签嵌入与 LM 目标共同学习。

核心贡献

新型注入机制： 引入了 SiPE，它通过来自 Hexatagging 的轻量级先验向量整合语法结构，避免了修改自注意力权重或引入复杂的注意力掩码。
架构特异性： 论文确定了基于架构的最佳注入点：
- 对于编码器，直接添加到输入嵌入中最有效。
- 对于使用相对 PE 的自回归解码器，通过与位置项进行乘性耦合可以获得最佳效果，其表现优于输入侧注入或解耦的加性项。
帕累托前沿移动： SiPE 在推理时基于单个解析树进行条件化。这建立了一种新的关于语法监督与推理成本之间的权衡：它能以 1/300 的成本获得接近全量边缘化（需要评估约 300 个解析树）的收益，同时优于无解析器的方法。
广泛的兼容性： 该方法在多种模型家族（RoBERTa, DeBERTa-v3, ModernBERT, Transformer-XL）和多种 PE 方案（绝对、相对、旋转）上得到了验证。

实验结果

作者在内在（语法）和外在（下游任务）基准测试上对 SiPE 进行了评估。

内在评估 (SyntaxGym & BLiMP)：
- 在 SyntaxGym 上，相比于没有语法监督的基准 Transformer-XL 模型，SiPE 的得分提升了高达 10.3%。
- 在 BLiMP 上，SiPE 提升了所有编码器家族的语法泛化能力（例如 ModernBERT 提升了 2.3%）。
- 至关重要的是，这些增益是在 BLLIP-LG 数据集上降低困惑度（perplexity） 9.0% 的情况下实现的，而在许多现有的语法注入方法中，该指标往往会导致性能下降。
外在评估 (GLUE)：
- SiPE 在所有测试架构的 GLUE 基准测试中均提升了性能。
- 对于 Transformer-XL 解码器，SiPE 带来了 +8.2% 的 GLUE 平均值相对提升。
- 编码器模型（RoBERTa, DeBERTa, ModernBERT）在 GLUE 任务上也表现出一致的增益，表明语法先验提升了现实世界的语言理解能力，而不仅仅是语法泛化能力。
消融研究：
- 注入深度： 对于解码器，从第一层开始注入语法至关重要；跳过第一层会导致语法泛化能力大幅下降。
- 耦合类型： 乘性耦合（通过标签对齐来门控位置项）优于完全解耦的加性注入，这表明语法在强化现有位置偏好方面最为有效。

意义与主张

论文声称 SiPE 提供了一种简单、轻量且有效的策略，可以将语法信息注入任何 Transformer 架构。通过保持自注意力机制及其他架构部分不动，SiPE 确保了与标准下游工作流（包括持续预训练、有监督微调和强化学习）的兼容性。

作者强调，SiPE 移动了语法监督与推理成本之间的帕累托前沿。不同于需要对许多解析树进行边缘化的联合语法语言模型（成本高昂），或在运行时丢弃语法的无解析器方法（泛化弱），SiPE 基于单个解析树进行条件化，以极低的成本保留了大部分收益。

作者承认的局限性：

推理依赖： 该方法在推理时需要一个依存句法解析器（Hexatagger）来生成标签，这增加了一个预处理步骤。
自回归生成： 自回归地生成文本需要在每一步重新进行标签化，这会使标准的 KV 缓存策略变得复杂，因为随着序列增长，解析器可能会修正早期标记的标签。
范围： 本研究局限于小型模型、英文文本以及特定的预训练预算。该方法的增益在扩展到数十亿参数模型及其他语言时的可扩展性仍是一个开放性问题。
粒度： 该方法使用的是粗粒度的方向标签；初步实验表明，纳入完整的依存关系标签（DEPREL）并未带来额外的收益。