💬 NLP

Probing Minimalist Phase Structure in LLMs: What Universal Dependencies Cannot Represent

本文通过揭示结构探针能够检测到标准基于通用依赖的探针无法捕捉的 wh-移位刺激中的阶段计数梯度和符号不对称性，证明了大型语言模型编码了如最简方案阶段边界和衔接这类形式句法抽象概念，而这些概念对通用依赖而言是不可见的。

原作者： Yuanhao Chen, Peter Chin

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuanhao Chen, Peter Chin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图弄清楚一个巨大且超级聪明的机器人（即大型语言模型，LLM）是如何理解句子结构的。多年来，研究人员一直使用一种名为“通用依存关系（Universal Dependencies, UD）”的“地图”来检验这一点。你可以把 UD 想象成一张标准的平面地图，它展示了词语之间如何相互连接，就像一棵家谱树。它告诉你在一个句子中谁是“父节点”，谁是“子节点”。

然而，本文的作者认为，这张地图遗漏了一些至关重要的地形。它没有显示出房屋中不同房间之间的“墙壁”或“边界”。在语言学中，这些墙壁被称为“语段（phases）”。

以下是本文核心故事的简要拆解：

1. 问题：地图过于简单

研究人员想知道，这些 AI 机器人是否真的理解这些看不见的“墙壁”（语段），还是它们仅仅看到了平面地图（UD）。

陷阱：如果你只是让机器人画出一个句子，它看起来可能像是理解了墙壁。但也许它只是在死记硬背那张平面地图。
解决方案：研究团队设计了一项特殊测试，其中三种不同类型的句子所对应的“平面地图”（UD）看起来完全相同。如果机器人对这些句子仍然表现出不同的反应，那就意味着它看到了地图未显示的内容。

2. 实验：三种类型的“房间”

他们创建了三种涉及疑问词（如"What"）从句子末尾移动到句首的句子类型。

A 类（无标记/Bare）：一个狭小、开放的空间。（例如："What did she see him eat?"）
B 类（不定式/Infinitival）：一个带有走廊的房间。（例如："What did she expect him to eat?"）
C 类（限定性/Finite）：一个带有走廊和一扇锁着的门的房间。（例如："What did she think he ate?"）

在所有这三种情况下，疑问词与主语之间的“平面地图”距离是相同的。但在“最简主义”语法理论中，疑问词必须穿过的“墙壁”（语段）数量从 A 类到 C 类依次增加。

3. 发现：机器人看到了墙壁

研究人员“探测”了 13 种不同的 AI 模型（来自 Llama、Gemma、Mistral 和 Qwen 等家族），以观察它们如何表征这些句子。

“深度”测试：他们测量了疑问词与主语之间的距离。
- 结果：机器人一致地将这些句子视为随着“墙壁”的增加而变得“更深”或更复杂。尽管平面地图显示距离相同，但机器人内部的数学计算显示出一个梯度：简单 < 中等 < 复杂。
- 统计数据：13 个模型中有 12 个清晰地表现出了这种模式。
“内聚力”测试（重大惊喜）：他们观察了“小房间”内部主语和动词之间的关系。
- 预测：在“限定性”句子（C 类）中，主语和动词位于同一个“房间”（语段）内。而在其他句子中，它们被一堵墙隔开。
- 结果：机器人仅在“限定性”句子中，在内部记忆中将主语和动词拉得更近。
- 为何重要：平面地图显示所有三种情况下的距离都是相同的（1 步）。机器人本不应注意到差异。但它们确实注意到了。它们将“限定性”房间中的词语视为一个紧密的团队，而其他句子中的词语则较为松散。这证明它们正在使用一个平面地图无法看到的概念，即语段内内聚力（phase-internal cohesion）。

4. 证明这是真实的（而非仅仅是故障）

怀疑论者可能会说：“也许机器人只是在猜测，或者数据是随机的。”为了证明机器人实际上正在使用这些信息，研究人员进行了一次“手术”（称为激活修补/activation patching）。

他们将复杂句子中主语词的“大脑状态”提取出来，并粘贴到简单句子中。
结果：机器人内部的距离测量值正如预测的那样发生了变化。这证实了机器人不仅仅是在记忆模式；它正在主动利用这些结构性的“墙壁”来进行计算。

5. 主要结论

本文得出结论：通用依存关系（UD，即标准地图）是一个“下界”，而非“上界”。

可以这样理解：如果你用一张平面地图来检查机器人的知识，你可能会认为它只掌握了基础知识。但本文表明，机器人实际上了解建筑的架构——墙壁、楼层和房间——尽管地图并没有画出它们。

简而言之：大型语言模型通过训练，自发地学会了构建内部地图，这些地图与关于“语段”和“边界”的深层形式语言学理论相一致，远远超出了标准标注工具所能检测的范围。它们不仅仅是在模仿表面模式；它们正在构建一种包含不可见墙壁的语言结构理解。

技术摘要：探测大语言模型中的极简主义短语结构

问题陈述
结构探测已证实，大语言模型（LLMs）在其隐藏表示中编码了句法结构，通常训练用于恢复通用依存（UD）树距离。然而，UD 是一种标注方案，而非生成语法；它缺乏形式句法抽象，例如（来自极简主义方案的）短语边界或短语内部凝聚力。因此，基于标准 UD 的探测无法确定大语言模型是否编码了这些更深层的结构属性。如果探测检测到条件间的差异，尚不清楚这反映的是目标句法抽象，还是仅仅是对 UD 距离或表层属性的重新编码。本文旨在解决一个开放性问题：大语言模型是否编码了超出基于标注的探测范围的正式句法抽象。

方法论
作者设计了一项探测实验，使用疑问词移位（wh-movement）刺激材料，通过构造确保被探测词对之间的 UD 树距离在不同条件下保持不变。这确保了探测检测到的任何非零效应都反映了 UD 未捕获的结构信息。

刺激材料构建：
为每个项目创建三个条件，按疑问词元素跨越的极简主义方案（MP）短语边界的数量排序：
- 裸小句（Bare Small Clause）：（例如：What did she see him eat?）—— 0 个额外短语。
- 不定式（Infinitival）：（例如：What did she expect him to eat?）—— 1 个额外短语（vP）。
- 限定式（Finite）：（例如：What did she think he ate?）—— 2 个额外短语（vP 和 CP）。
测量两个探测词对：
- 跨从句（疑问词–嵌入主语）： 测试“短语计数梯度”（结构深度）。
- 从句内（嵌入主语–嵌入动词）： 测试“短语内部凝聚力”。关键在于，该词对的 UD 距离在所有三种条件下恰好为 1 条边（nsubj）。
探测协议：
- 在通用依存英语网络语料库（UD-EWT）上训练线性探测，将隐藏状态映射到欧几里得空间。
- 这些训练好的探测在不进行进一步拟合的情况下，在疑问词移位刺激材料上进行评估。
- 通过 OLS 回归估计效应量（ $\beta$ ），将限定式和不定式条件与裸基线进行比较。
- 规范层报告： 为了避免对层的机会性选择（这是一个常见问题，即不同的对比在不同层达到峰值），作者根据最大化最可靠对比（ $\beta_{fin}$ ）的层，为每个模型定义单个“规范层”（ $L^*$ ）。所有其他对比均在该固定层进行报告。
因果验证：
进行**激活修补（activation patching）**实验。将来自不定式源的嵌入主语的残差流表示修补到裸目标中。如果该表示因果地编码了从句类型信息，这应使探测距离按预测方向发生偏移。
模型：
本研究评估了来自四个模型族的 13 个仅解码器基础模型：Gemma-3、Llama-3、Mistral 和 Qwen。

主要结果

短语计数梯度（跨从句）：
在 13 个模型中的 12 个中，疑问词元素与嵌入主语之间的探测距离遵循预测的梯度： $\beta_{fin} > \beta_{inf} > 0$ 。这表明模型表示反映了跨越的短语边界数量的增加，尽管 UD 距离保持不变。
符号不对称性（从句内）：
在嵌入主语–动词对（其中 UD 距离相同）上，观察到稳健的13/13 符号不对称性：
- 限定式条件： $\beta < 0$ （表示比基线更近）。
- 不定式条件： $\beta > 0$ （表示比基线更远）。
这种模式与替代解释相矛盾：
- UD 距离： 预测 $\beta \approx 0$ （距离恒定）。
- 线性距离： 预测 $\beta_{inf} > 0$ 但 $\beta_{fin} \approx 0$ （限定式和裸式相邻；不定式中间有 'to'）。
- 单调复杂性： 预测 $\beta_{fin} > \beta_{inf} > 0$ （结构越多 = 距离越大）。
观察到的负 $\beta_{fin}$ 是短语内部凝聚力的具体预测，这是一种 MP 抽象，指同一已完成短语（限定式 CP）内的项目被拼读为一个凝聚单元，使其在表示上更近。
因果佐证：
在嵌入主语位置进行的激活修补成功地将 13 个模型中的 12 个的探测距离按预测方向进行了偏移。这证实了所识别的表示在模型计算中具有因果活性，解决了关于探测是否恢复了模型实际使用的表示的怀疑。

主要贡献

不变 UD 距离探测： 作者展示了一种探测句法结构的方法，其中 UD 距离受到严格控制，确保检测到的效应反映了 UD 之外的结构。
规范层报告： 他们引入了一种更严格的报告标准，将所有对比锚定在单个层上，消除了一定的自由度，并揭示了异质性（例如 Qwen-3-4B 的失败），而这些是每对比峰值报告所会掩盖的。
因果证据： 通过激活修补，他们提供了直接证据，证明短语结构表示具有计算活性，而不仅仅是相关性。

意义与主张
本文主张，分布预训练诱导出了与形式句法抽象（特别是短语边界和短语内部凝聚力）相一致的表示，而这些抽象对基于 UD 的标注是不可见的。从句内词对上的 13/13 符号不对称性作为存在证明，表明大语言模型编码了标准探测无法获取的结构信息。

作者得出结论，基于 UD 的探测提供了句法编码的下限，而非上限。 研究结果表明，大语言模型可能拥有比标准依存标注所捕获的更丰富的句法表示，这是由训练数据的统计规律而非显式语法指令驱动的。

局限性
本研究仅限于英语和特定的动词类别。作者指出，短语计数梯度是方向性的（预测顺序，而非幅度比率），且模型族内的缩放效应具有异质性。因果主张是保守的，仅限于嵌入主语的表示普遍影响探测距离，而非证明符号不对称性的具体机制。