💬 NLP

On the Emergence and Test-Time Use of Structural Information in Large Language Models

本文研究了大语言模型如何从观测数据中学习并应用抽象结构信息，揭示了这种学习能力的涌现虽然与复杂推理相关，但模型在测试时进行组合生成的能力仍然有限。

原作者： Michelle Chao Chen, Moritz Miller, Bernhard Schölkopf, Siyuan Guo

发布于 2026-01-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Michelle Chao Chen, Moritz Miller, Bernhard Schölkopf, Siyuan Guo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，大型语言模型（LLM）就像是才华横溢的大厨，读遍了世界上所有的食谱。他们可以完美地背诵食谱，甚至能将见过的食材进行组合来制作新菜肴。但他们真的理解烹饪的“逻辑”吗？他们能否根据一个基本规则（比如“如果你加盐，它就会变咸”）应用到一个他们从未见过的全新食材上，还是说他们只是在死记硬背特定的菜谱？

这篇名为**《论大型语言模型中结构化信息的涌现与测试时使用》**的论文，就像是一场旨在回答这个问题的科学厨房实验。研究人员想要观察这些 AI 大厨学习的是底层的“语法规则”（结构），还是仅仅记住了它们训练过的特定句子。

以下是利用简单类比对研究结果进行的拆解：

1. 游乐场：一个“语法健身房”

为了测试这些模型，研究人员并没有向它们投喂随机的句子。他们基于一个被称为“转换语法”（Transformational Grammar）的概念，构建了一个特殊的**“语法健身房”**。

把语言想象成一套乐高积木。

深层结构（Deep Structure）： 句子的核心思想（例如，“约翰很快乐”）。
表层结构（Surface Structure）： 我们实际表达的方式（例如，“看起来约翰很快乐”）。

研究人员创建了一个数据集，要求 AI 对句子进行特定的“转换”，比如将陈述句变为疑问句、将主动语态变为被动语态，或者将主语移到句首。这就像是要求大厨把一个蛋糕食谱瞬间改写成一个派的食谱，并遵循严格的规则。

2. 发现：AI 何时“开窍”？

研究人员观察了 AI 在训练过程中的表现，通过观察其内部的“脑电波”（数学表示）来查看它何时开始理解这些规则。

“顿悟”时刻： 他们发现，AI 学习这些规则并不是渐进式的。相反，它经历了一个**相变（Phase Transition）**过程。想象一下灯开关被拨动的瞬间。在训练的某个特定点（大约在第 64,000 步时），AI 突然开始能够区分不同类型的句子变化。
与推理的联系： 有趣的是，这种“开关”的开启不仅帮助 AI 更好地预测下一个词，还与其在复杂推理任务上的表现提升相关联。这表明，为了解决困难的逻辑谜题，AI 需要理解语言的底层结构，而不仅仅是单词本身。

3. 测试：AI 能组合规则吗？（“组合”问题）

这是实验中最关键的部分。研究人员问道：如果我们分别教 AI 规则 A 和规则 B，它能否将规则 A + 规则 B 组合起来，应用在一个它从未见过的句子中？

结果： AI 表现挣扎。
- 当 AI 被给予中间步骤（例如，“先做规则 A，再做规则 B”）时，它表现良好。
- 但当被要求在没有帮助的情况下一次性完成整个链条时，它经常失败。
隐喻： 想象教一个学生如何系左鞋带，以及如何系右鞋带。如果你要求他们在不看步骤的情况下同时系好两只鞋，他们可能会感到困惑。AI 似乎是在死记硬背特定步骤的组合，而不是真正理解这些独立规则以实现自由的混搭。

4. 机器内部：魔力发生在哪里？

研究人员还对 AI 的大脑进行了“手术”（称为消融实验），以观察哪些部分在承担重任。

“肌肉” vs. “大脑”： 他们发现，MLP 层（可以理解为 AI 的“肌肉”或进行重度计算的处理单元）贡献了约 65% 的转换成功率。而 注意力头（Attention heads）（决定关注点的“大脑”）仅贡献了约 35%。
最后一层： 实际决定“如何转换这个句子”的过程主要发生在网络的最后几层。这就像是 AI 花了大部分时间在思考，然后在最后一秒钟才确定要应用的具体规则。

5. 核心结论

论文以一种既有喜讯又有现实警示的方式作结：

好消息： LLM 确实学习到了结构化信息。它们不仅仅是在背诵文本；它们建立了一套关于句子如何运作的内部地图，并且随着推理能力的增强，这张地图变得越来越清晰。
现实警示： 然而，这种学习目前还不完美。当涉及到组合这些规则以在测试时生成全新的、复杂的知识（测试时组合）时，AI 仍然受到限制。它严重依赖于看到中间步骤，并且难以将规则“解耦”，从而无法在新的情境下灵活地应用规则。

简而言之： AI 正在学习游戏的规则，但它目前仍像是一个掌握了数学公式却需要看例题解题步骤，才能独立解决新问题的学生。它们尚未完全掌握纯粹且灵活的创造力艺术。

技术摘要：论大型语言模型中结构化信息的涌现与测试时应用

问题动机
本文探讨了大语言模型（LLMs）从观测数据中学习抽象结构信息，并在测试时利用该知识生成真正新组合的能力。虽然人类能够重新组织基础语言构建块以理解未见的组合（组合泛化），但目前的模型在处理分布外（OOD）概念的系统性泛化方面往往表现不佳。作者认为，理解 LLMs 如何学习和组合结构信息，对于产生训练语料库之外的新知识至关重要，这种能力与机械理解和鲁棒预测密切相关。为了在受控环境下进行研究，作者超越了标准基准测试，转而关注源自转换语法（Transformational Grammar）的语言结构转换。

方法论
作者引入了一个基于**转换语法（TG）**的受控合成实验场。

数据集构建： 他们生成了一个自然语言数据集，包含十种不同的转换类型（例如：NP-提升、被动化、I-移动），并将其分为五个句法类别。数据集包括：
- 单层转换： 对基础句子应用一个算子。
- 嵌套转换： 算子的顺序应用（例如： $B(A(s))$ ）。
- 组合歧义： 在某些情况下，特定的转换无法进行有意义的组合，这要求模型隐式地识别兼容的模式。
- 数据集使用 DeepSeek-V3 通过特定提示词生成，以确保一致性，产生了约 2000 个单层转换样本和约 500 个嵌套转换样本。
实验设置：
- 涌现分析： 使用 Pythia-410M 模型，作者追踪了训练过程中结构表示的演变。他们计算了基础句子与其转换版本（ $\Delta A(s)$ ）的残差流表示之间的 $L_2$ 距离，以衡量结构敏感性。
- 组合泛化： 他们使用 LLaMA3-8B 进行评估，采用了全参数微调和参数高效微调（LoRA）两种方式。评估测试了模型执行嵌套转换以及处理 OOD 组合（例如：在 $A(B(s))$ 和 $B(C(s))$ 上进行训练，然后在测试时处理 $A(C(s))$ ）的能力，且在推理过程中不提供中间步骤。
- 机械解释性： 作者进行了因果干预分析（将注意力头和 MLP 模块置零）以及线性探测（LDA），以识别哪些网络组件和层负责句法转换。

核心贡献

数据集： 引入了一个基于语言结构转换的自然语言数据集，用于正式研究结构信息的学习。
经验相关性： 证明了结构信息的涌现与复杂推理任务的成功相关，而非仅仅与标准的语言模型困惑度相关。
组合局限性： 提供了证据表明，尽管模型学习了结构表示，但在微调下，其执行测试时组合生成（特别是针对未见的嵌套转换）的能力仍然有限。
机械见解： 识别了负责结构学习的具体网络组件，揭示了转换相关计算集中在后期层，并且由 MLP 模块主导而非注意力机制。

结果

结构的涌现：
- 不同的句子转换在嵌入空间中形成了截然不同且可分离的簇。
- 基础句子与转换句子表示之间的 $L_2$ 范数在训练过程中稳步增加，并在第 64k 步左右出现剧烈上升，表明发生了结构区分变得显著的相变。
- 这种结构精细化与复杂推理任务的增益相关性，比与标准下文预测困惑度的相关性更强。
组合泛化：
- 全参数微调表现较差，可能是由于在有限数据集上发生了过拟合。
- LoRA 微调较全参数微调有显著改进。然而，当推理过程中未提供中间步骤时，模型在处理嵌套转换的精确匹配方面仍面临困难。
- 在 OOD 嵌套转换（如 $A+C$ ）上的表现仍然很低（精确匹配率为 0.00%，部分匹配率约为 45-49%），这表明模型并未完全解耦转换操作以在测试时灵活地进行组合。
- 在训练和推理过程中提供显式的中间步骤提高了性能，表明模型受益于结构引导，但目前还无法在没有引导的情况下鲁棒地泛化到未见的组合。
消融与解释性：
- 层集中度： 预测正确转换标记的概率在网络的最后三分之一处（第 24–32 层）急剧增加，38% 的贡献集中于此。
- 组件偏好： 与注意力机制（35%）相比，MLP 模块对句法转换成功的贡献更大（65%）。
- 线性可分性： 线性探测显示残差流中不同转换类型之间存在近乎完美的分离，支持了线性表示假设。

意义与主张
本文声称提供了关于 LLMs 通过结构组合生成新知识的限制与机制的证据。作者得出结论：虽然 LLMs 可以学习结构信息并在训练期间表现出结构敏感性的相变，但它们目前缺乏在没有显式中间引导的情况下，灵活重新组合分布外结构以产生新知识的能力。研究结果表明，推理可能需要结构信息，但目前在 LLaMA3-8B 等模型上的微调方案尚未实现鲁棒的组合泛化。这项工作强调了句法转换高度依赖于后期层的 MLP，并且随着微调的进行，概念的分离在残差流中呈线性涌现。

局限性
作者承认其分析受限于英语，这可能限制了对跨语言模式的普适性。使用单层转换进行因果归因可能会混淆子操作。此外，针对 8B 模型的研究结果可能无法直接扩展到更大的模型，因为后者需要更复杂的数据集以避免记忆化。