💬 NLP

The Mechanistic Emergence of Symbol Grounding in Language Models

本文引入了一个受控评估框架，证明了符号落地（symbol grounding）通过一种聚合机制在规模化训练的多模态语言模型的中间层中涌现，其中注意力头将环境输入与语言预测相连，这一现象在 Transformer 和状态空间模型中被观察到，但在单向 LSTM 中并未出现。

原作者： Shuyu Wu, Ziqiao Ma, Xiaoxi Luo, Yidong Huang, Josue Torres-Fonseca, Freda Shi, Joyce Chai

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shuyu Wu, Ziqiao Ma, Xiaoxi Luo, Yidong Huang, Josue Torres-Fonseca, Freda Shi, Joyce Chai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：词语是如何获得意义的？

想象一个机器人读遍了世界上所有的书，但从未见过真正的苹果，没摸过它的表皮，也没尝过它的甜美。对于这个机器人来说，“苹果”这个词仅仅是一个字母组合的模式，就像一段秘密代码。它知道“苹果”经常出现在“红色”或“派”附近，但它并不真正“知道”苹果是什么。

这个问题被称为符号接地（Symbol Grounding）。它在追问：抽象的符号（词语）是如何与现实世界的体验建立联系的？

长期以来，科学家们认为你必须显式地教计算机这种联系（比如每当它说到“苹果”时，都要给它看一张苹果的照片）。但最近的大型 AI 模型似乎通过仅仅预测句子中下一个词，就自行掌握了这一点。

这篇论文提出的核心问题是： AI 是如何做到这一点的？在这个机器人的大脑内部，这个“顿悟”时刻究竟发生在何处？

实验：一个受控的游乐场

为了找到答案，研究人员并没有直接观察一个巨大且复杂的 AI，而是构建了一个微小的、受控的游乐场（一个“测试平台”），以便以慢动作观察学习过程。

设置：
想象一本故事书，其中的每个物体都被描述了两次：

环境标记（“场景”）： 对场景的描述，例如“地板上有一个箱子。”
语言标记（“言语”）： 一个孩子在说话，例如“我看到一个箱子。”

至关重要的一点是，研究人员确保计算机将场景中的“箱子”和言语中的“箱子”视为完全不同、互不相关的代码。AI 别无选择，只能被迫学习到这两个不同的代码实际上代表着同一个东西。

测试：
他们要求 AI 猜测孩子接下来会说什么词。

情景 A（匹配）： 场景描述中提到了“箱子”。AI 能够轻松猜出“箱子”。
情景 B（不匹配）： 场景描述中提到的是“玩具”。AI 在猜测“箱子”时遇到了困难。

结果：
当“场景”与“言语”匹配时，AI 预测单词的能力变得更强了。这证明了 AI 已经学会了接地这个词（将言语与场景联系起来），而且无需被显式教授。

发现：“大脑中的中层管理者”

一旦确定 AI 能够做到这一点，他们便想知道它是如何做到的。他们观察了 AI 的“大脑”（其神经网络层），看看哪些部分在努力工作。

他们发现，神奇之处并不发生在最开始（输入端）或最后阶段（输出端），而是发生在中间层。

类比：图书馆与图书管理员
把 AI 的各层想象成一个图书馆系统：

早期层： 就像存放书籍（信息）的架子，只是在堆叠数据。它们持有原始数据。
中间层： 这些是图书管理员。
后期层： 这些是撰写最终报告的人。

研究人员发现，中间层中特定的“图书管理员”（称为注意力头/Attention Heads）正在承担一项特殊的工作。它们扮演着磁铁的角色。

收集： 一些图书管理员抓取“环境”信息（场景描述）并将其整合在一起。
聚合： 其他图书管理员则获取这些整合后的信息，并将其向前推进，以辅助预测“语言”词汇。

他们称之为**“聚合机制”（Aggregate Mechanism）**。这就像一支工作团队，其中一组人负责从仓库收集原材料，而另一组人立即利用这些材料来制造最终产品。

转折：并非所有大脑都构造相同

研究人员测试了不同类型的 AI 架构，以观察这种“接地”能力是一种通用的特征，还是特定设计的产物。

Transformer（当前的行业标准，如 GPT）： 是的！它们拥有成功的中间层图书管理员，能够将场景与词语连接起来。
Mamba-2（一种更新、更高效的设计）： 是的！它们也具备这种接地能力。
LSTM（较旧的技术）： 不是。 这些模型无法将场景与词语联系起来。

为什么？ 论文指出，旧的模型（如 LSTM）更像是传送带，只能一步步向前移动。它们无法轻易“向后回溯”去抓取来自场景的信息并将其带到当前的词汇。而较新的模型（如 Transformer）则像一张网，其中的每个部分都可以瞬间与其他任何部分进行对话，从而允许它们“向后回溯”并抓取所需的上下文。

总结

这篇论文证明了，当你在足够多的数据上训练现代 AI 时，它会自然而然地发展出一种连接词语与其现实世界语境的机制。它不需要老师说：“这个词代表这张图片。”

相反，AI 在它大脑的中部构建了自己的内部“归档系统”。网络的特定部分学会了充当桥梁，抓取环境线索，并利用这些线索来理解语言。只要 AI 的架构足够灵活，允许这些部分相互通信，这一切就会自动发生。

简而言之： AI 通过构建一支专门的中层工作团队来学习“接地”其符号，这支团队知道如何提取正确的上下文，并将其传递给正确的词汇。

技术摘要：语言模型中符号接地（Symbol Grounding）的机械性涌现

问题陈述

符号接地最初由 Harnad (1990) 定义，旨在探讨抽象符号（如单词）如何通过与现实世界的感知运动经验相连接来获得意义。尽管最近的大规模视觉-语言模型（VLMs）和自回归语言模型（LMs）已初步显示出在没有显式监督的情况下实现接地的证据，但驱动这种涌现的具体位置和机制仍有待探索。以往的研究主要依赖于相关性证据（例如注意力重叠或几何对齐），并且侧重于静态的最终阶段模型，忽略了训练轨迹以及将环境上下文与语言形式联系起来的因果内部机制。

研究方法

为了填补这些空白，作者引入了一个受控评估框架，通过机械性和因果性分析来追踪符号接地的涌现过程。

1. 受控测试床与分词

研究构建了极简的测试床，其中每个词汇项都由两个截然不同且不重叠的标记（tokens）表示：

环境标记 ( $\langle ENV \rangle$ )： 出现在非言语场景描述（例如场景描述中的“box”）或视觉输入（图像块）中。
语言标记 ( $\langle LAN \rangle$ )： 出现在口语或书面语表达中（例如对话中的“box”）。
一种自定义的分词器确保这些形式具有独立的词表索引，从而防止通过共享标记身份来轻易解决接地问题。该框架利用了：
儿童导向型言语 (CHILDES)： 使用环境注释（局部事件、动作、情境层）作为 $\langle ENV \rangle$ ，以及话语作为 $\langle LAN \rangle$ 。
图像接地对话 (Visual Dialog)： 使用冻结的 ViT 嵌入 (DINOv2) 作为 $\langle ENV \rangle$ ，以及对话轮次作为 $\langle LAN \rangle$ 。
文本描述接地对话 (Caption-Grounded Dialogue)： 使用图像描述作为 $\langle ENV \rangle$ 的中间设置。

2. 评估协议

接地程度通过惊异度（surprisal）和接地信息增益 ( $G_\theta$ ) 来量化。作者比较了两种情况：

匹配 (Match)： 上下文中包含与目标 $\langle LAN \rangle$ 相对应的 $\langle ENV \rangle$ 标记。
不匹配 (Mismatch)： 上下文中包含一个不同的、无关的 $\langle ENV \rangle$ 标记。
正值的 $G_\theta$ 表示匹配的环境标记显著增加了其语言对应词的可预测性，其程度超过了简单的共现统计所能预测的水平。

3. 模型架构与训练

模型从随机初始化开始，使用标准的因果语言建模目标进行训练。研究评估了：

Transformer 模型： 4 层、12 层和 18 层变体。
状态空间模型 (SSMs)： Mamba-2 (4 层和 12 层)。
LSTM 模型： 4 层单向 LSTM（作为缺乏内容寻址检索能力的序列压缩基准）。
实验通过 5 个随机种子重复进行，以确保稳健性。

4. 机械性分析

为了解释接地是如何发生的，作者采用了：

显著性分析 (Saliency Analysis)： 量化注意力权重对损失的贡献，特别是在 $\langle ENV \rangle$ 到 $\langle LAN \rangle$ 前一个标记的流向追踪。
透镜调优 (Tuned Lens)： 探测中间隐藏状态，以评估跨层级的表示偏移。
因果干预 (Causal Interventions)： 将识别出的“收集”（gather）或“聚合”（aggregate）注意力头置零，以测量其对惊异度的影响。

关键结果

1. 接地的行为涌现

架构依赖性： Transformer 和 Mamba-2 模型一致表现出：当上下文中存在 $\langle ENV \rangle$ 标记时， $\langle LAN \rangle$ 标记的惊异度会降低。相比之下，单向 LSTM 在匹配和不匹配条件下没有表现出显著差异，未能展现出接地能力。
超越共现： 虽然在训练早期，接地增益与标记共现率（ $R^2$ ）之间存在相关性，但随着训练的进行，这种相关性逐渐减弱。即使在 $R^2$ 下降时，接地信息增益仍在持续增加，这表明模型学习的是更丰富的、非统计性的映射，而非仅仅是记忆。
泛化性： 这些趋势在多种模态（纯文本 CHILDES、图像接地对话和描述接地对话）以及多种架构（Transformer 和 SSMs）中均成立。

2. 机械位置：聚合机制

层级集中性： 显著性分析表明，接地关系集中在中间层（特别是 12 层 Transformer 中的第 7–9 层）。即使在训练后期，浅层层级仍然是较差的预测器。
收集与聚合头 (Gather-and-Aggregate Heads)： 研究识别出一种特定机制：
- 收集头 (Gather Heads)： 位于浅层（3–4 层），它们将来自 $\langle ENV \rangle$ 标记的上下文信息压缩为可检索的状态。
- 聚合头 (Aggregate Heads)： 位于中间层（7–8 层），它们将此信息重新分配到 $\langle LAN \rangle$ 形式紧邻的前一个标记，直接支持预测。
因果验证： 将聚合头置零会导致惊异度显著增加（ $p < 0.001$ ），而将收集头或随机控制头置零则几乎没有影响。这证实了聚合头是符号接地的主要机械驱动力。

3. 规模与现实世界模型

在全规模视觉-语言模型（如 LLaVA-1.5-7B）中，也识别出了具有类似聚合行为的注意力头，这强化了以下假设：即使在复杂的预训练系统中，接地也是由专门的头部驱动的。

意义与主张

本文声称提供了首个因果和机械性证据，证明符号接地可以在仅通过下一个标记预测（next-token prediction）目标训练的自回归多模态语言模型中涌现。

从机械角度定义接地： 本研究不仅将接地视为视觉与文本信号之间的统计相关性，还将其重新定义为一个可以通过训练动态进行追踪，并定位在特定注意力机制（聚合头）中的机械属性。
架构边界： 它划定了使接地得以涌现所需的架构条件，指出缺乏内容寻址检索能力的架构（如标准 LSTM）无法发展出这种能力。
实际应用意义： 聚合头的识别为诊断和控制模型可靠性提供了一条潜在路径。由于幻觉通常源于中间层中注意力分配错误，监控这些特定的头部可以作为“错误接地”或过度信任的早期指标，从而为缓解幻觉的解码策略提供参考。

作者得出结论，虽然其极简测试床仅作为受控代理，但研究结果可推广到现实的多模态场景，这表明符号绑定与接地的能力是足够表达能力的自回归架构的一种内在涌现属性。