💬 NLP

Do Language Models Encode Semantic Relations? Probing and Sparse Feature Analysis

本文通过结合线性探针与稀疏自编码器等机制可解释性技术，研究了不同规模大语言模型中同义、反义及上下位关系的编码机制，揭示了层级关系在表征上的方向性不对称、信号在中间层及前馈网络中的稳定性，以及模型容量对探针因果干预效果的决定性影响。

原作者： Andor Diera, Ansgar Scherp

发布于 2026-03-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Andor Diera, Ansgar Scherp

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是一次对大型语言模型（LLM）大脑内部的“深度体检”。研究人员想知道：这些 AI 到底是不是真的“理解”了词语之间的关系（比如“猫”和“狗”是同类，“猫”和“老鼠”是死对头，或者“狗”属于“动物”这个大类），还是只是死记硬背了它们经常一起出现的规律？

为了搞清楚这一点，他们给三个不同大小的模型（从小型的 Pythia 到中型的 GPT-2，再到大型的 Llama 3.1）做了一系列测试。

我们可以把这篇论文的研究过程想象成**“在一家巨大的图书馆里寻找特定的书籍分类逻辑”**。

1. 核心任务：寻找四种“关系”

研究人员关注四种常见的词语关系，就像在图书馆里找书：

同义词 (Synonym)：比如“快乐”和“高兴”。（意思一样）
反义词 (Antonym)：比如“快乐”和“悲伤”。（意思相反）
上位词 (Hypernym)：比如“狗”是“动物”的一种。（从具体到一般，像“狗”属于“动物”这个大类）
下位词 (Hyponym)：比如“比格犬”是“狗”的一种。（从一般到具体，像“比格犬”属于“狗”这个子类）

2. 研究方法：两种“透视眼”

为了看穿模型内部，他们用了两招：

第一招：线性探针（Linear Probing）—— 像是“快速扫描仪”
想象你在图书馆的每一层楼（模型的每一层神经网络）都放了一个扫描仪，看看能不能直接读出“这两个词是什么关系”。
- 发现：模型确实能读出这些关系，而且模型越大，读得越准。
- 有趣的现象：
  - 反义词最容易读：就像“黑”和“白”在扫描仪下一眼就能分清。
  - 同义词最难读：因为“快乐”和“高兴”太像了，扫描仪有时候会晕。
  - 位置不固定：这些关系信息不是集中在某一层，而是像雾气一样弥漫在中间几层，没有固定的“关系层”。
第二招：稀疏自动编码器与激活修补（SAE & Activation Patching）—— 像是“精准的手术刀”
如果扫描仪只是告诉我们“这里有信息”，那手术刀就是用来验证这些信息是不是真的关键。
- 操作：研究人员找到模型里负责处理某种关系的“特定神经元”（就像找到了图书馆里专门管“动物类”书籍的图书管理员），然后：
  1. 切除（Ablation）：把这个管理员关掉，看模型是不是就忘了“狗是动物”这件事。
  2. 注入（Injection）：把“动物”的管理员强行塞进一个原本毫无关系的句子（比如“苹果”和“桌子”）里，看模型会不会突然觉得它们有关系。

3. 惊人的发现：模型大脑里的“不对称性”

这是论文最精彩的部分，就像发现了图书馆里一个奇怪的**“偏科”现象**：

上位词（如：狗 -> 动物）很“皮实”：
如果你想让模型知道“狗是动物”，你只需要很多个图书管理员稍微提一下就行。即使你关掉其中几个，模型依然知道。这说明模型用**“人多力量大”**（冗余编码）的方式来存储这种关系，很难被破坏。
- 比喻：就像“动物”这个概念在模型里被写在了很多本不同的书上，你撕掉几页，书的内容还在。
下位词（如：比格犬 -> 狗）很“脆弱”：
如果你想让模型知道“比格犬是狗”，它依赖于少数几个非常关键的图书管理员。如果你把这几个管理员关掉，模型立刻就会糊涂，分不清比格犬和狗的关系。
- 比喻：这就像“比格犬”这个概念只写在了一本很薄的册子里，你稍微动一下，书就合上了，信息就丢了。
大模型 vs 小模型：
- 小模型（Pythia, GPT-2）：手术刀切下去，反应很微弱。就像在旧图书馆里，图书管理员们还在打瞌睡，你很难通过操作他们来改变书籍分类。
- 大模型（Llama 3.1）：手术刀效果立竿见影。你关掉几个关键管理员，模型立刻“失忆”；你注入几个管理员，模型立刻“觉醒”。这说明大模型里的关系编码更加结构化和可操控。

4. 为什么“反义词”这么难？（分布悖论）

论文还发现了一个反直觉的现象：虽然“快乐”和“悲伤”意思相反，但在模型眼里，它们经常出现在相似的句子里（比如“今天我很...（快乐/悲伤）”）。

比喻：就像“白天”和“黑夜”经常一起被提到（“白天过去了，黑夜来了”），导致它们在数学空间里靠得很近。
结论：模型并不是靠“距离远近”来区分反义词的，而是靠内部特定的激活模式。就像虽然“白天”和“黑夜”在地图上离得近，但图书馆里给它们分配的书架位置其实是完全不同的。

5. 总结：这对我们意味着什么？

这篇论文告诉我们：

AI 确实有“结构化”的理解：它们不仅仅是死记硬背，内部确实有专门处理“上下级”、“相反”等关系的机制。
大模型更可靠：随着模型变大，这些关系变得更清晰、更容易被我们控制和修改。
方向性很重要：模型对“从具体到一般”（上位词）的理解很稳固，但对“从一般到具体”（下位词）的理解很脆弱。这提示我们在训练 AI 时，可能需要特别加强“具体分类”的能力。

一句话总结：
这篇论文就像给 AI 的大脑做了一次精密的“排雷”和“布线图绘制”，发现 AI 确实懂词语关系，但这种理解在大模型里是**“中间层弥漫、上下级不对称、且可被精准操控”**的。这让我们更有信心去引导 AI，让它更聪明、更听话。

这是一份关于论文《Do Language Models Encode Semantic Relations? Probing and Sparse Feature Analysis》（语言模型是否编码了语义关系？探测与稀疏特征分析）的详细技术总结。

1. 研究问题 (Problem)

尽管大型语言模型（LLMs）在自然语言处理任务中表现出色，但我们对它们内部如何结构化地表示概念之间的关系（如语义关系）仍缺乏深入理解。现有的可解释性研究多关注单个概念或事实知识的编码，而较少探讨概念间的语义关系（如同义、反义、上下位关系）。

具体而言，本研究旨在回答以下核心问题：

LLMs 内部是否存在编码特定语义关系的信号？
这些信号在模型的哪些层（深度）和组件（注意力机制、MLP、残差流）中定位？
这些关系信号是否可以通过干预（如激活修补）进行因果操纵？
不同规模的模型（从 70M 到 8B 参数）在编码这些关系时是否存在差异？

2. 方法论 (Methodology)

研究团队结合了**线性探测（Linear Probing）与机械可解释性（Mechanistic Interpretability）**技术，对三种不同规模的模型进行了分析：

模型：Pythia-70M (6 层), GPT-2-124M (12 层), Llama 3.1-8B (32 层)。
数据集：基于 WordNet 构建，包含四种语义关系：同义 (Synonymy)、反义 (Antonymy)、上位 (Hypernymy)、下位 (Hyponymy)，以及随机词对作为控制组。
核心方法：
1. 线性探测 (Linear Probing)：在每一层的注意力输出、MLP 输出和残差流（Post-residual stream）上训练分类器，评估模型内部表示对语义关系的可分性。
2. 稀疏自编码器 (Sparse Autoencoders, SAEs)：利用预训练的 SAE 从模型激活中提取稀疏、解耦的特征，以识别与特定关系相关的“功能单元”。
3. 激活修补 (Activation Patching)：
  - 必要性 (Necessity)：在包含关系的输入中，将识别出的关键 SAE 特征激活值置零（Ablation），观察探测准确率是否下降。
  - 充分性 (Sufficiency)：将关键 SAE 特征注入到无关系的随机输入中，观察是否能诱导出关系信号。
4. 因果度量：定义了“语义 Logit 差”（Semantic Logit Difference, $LD_{sem}$ ）来量化干预效果，并计算翻转率（Flip Rate, $\Delta FR$ ）和下降率（Drop Rate, $DR$）。

3. 主要贡献 (Key Contributions)

系统性的跨尺度比较：首次系统性地比较了从 70M 到 8B 参数量的模型在编码四种核心语义关系上的表现差异。
集成框架：提出了一种结合线性探测与稀疏特征分析（SAE）的框架，用于识别关系特异性激活并评估其因果影响力。
揭示编码分布特性：发现关系信息并非集中在单一“关系层”，而是弥散在中间层，且主要富集在MLP 和残差流中，而非注意力机制。
因果操纵证据：证明了在大规模模型（Llama 3.1）中，通过 SAE 引导的激活修补可以可靠地诱导或消除关系信号，而在小模型中效果较弱或不稳定。
层级关系的不对称性：揭示了上位关系（Hypernymy）和下位关系（Hyponymy）在编码机制上的显著差异（冗余性 vs. 紧凑性）。

4. 关键结果 (Key Results)

4.1 探测结果 (Probing Results)

难度排序：在所有模型中，任务难度一致为：反义 (最易) > 下位 > 上位 > 同义 (最难)。
规模效应：随着模型参数增加（Pythia -> GPT-2 -> Llama），探测准确率显著提升。Llama 3.1 在反义关系上接近天花板，但同义关系仍最难解码。
定位分布：
- 没有单一的“关系层”。信号弥散在中间层（Mid-layers），峰值位置不稳定。
- 组件差异：完整的残差流（Post-residual）包含最强的信号。MLP 组件携带的信号略强于或等同于注意力（Attention）组件，但在小模型中两者差异不大。

4.2 关系特异性分析

反义 vs. 同义：
- 尽管反义和同义词在向量空间中的余弦相似度可能很高（分布悖论），但线性探测表明模型内部存在明确的可分信号。
- 反义关系在小模型中即可被线性分离，而同义关系需要更大规模模型才能稳定解码，表明同义关系的编码更为弥散。
层级关系的不对称性 (Hypernymy vs. Hyponymy)：
- 方向性偏差：模型对“上位”（如 dog -> animal）的编码比对“下位”（如 dog -> beagle）更稳健。
- 顺序反转实验：当输入顺序反转时，下位关系的准确率大幅下降（ $\Delta \approx 0.24-0.29$ ），而上位关系仅轻微下降（ $\Delta \approx 0.07-0.09$ ）。这表明模型倾向于编码“从具体到一般”的方向，而非双向对称关系。

4.3 SAE 与激活修补 (SAE & Activation Patching)

因果有效性：
- Llama 3.1：SAE 引导的修补能产生强且可靠的因果效应（ $\Delta FR \ge 0.66$ ）。
- 小模型 (Pythia/GPT-2)：修补效果微弱或不稳定，表明小模型缺乏足够的容量来形成离散的、可操纵的特征。
机制差异：
- 上位关系 (Hypernymy)：表现出高充分性、低必要性。这意味着它由大量冗余特征编码，移除部分特征不会导致信号崩溃，难以被抑制。
- 下位关系 (Hyponymy)：表现出高充分性、高必要性。它依赖于紧凑的、特定的特征集，一旦这些特征被移除，信号会迅速崩溃。
- 反义关系：表现出最强的行为转变（ $\Delta FR$ 最高），表明其编码特征具有高度的因果影响力。

4.4 上下文鲁棒性

关系信号在表示空间中主要对提示词（Prompt）的变化不敏感（Prompt-invariant）。当改变提示模板时，探测的平均准确率下降，但峰值准确率保持稳定，表明损失主要在于“读出校准”而非特征本身的可用性。

5. 意义与结论 (Significance & Conclusion)

理论意义：
- 推翻了 LLM 仅依赖表面共现统计的观点，证明了模型内部存在结构化的、角色敏感的语义关系编码。
- 揭示了层级关系编码的方向性偏差和冗余性差异，为理解模型如何构建概念层级提供了微观机制解释。
- 证明了模型规模是因果可解释性的关键因素：只有达到一定规模（如 8B），模型才会形成离散的、可被 SAE 提取并因果操纵的特征。
实践意义：
- 为基于关系的任务（如本体构建、文本蕴含、分类检索）提供了干预策略。
- 表明可以通过识别特定的稀疏特征来“ steering"（引导）模型行为，特别是在处理层级关系时，需注意上位关系的鲁棒性和下位关系的脆弱性。
局限性：
- 结论主要基于探测级别（Probe-level）的因果证据，尚未完全扩展到端到端的生成输出。
- 数据集基于 WordNet，可能存在语言和文化偏差。
- 目前仅针对 Decoder-only 架构，未涵盖 MoE 或 Encoder-only 模型。

总结：该论文通过结合探测与机械可解释性技术，深入剖析了 LLM 中语义关系的编码机制。研究发现，语义关系并非均匀分布，而是具有特定的深度分布、组件偏好（MLP/残差流）和因果结构。特别是层级关系的不对称编码（上位冗余、下位紧凑）以及模型规模对因果可操纵性的决定性作用，为未来的模型理解和控制提供了重要依据。