💬 NLP

Semantic Structure of Feature Space in Large Language Models

本文表明，大语言模型中语义特征的几何结构紧密映射人类的心理关联，揭示出特征向量、其轴间关系及调控效应与人类语义评分及相关性相一致。

原作者： Austin C. Kozlowski, Andrei Boutyline

发布于 2026-05-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Austin C. Kozlowski, Andrei Boutyline

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，大型语言模型（LLM）并非一本巨大的百科全书，而是一个充满无形丝线的巨大多维房间。近年来，科学家发现，如果你拉动其中一根丝线，就能改变人工智能的行为方式。例如，拉动“真实”丝线可能会让 AI 变得更诚实，而拉动“礼貌”丝线则可能让它变得更礼貌。

这篇题为《大型语言模型特征空间中的语义结构》的论文，提出了一个简单却深刻的问题：这些丝线是相互独立的，还是纠缠在一起的？

以下是他们研究发现的日常类比解读：

1. 丝线是纠缠的，而非分离的

想象你有一个房间，里面充满了 32 根不同颜色的丝线，每一根代表一个不同的概念，比如“好与坏”、“软与硬”或“快与慢”。

旧观念：科学家曾认为这些丝线就像钢琴上的琴键。如果你按下"C"键（好），它不会意外地触碰到"D"键（坏）。它们是分离且独立的。
新发现：作者发现，在 AI 的“大脑”中，这些丝线实际上是打结在一起的。如果你拉动“好”这根丝线，它自然会牵动“美”这根丝线，因为它们被系得很近。

2. AI 的地图与人类思维相吻合

研究人员想知道，AI 内部的这些“结”是否与人类的思维方式相似。

实验：他们选取了 360 个常见词汇（如“钢琴”、“军队”或“云”），并提出了两个问题：
1. 人类：“在 1 到 10 的尺度上，‘钢琴’有多‘软’？”
2. AI：他们查看 AI 内部的数学计算，以观察单词“钢琴”与“软”这根丝线的接近程度。
结果：AI 的内部地图是人类心理学的镜像。当人类认为“软”和“美”是相关联的，AI 内部代表“软”和“美”的丝线也被紧紧系在一起。AI 并非仅仅在猜测；其几何结构模仿了人类的联想。

3. “三维”秘密

心理学家几十年来一直知道，当人类描述世界时，我们主要使用三个主要维度：

评价（好与坏）
力量（强与弱）
活动（快与慢）

研究人员发现，AI 那 32 根复杂的丝线可以被压缩成仅仅这三个主要方向。这就像意识到，尽管你有一个 32 键的遥控器，但你实际上只需要三个按钮来控制电视、音量和频道。AI 的“大脑”将其所有复杂概念组织成了人类所使用的这种简单的三维结构。

4. “溢出”效应（多米诺骨牌）

这是该研究最实用的部分。研究人员试图“引导”AI。

设置：他们试图通过拉动“美”这根丝线，来促使 AI 认为某个词是“美”的。
意外：由于丝线是打结的，拉动“美”这根丝线不仅让该词显得“美”，还意外地让该词显得“软”和“善良”。
规则：“溢出”的程度（即它牵动其他丝线的程度）与这些丝线在 AI 几何结构中的接近程度完全成正比。如果两个概念在 AI 的思维中是紧密的邻居，改变其中一个几乎总是会导致另一个也发生改变。

核心结论

该论文得出结论：我们不应将 AI 的特征视为可以逐个拨动的孤立开关。相反，我们应该将它们视为关系网。

如果你想了解 AI 对“善”的看法，你不能孤立地只看“善”这根丝线。你必须观察它被系在其中的整张丝线网。AI 的内部几何结构并非随机；它是一个结构化的、类人的地图，其中的概念通过其自然关系相互连接，就像在我们自己的头脑中一样。

以下是 Kozlowski 和 Boutyline 所著论文《大型语言模型中特征空间的语义结构》的详细技术总结。

1. 问题陈述

尽管近期研究已证实大型语言模型（LLM）中的特定语义特征（例如欺骗、拒绝、阿谀奉承）被编码为隐藏状态中的线性方向，但主流方法将这些特征视为孤立存在。这种观点假设特征是正交的（独立的）。然而，心理学研究（特别是“语义差异”传统）表明，人类的语义关联高度相互关联，并可被简化为低维子空间（例如：评价、力量、活动）。

本文解决了一个关键差距：LLM 中语义特征之间的几何关系是否反映了人类的心理关联？ 具体而言，它调查了 LLM 特征空间是由独立轴组成，还是表现出有意义的非正交性（纠缠），从而反映了人类文化和认知结构。

2. 方法论

该研究采用多步骤方法论，结合调查数据、激活分析和干预实验，涵盖 Llama 3 模型（3B 和 70B）及 Qwen3 模型。

A. 数据构建

人类基线： 对 1,750 名受访者的调查，让他们在 32 个语义量表（例如：美丽 - 丑陋、柔软 - 坚硬）上对 360 个单词进行评分。该数据集作为人类语义关联的基准真值。
LLM 特征向量（单词）： 针对 360 个单词中的每一个，从 LLM 的隐藏状态中提取特征向量。
- 协议： 每个单词使用四个提示（例如，“告诉我关于{单词}的事”、“定义{单词}"）。
- 提取： 从特定层收集激活值（3B 模型为第 8 层，70B 模型为第 40 层），并在 token 和提示之间取平均值，为每个单词创建一个稳健的单一向量。
LLM 语义轴： 使用对比对设计构建 32 个语义轴。
- 对于每个量表（例如：好 - 坏），选择 10 对反义词。
- 生成每个反义词的特征向量，轴向量计算为正负反义词向量之间的平均差：
  $\vec{f}_{axis} = \frac{1}{10} \sum_{j=1}^{10} (\vec{v}_{pos_j} - \vec{v}_{neg_j})$

B. 分析技术

投影相关性： 将单词特征向量投影到语义轴上，并将这些投影与人类调查评分进行相关性分析。
几何对齐： 计算语义轴彼此之间的余弦相似度，以测试轴是否非正交。然后将这些几何相似度与人类调查数据中发现的成对相关性进行关联。
降维： 对调查数据和 LLM 语义轴均应用主成分分析（PCA），以确定两个空间中的方差是否被低维子空间（特别是前三个分量）所捕获。使用**典型相关分析（CCA）**来对齐 LLM 和人类数据的子空间。
导向干预： 为了测试实际影响，作者进行了“导向”干预。
- 机制： 在提示模型对单词进行评分的前向传递过程中，将缩放的语义轴向量（ $\alpha \hat{f}$ ）添加到残差流中。
- 测量： 测量模型在非目标量表上选择特定反义词的概率变化（溢出效应）。
- 假设： 如果轴在几何上是对齐的，那么沿一个轴进行导向应在其他轴上引起可预测的溢出效应，其幅度与它们的余弦相似度成正比。

3. 主要贡献

人类类几何结构的验证： 证明了 LLM 特征空间的几何结构并非随机或纯粹正交，而是紧密反映了人类心理语义关联。
特征的非正交性： 证明了 LLM 中的语义轴具有有意义的非正交性。模型中两个轴之间的余弦相似度可以预测这些量表在人类调查中的相关性。
低维子空间： 表明 LLM 语义特征中的大部分方差（如同人类数据中一样）位于低维子空间内（约 3 个维度），重现了经典心理学中发现的“评价 - 力量 - 活动”结构。
预测性导向溢出： 建立了几何对齐与模型行为之间的因果联系。沿一个语义轴导向模型会在其他轴上引发可预测的“溢出”效应，其幅度由轴之间的余弦相似度决定。

4. 关键结果

投影相关性： 单词向量在 LLM 语义轴上的投影与人类对这些单词的评分之间存在强正相关（ $r > 0.3$ 至 $r > 0.8$ ）。这对小模型（3B）和大模型（70B）均成立。
轴相关性： LLM 语义轴之间的余弦相似度高度可预测这些量表在人类调查中的相关性（ $r \approx 0.8$ ）。这证实了模型的内部几何结构编码了人类文化关联。
PCA 对齐：
- 人类调查数据有效地简化为 3 个维度。
- LLM 语义轴也显示，前三个主成分解释了大部分方差（3B 模型 >45%，70B 模型 >33%）。
- CCA 揭示了 LLM 的 3D 子空间与人类调查子空间之间的高相关性，表明模型在结构上以与人类相似的方式“思考”这些概念。
导向溢出：
- 将单词导向特定属性（例如：美丽）会导致模型在几何相似的属性（例如：柔软）上对该单词的评分更高。
- 两个轴的余弦相似度与溢出效应的幅度之间存在强线性关系（ $r \approx 0.65 - 0.68$ ）。
- 注意： 70B 模型显示的溢出幅度小于 3B 模型，表明大模型对导向更具韧性，但结构关系（几何结构预测溢出）保持一致。

5. 意义与启示

超越孤立： 研究结果挑战了将 LLM 特征视为独立“旋钮”目录的观点。相反，必须通过特征的几何关系及其形成的子空间来理解特征。
AI 安全与控制： 如果安全关键特征（例如：真 - 假、安全 - 危险）位于共享的低维子空间上，由于几何纠缠，控制其中一个可能会无意中影响其他特征。这使“特征导向”复杂化，但也提供了一种通过理解这些关系结构来审计模型的方法。
表征工程： 该研究验证了用于静态词嵌入的技术（如分析角度和文化维度）同样适用于深层 LLM 表征，且富有成效。
认知对齐： 结果表明，尽管 LLM 是在原始文本上训练的，但它们发展出的内部表征在结构上与人类对世界的认知模型相一致，这加强了 LLM 捕捉人类语义结构的观点。

总之，该论文论证了特征空间的几何结构具有人类意义。理解特征之间的角度及其定义的子空间，对于解释、审计和控制大型语言模型至关重要。