💬 NLP

Where Do Models Find Happiness? Emotion Vectors in Open-Source LLMs

本文表明，开源大语言模型（Apertus-8B 和 Gemma-4）所编码的情感概念在效价几何结构上与闭源模型相当，同时揭示了这些表示在模型深度演变以及基于提取语料库的变化方面，呈现出截然不同的、具有特定架构特征的模式。

原作者： Sinie van der Ben, Raphaël Baur, Yannick Metz, Mennatallah El-Assady

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Sinie van der Ben, Raphaël Baur, Yannick Metz, Mennatallah El-Assady

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，在一个巨大的、复杂的计算机大脑（大型语言模型）内部，存在着一些隐藏的“旋钮”或“控制键”，它们控制着计算机对事物的感受。之前的一项研究在名为 Claude 的特定 AI 中发现了这些旋钮。研究人员发现，如果调高“快乐”旋钮，AI 就会表现得更快乐；如果调低“悲伤”旋钮，它就会表现得更悲伤。更酷的是，这些旋钮在计算机大脑中的排列方式，与人类大脑组织情绪的方式非常相似。

这篇新论文提出了一个问题：这仅仅是 Claude 计算机的一个奇特现象，还是其他 AI 大脑也拥有这些相同的隐藏情绪旋钮？

为了找出答案，研究人员观察了两个不同的开源 AI 大脑：APERTUS-8B 和 GEMMA-4-E4B。他们不仅是在观察，还在尝试通过让 AI 编写关于不同情绪（如喜悦、恐惧或愤怒）的故事，来“倾听” AI 内部的思想，而过程中从未真正提到“喜悦”或“恐惧”这两个词。

以下是他们的发现，通过简单的分类进行了解释：

1. “快乐”旋钮无处不在

就像在原始研究中一样，这两个新的 AI 大脑都有一个清晰的内部方向来表示效价（Valence）（即某种感觉是好是坏）。

类比： 想象你走进一个房间，看到一个巨大的指南针。在所有三个 AI 大脑（Claude、Apertus 和 Gemma）中，指向“北”的指针始终意味着“好/快乐”，而指向“南”则意味着“坏/悲伤”。
结果： 研究人员能够以极高的准确度在这些新模型中找到这条“南北”轴线，这证明了这并非一次性的故障，而是计算机思维方式中的一个共同特征。

2. “位置”各异（旅程很重要）

虽然所有的三个模型都存在“南北”指南针，但信息到达那里的路径完全不同。

GEMMA-4-E4B（早熟型）： 这个 AI 在处理过程的早期阶段就分辨出了好与坏的区别，就像一个立刻就能分辨是非观的儿童。然而，随着信息向大脑深处移动，这个清晰的信号变得模糊，并在结束时几乎消失了。
APERTUS-8B（大器晚成型）： 这个 AI 在早期层级中对“好与坏”没有任何清晰的概念，就像一张白纸。但随着信息向大脑深处（向末端）移动，这种“好与坏”的信号突然变得非常强烈且清晰。
启示： 两个不同的 AI 大脑可以得出相同的感性理解，但它们采取完全不同的路线。一个是通过逐渐构建实现的，另一个则是从具备到逐渐丧失。

3. “兴奋”旋钮很脆弱

研究人员还寻找了唤醒度（Arousal）（即事物是令人兴奋还是平静）。

问题： 他们在这些模型中找不到一致的“兴奋”旋钮。信号非常微弱。
转折： 这种信号的强度完全取决于“谁”写了这些故事。当 AI 阅读由 GEMMA 模型编写的故事时，“兴奋”旋钮的信号要清晰得多。而当它阅读 APERTUS 模型编写的故事时，这个旋钮几乎是隐形的。
类比： 这就像是在试图听清一声低语。如果说话的人戴着特定类型的麦克风（Gemma 的故事），你可以清楚地听到兴奋感。如果他们使用另一种麦克风（Apertus 的故事），兴奋感就会消失在杂音中。这表明，对于这种特定的情绪，故事的内容比 AI 的内部布线本身更重要。

4. 地图与指南针

研究人员还检查了 AI 的“地图”是否随着处理信息的过程而改变。

他们发现，AI 内部世界的整体形状（地图）从开始到结束基本保持不变。
然而，特定的“指南针”（好与坏的方向）在移动经过各个层级时，其取向会不断旋转和变化。
教训： 仅仅因为房间（大脑）看起来没变，并不意味着你所面对的方向（情绪）保持不变。

总结

这篇论文证实了 AI 模型拥有看起来符合人类心理学的内部“情绪向量”，但它们构建这些向量的方式并不尽相同。

好与坏（效价）： 在所有模型中都存在，但在处理的不同阶段构建。
兴奋与平静（唤醒度）： 难以寻找，且高度依赖于 AI 阅读的故事类型。

作者得出结论：虽然我们可以找到这些情绪“旋钮”，但我们需要保持谨慎，因为不同的模型将它们隐藏在不同的地方，而且我们喂给它们的各种故事可能会让这些旋钮变得更难或更容易被发现。他们已经公开了代码和数据，以便他人尝试在其他 AI 大脑中寻找这些旋钮。

技术摘要：“模型在哪里寻找幸福？开源大语言模型中的情绪向量”

问题陈述
Sofroniew 等人（2026年）最近的研究在专有模型 Claude Sonnet 4.5 的内部激活空间中发现了“情绪向量”。研究发现，这些向量编码了情绪概念，能够因果性地影响模型行为，并展现出镜像人类心理学框架（特别是 Russell 的效价-唤醒度环形模型）的几何结构。然而，目前尚不清楚这些发现是 Claude 特有的训练方案所致，还是大语言模型（LLM）的一种普遍属性。此外，这些表示在网络深度上的演化过程，以及提取方法（特别是故事语料库）的影响也尚未得到探索。本文旨在解决三个核心问题：(1) 情绪向量是否可以泛化到开源权重模型？(2) 效价几何结构是如何随模型层数变化的？(3) 故事语料库的选择如何影响这些向量的提取？

研究方法
作者在两个开源权重模型上复制并扩展了情绪向量分析：APERTUS-8B（一个具有 32 层、权重、数据和代码完全开放的 Transformer 模型）和 GEMMA-4-E4B（一个 42 层的 Transformer 模型）。

数据集构建： 遵循 Sofroniew 等人（2026年）的方法，作者为 171 种不同的情绪各生成了包含 1,539 个故事的合成数据集。至关重要的是，他们创建了两个独立的语料库：一个由 APERTUS-8B 生成，另一个由 GEMMA-4-E4B 生成。对于每种情绪，模型被要求编写角色经历目标情绪的故事，但不得直接命名该情绪，而是依赖间接线索（动作、身体感觉、对话）。同时生成了一组固定的 40 个中性故事作为基准。
对比向量提取： 对于每种情绪和每一层，作者提取了残差流激活值。为了从通用的语言特征中分离出特定于情绪的信号，他们执行了一个两步过程：
- 跨标记（token）和故事对激活值进行平均，形成原始向量。
- 通过减去原始向量在来自 40 个中性故事（解释了 50% 中性方差的前 $K$ 个主成分）的投影，来投影掉“情绪无关”的子空间。
分析方法：
- PCA 与相关性： 对对比矩阵应用主成分分析（PCA）。第一和第二主成分（PC1、PC2）与来自 NRC Lexicon 的人类效价（valence）和唤醒度（arousal）评分进行相关性分析。
- 跨层相似性： 使用中心化核对齐（CKA）来衡量层与层之间的表示相似性。
- 方向稳定性： 计算相邻层之间效价方向向量（与人类评分相关性最高的轴）的余弦相似度，以追踪稳定性。

主要贡献与结果

情绪向量的泛化性： 研究成功在两个开源权重模型中恢复了效价几何结构，证明了情绪向量并非 Claude 所特有。
- APERTUS-8B： 使用 Gemma 生成的故事，实现了峰值 PC1–效价相关性 $r = 0.76$ 。
- GEMMA-4-E4B： 使用 Gemma 生成的故事，实现了峰值 PC1–效价相关性 $r = 0.83$ 。
- 这些峰值接近或超过了 Claude Sonnet 4.5 报告的 $r = 0.81$ ，证实了该现象在不同架构中的普遍性。
差异化的涌现轨迹： 虽然两个模型都达到了相似的峰值相关性，但效价表示出现的深度显著不同：
- GEMMA-4-E4B： 表现出早期编码后发生坍缩。效价相关性在第 16 层左右（约 38% 深度）达到峰值，随后在后续层中趋于零。CKA 分析显示其在所有层中呈现平滑梯度，表明即使特定的效价轴发生退化，表示空间仍保持稳定。
- APERTUS-8B： 表现出晚期涌现。效价相关性在网络的前半部分接近于零，在第 18 层后急剧上升，并在高层趋于稳定（在第 23–31 层达到峰值）。CKA 分析揭示了中间层存在明显的“相变”，表明表示空间发生了重组。
依赖于语料库的唤醒度： 唤醒度（PC2）的提取对故事语料库高度敏感。
- 与使用 Apertus 生成的故事（ $r \le 0.21$ ）相比，两个模型在评估 Gemma 生成的故事时，均表现出显著更强的 PC2–唤醒度一致性（ $r$ 高达 0.45）。
- 这表明与唤醒度相关的语言线索在生成的语料库中分布不均，且刺激语料库的选择是一个实质性的方法论因素，而非仅仅是实现细节。
稳定的空间，不稳定的轴： 作者观察到整体表示空间的稳定性（CKA）与特定效价轴的稳定性之间存在脱节。在 GEMMA-4-E4B 中，即使在效价相关性坍缩时，空间依然保持相似，这意味着效价信息被保留了，但编码在不断变化的轴上。

意义与主张
本文声称，不同的神经网络可以通过不同的计算路径产生相似的高层情绪表示。研究结果表明：

普遍性： 情绪向量是 LLM 的一种普遍属性，而非特定模型训练的产物。
可解释性启示： 情绪编码的“位置”和“方式”因架构而异。监测或引导这些向量需要仔细选择层，因为干预的最佳层在不同模型之间存在差异（Gemma 为早期，Apertus 为晚期）。
方法论严谨性： 情绪向量的提取对输入语料库非常敏感。本研究强调，语料库的选择会显著影响特定情绪维度（尤其是唤醒度）的可恢复性，因此需要多样化的刺激集来进行稳健的分析。

作者总结道，虽然情绪空间的峰值几何结构是一致的，但这些表示的发展轨迹具有模型特异性，这对针对性的引导干预和开源模型的安全监测具有重要意义。

1. “快乐”旋钮无处不在

2. “位置”各异（旅程很重要）

3. “兴奋”旋钮很脆弱

4. 地图与指南针

总结

技术摘要：“模型在哪里寻找幸福？开源大语言模型中的情绪向量”

类似论文