技术摘要：谱反集中与 Transformer 表示的对偶几何

问题陈述

本文研究了大型语言模型（LLM）中概念表示的几何结构，具体检验了关于概念如何在不同语言间编码和传输的两个竞争性假设。

首先，线性表示假设（LRH）认为，高级概念被编码为激活空间中的线性方向。Park 等人 [2024] 通过提出由未嵌入矩阵逆协方差（$\Sigma^{-1}$）定义的因果内积形式化了这一观点，表明因果可分离的概念在该度量下是正交的。这引出了**白化因果对齐（WCA）**的假设：即利用这种因果几何（通过$\Sigma^{-1/2}$进行白化）对齐表示空间，将比标准的欧几里得 Procrustes 对齐实现更优越的跨语言概念传输。

其次，柏拉图式表示假设表明，有能力的模型会收敛于共享的内部表示，这意味着从一种语言中提取的概念方向应可迁移至另一种语言。

作者旨在验证因果内积的特定特征方向是否促进这种跨语言传输。然而，他们的实验揭示了一个更广泛、此前未被表征的现象：谱反集中。他们发现，概念表示系统地避开模型谱的高方差方向，而静态词汇则表现出相反的行为。

方法论

本研究采用严格的多方法途径，涵盖17 个模型，跨越5 种架构家族（Llama、Qwen、Gemma、Mistral 和混合专家 MoE）以及4 对跨语言对。

1. 概念提取（三种独立方法）

为了排除方法学伪影，作者使用三种不同的方法提取概念方向：

• 均值差法：计算反事实词对的池化残差流激活的均值差（减法方法）。
• 稀疏自编码器（SAE）：利用上下文化激活，从预训练的 SAE（Gemma Scope、Llama Scope）中提取差异激活最强的特征（无监督、非减法）。
• 线性探针：在原始、未中心化的上下文化激活上训练 L2 正则化的逻辑回归分类器（有监督）。

2. 谱分析框架

所有概念向量均投影到特定语言未嵌入协方差矩阵$\Sigma_L$的特征基上。作者定义了：

• 谱能量分布：向量能量在特定特征向量中的占比。
• 基尼偏差：衡量集中与反集中的指标。负值表示能量集中在谱尾（低方差方向）。
• 谱质心（SCM）：累积方差达到 50% 能量时的点。

3. 关键实验

• 匹配谱随机化：为了检验因果几何的效用，作者用随机正交矩阵替换$\Sigma$的真实特征向量，同时保留特征值谱。他们比较了真实 WCA与虚假 WCA在跨语言传输中的表现。
• 分裂注入导向：将概念向量分解为“呐喊”（前 10% 特征向量，高方差）和“低语”（后 10% 特征向量，低方差）分量。将这些分量注入 Gemma 和 Llama 模型的不同深度，以测量困惑度下降（作为语法干扰的代理指标）。
• 词性标注探测：训练分类器，基于投影到高方差（top-k）和低方差（bottom-k）子空间的激活，确定句法信息的驻留位置。
• 对偶几何检查：作者将激活空间中的概念向量与静态未嵌入行差异进行比较，以识别相互矛盾的谱行为。

主要结果

1. 因果几何在传输中的失效

匹配谱随机化测试发现，真实 WCA 与虚假 WCA 无法区分（p = 0.95）。因果内积的特定特征方向并未在谱正则化（抑制高方差方向）的影响之外， measurably 改善跨语言传输。

2. 谱反集中

与概念可能对齐高方差方向的预期相反，研究发现稳健的谱反集中：

• 来自所有三种提取方法的激活空间概念向量，一致地将不成比例的能量置于特征谱的低方差尾部。
• 这一现象在 17 个模型和 5 种架构家族中均成立（平均基尼 = -0.282，p < 10⁻³³）。
• 该效应独立于背景谱形状，并且即使通过 SAE 和线性探针方法排除减法伪影后依然存在。

3. 对偶几何

本文识别了词汇空间与推理空间之间的基本对偶性：

• 词汇空间（静态）：未嵌入行中特定于概念的差异集中在高方差方向（正基尼）。这使得概念对比能最大程度地影响 token 预测的对数几率（logits）。
• 推理空间（激活）：残差流中的概念表示在谱尾反集中。
• 随机 token 对差异显示出轻微的反集中，而特定于概念的成对差异在词汇空间中表现出主动集中，证实未嵌入矩阵专门沿其主轴编码了与概念相关的对比。

4. 功能证据

• 干扰不对称性：在 Gemma 和 Llama 上的分裂注入实验表明，将概念向量注入高方差（“呐喊”）方向引起的困惑度下降（语法破坏）显著多于注入低方差（“低语”）方向（Cohen's d 高达 1.80）。
• 句法编码：词性标注探测显示，在 8 种架构中的 6 种中，句法信息优先编码在高方差子空间中。
• Qwen 2.5 异常：Qwen 2.5 系列（3B、7B）反转了这一模式，显示出词性信息在 bottom-k 方面的优势，且无干扰不对称性。这表明句法与语义的谱分离可能依赖于架构。

意义与主张

本文声称揭示了 Transformer 表示中的**“对偶几何”：“概念低语，句法呐喊。”**

• 机制洞察：Transformer 似乎在上下文化处理期间将语义内容旋转到谱安静（低方差）区域。这使得概念能够在减少语法干扰的情况下被操纵，而句法和结构模式则占据高方差“响亮”子空间，从而在残差流噪声中稳健生存。
• 对可解释性的影响：仅关注主成分（例如标准 PCA 可视化）的方法可能会错过位于谱尾的概念级信息。可解释性工具必须关注低方差方向。
• 对导向的影响：研究结果为激活工程提供了实用的改进建议：在注入前将导向向量投影到低方差子空间，可能以较低的流畅度干扰实现概念操纵，从而减轻因破坏句法路由而导致的“失语症”。
• 理论联系：结果为叠加理论提供了一个谱维度。如果高方差方向被频繁的句法模式“占据”，语义概念的有效维度就会减少，迫使网络通过叠加在尾部编码语义特征。

作者对其研究范围保持谦逊，指出他们的概念源自词级反事实，且该现象在编码器 - 解码器架构中或针对高度抽象概念的行为仍是一个未解之谜。他们强调，Qwen 2.5 异常值得进一步调查，以了解特定的训练方案或架构选择如何改变谱分配。