🤖 machine learning

Feature Rivalry in Sparse Autoencoder Representations: A Mechanistic Study of Uncertainty-Driven Feature Competition in LLMs

本文提出“特征竞争”作为在 Gemma-2-2B 中表征模型不确定性的机制性特征，即负相关的稀疏自编码器特征对，并证明高熵提示会在特定层触发更强烈的竞争，沿竞争轴进行干预会因果性地影响输出，且竞争分数能够预测答案的正确性。

原作者： Harshavardhan

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Harshavardhan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，像Gemma-2这样的大型语言模型（LLM）是一座庞大而繁忙的城市，数百万名微小的工人（神经元）不断互相传递纸条以回答问题。通常，这些工人被组织成专门的团队。但有时，当模型不确定答案时，两个不同的团队会同时出现，互相大声喊叫，试图掌控对话。

这篇论文将这种混乱称为**“特征竞争”**。

以下是研究人员发现内容的简要分解，使用了日常类比：

1. 核心思想：大脑中的“辩论”

研究人员使用了一种名为**稀疏自编码器（SAE）**的特殊工具。可以将这个工具想象成一副高科技眼镜，它让我们能够看到模型正在思考的单个“概念”，而不仅仅是看到最终答案。

当模型自信时： 就像合唱团完美和谐地歌唱。一个清晰的旋律（一个主导概念）从其余部分中脱颖而出。
当模型不确定时： 就像市政厅里激烈的辩论。两个对立的想法（竞争特征）开始互相喊叫，试图压制对方。研究发现，当模型不确定时，这些“竞争”概念会呈现强烈的负相关——它们积极斗争以互相抵消。

2. 实验一：战斗发生在哪里？

研究人员向模型提出了 400 个问题。他们将问题分为两组：

简单问题： 模型能立即知道答案（低熵）。
困难/模糊问题： 模型感到困惑，每次给出的答案都不同（高熵）。

发现：
他们发现概念之间的“战斗”并非发生在所有地方。它集中在模型大脑的两个特定“房间”（层）中：

房间 0（入口）： 战斗在问题进入系统时立即开始。甚至在模型开始处理逻辑之前，不确定性就已经在概念之间引发了拔河。
房间 12（中间）： 战斗在处理链的中间再次爆发，此时模型正试图拼凑意义。

类比： 想象一场接力赛。如果跑步者不确定路线，他们会在起跑线（第 0 层）绊倒，并在赛道中间的接力棒交接前（第 12 层）再次绊倒。如果他们确定，就会平稳奔跑。

3. 实验二：我们能倾斜天平吗？

研究人员想知道这种战斗是否真的导致模型改变其答案，或者它仅仅是一个副作用。

他们使用了一种称为激活导向的技术。想象模型的大脑是一艘船，而“竞争”是一股强大的洋流，将其推向左侧或右侧。研究人员抓住舵，朝着竞争的方向（即两个概念正在斗争的方向）推动它。

发现：

当他们在竞争方向上轻轻推一把时，模型改变答案的频率高于他们在随机方向上推一把的情况。
类比： 这就像跷跷板上两个孩子争夺顶端位置。如果你轻轻将跷跷板推向“斗争”的一侧，你就能打破平衡，让模型选择另一个孩子的想法。这证明了竞争不仅仅是噪音；它是一种真实的、塑造输出的活跃力量。

4. 实验三：我们能预测错误吗？

最后，他们问道：“我们能否通过观察这种内部斗争来猜测模型是否即将答错？”

他们为每个问题创建了一个**“竞争分数”**。

高分： 概念之间有很多斗争。
低分： 概念平静且一致。

发现：

竞争分数在预测错误方面相当有效（准确率约为 69%）。
它不如模型自身的“信心计”（准确率约为 81%）那么准确，但它拥有一个独特的超能力：它不需要看到最终答案就能知道模型不确定。
类比： 模型的信心计就像在雨下完后查看天气预报。而竞争分数则像是在雨开始落下前观察聚集的乌云。它基于内部风暴而非结果提供早期预警。

总结

这篇论文表明，当人工智能感到困惑时，其内部的“工人”开始互相争斗。这种争斗：

发生在人工智能思维过程的特定阶段。
如果你朝正确的方向推动它，实际上会改变人工智能所说的话。
可以用作“烟雾探测器”，告诉我们人工智能不确定，甚至在我们得到错误答案之前。

研究人员强调，这是一种理解模型如何思考的方法，而不仅仅是它思考什么，为人工智能不确定性的“黑盒”提供了一扇新的窗口。

技术摘要：稀疏自编码器表示中的特征竞争

问题陈述

尽管稀疏自编码器（SAE）已成为将大型语言模型（LLM）表示分解为可解释的、单义特征的标准工具，但支配这些特征在不确定性条件下如何相互作用的机制仍知之甚少。具体而言，目前尚不清楚多个同时激活的特征之间的竞争是否构成了模型不确定性的机制性特征。本文研究了特征竞争（Feature Rivalry）——定义为在给定层中存在强负相关的 SAE 特征对——作为模型处理中歧义性的潜在指标。

方法论

本研究利用 Gemma-2-2B 和 Gemma Scope SAE（宽度 16k），覆盖 13 个层（0–24，步长 2）。实验设计依赖于 PopQA 数据集，采用域内熵分割（within-domain entropy split）以将模型不确定性与数据集层面的混淆因素隔离开来。

数据准备：作者在温度 1.0 下对每个问题采样 20 次完成结果，以计算归一化香农熵（ $H(q)$ ）。问题被分为两种条件：
- 歧义（高熵）： $H(q) > 0.7$ （200 个问题）。
- 无歧义（低熵）： $H(q) < 0.5$ （200 个问题）。
- 该设计确保领域、格式和答案类型保持不变，将观察到的差异归因于模型不确定性。
实验 1：竞争定位：
- 指标：“竞争分数”定义为特定层中所有提示下特征激活的成对皮尔逊相关系数的第 5 百分位数。负值越大表示竞争越强。
- 分析：使用 Mann-Whitney U 检验比较了歧义和无歧义条件下各层之间的竞争分布。
实验 2：因果干预（激活导向）：
- 设置：识别出前 20 对竞争特征。通过减去两个竞争特征的解码器向量（ $W_{dec}[A] - W_{dec}[B]$ ）构建“竞争轴”向量（ $v_{rivalry}$ ）。
- 干预：在第 10 层生成期间，将该向量添加到最后一个 token 的隐藏状态中。
- 比较：将竞争轴导向的“翻转率”（输出发生变化的比例）与随机方向基线在导向倍数 5、10 和 20 下进行比较。
实验 3：预测效用：
- 指标：在第 10 层计算每个提示的竞争分数，使用前 50 个活跃特征的解码器向量之间余弦相似度的第 5 百分位数。
- 评估：测试该分数作为答案正确性（二元：输出中是否存在真实答案）的预测因子，并使用 AUROC 与softmax 置信度（最高 token 的概率）进行比较。

主要结果

1. 不确定性的定位

与无歧义问题相比，歧义问题的特征竞争显著更强，但这种效应在网络中并非均匀分布。

第 0 层：差异高度显著（ $p = 5.3 \times 10^{-26}$ ），表明不确定性在初始编码后立即表现为特征竞争。
第 12 层：出现第二个显著峰值（ $p = 5.8 \times 10^{-5}$ ），对应于中级语义整合。
经过 Bonferroni 校正后，其他层未显示显著差异。

2. 因果影响

沿竞争轴进行的激活导向对模型输出产生了可测量的因果效应。

在低导向倍数（5）下，竞争轴导向在20 对竞争特征中的 15 对（75%）中产生了比随机导向更高的输出翻转率。
平均翻转率差距为 +0.06（竞争：0.20 vs. 随机：0.14）。
在较高倍数（10 和 20）下，效应减弱，因为扰动变得过大且不加区分。

3. 预测性能

每个提示的竞争分数作为一个有效但不完美的不确定性信号。

正确性预测的 AUROC：竞争分数达到 0.689，显著优于随机猜测（0.500），但不及 softmax 置信度（0.808）。
校准：两种信号均显示出单调趋势，即分数越高，准确率越高。
独特价值：与 softmax 置信度不同，竞争分数完全源自内部表示，无需输出采样或访问真实答案。

意义与主张

本文提出，特征竞争是一种具有机制基础的不确定性信号，提供了三个主要贡献：

机制定位：它确定了残差流中的特定阶段（早期编码和中级语义整合），在这些阶段中，不确定性表现为概念表示之间的竞争，而不是模型的单一属性。
因果验证：它提供了因果证据，证明竞争特征之间的竞争位于模型输出的上游；沿竞争方向进行导向直接影响生成，证实了这些特征在推理过程中确实相互竞争。
可解释的不确定性信号：它表明内部特征竞争可以在不依赖输出分布的情况下预测答案正确性。虽然其准确性不如 softmax 置信度，但它提供了可解释性（识别哪些概念在竞争）以及在单次传递场景中的可计算性。

作者强调，他们的域内熵分割是相对于跨数据集比较的方法论改进，确保竞争差异可归因于模型不确定性，而非数据集伪影。他们得出结论，虽然竞争在短问答的原始预测能力上未超越 softmax 置信度，但它提供了一个独特的、可解释的窗口，用于观察不确定性的内部动态。