Are LLM Uncertainty and Correctness Encoded by the Same Features? A Functional Dissociation via Sparse Autoencoders

这篇论文《LLM Uncertainty and Correctness Encoded by the Same Features? A Functional Dissociation via Sparse Autoencoders》（大语言模型的不确定性与正确性是否由相同的特征编码？基于稀疏自编码器的功能解耦研究）深入探讨了大型语言模型（LLM）内部机制中“不确定性”与“正确性”这两个信号的关系。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 核心矛盾：在高风险应用场景中，人们希望模型在不确定时能 abstain（放弃回答），在确定时能给出正确答案。然而，LLM 经常出现“不确定但正确”或“自信但错误”的情况。
• 现有假设的缺陷：传统的置信度评估（Uncertainty Quantification, UQ）通常假设模型输出的不确定性（如熵）与其实际正确性紧密耦合。即，高不确定性通常意味着错误，低不确定性意味着正确。
• 研究问题：这种相关性是源于模型内部由同一组特征编码的单一机制，还是由不同的特征群体分别编码的独立机制？如果它们是不同的，那么现有的基于输出的 UQ 方法可能混淆了两种不同的内部现象，导致干预措施（如降低不确定性）无法有效提升正确性。

2. 方法论 (Methodology)

作者提出了一种基于稀疏自编码器 (Sparse Autoencoders, SAEs) 的框架，将 LLM 的内部表示分解为可解释的稀疏特征，并分析这些特征与不确定性和正确性的关系。

2.1 2x2 象限分析框架

为了独立解耦这两个信号，作者构建了一个 2x2 象限框架，将模型预测分为四类：

1. 自信且正确 (Confident-Correct)
2. 自信但错误 (Confident-Incorrect)
3. 不确定但正确 (Uncertain-Correct)
4. 不确定且错误 (Uncertain-Incorrect)

• 数据划分：使用 MMLU 等多选题数据集。
  • 正确性 (Correctness)：由模型预测答案与真实标签是否匹配定义（二元）。
  • 不确定性 (Confidence)：由答案 Token 分布的香农熵定义。
  • 阈值：使用熵分布的第 25 百分位和第 75 百分位作为阈值，将样本划分为“自信”和“不确定”组，中间 50% 的样本被排除以确保组间分离清晰。

2.2 特征发现 (Feature Discovery)

• 工具：使用预训练的 SAE（Llama Scope 和 Gemma Scope）对 Llama-3.1-8B 和 Gemma-2-9B 的残差流（Residual Stream）进行编码。
• 统计测试：对每个 SAE 特征在四个象限组之间进行 Mann-Whitney U 检验，计算效应量（Cohen's d）。
  • 纯不确定性特征 (Pure Uncertainty)：仅在“不确定 vs 自信”对比中显著（保持正确性不变）。
  • 纯错误特征 (Pure Incorrectness)：仅在“错误 vs 正确”对比中显著（保持置信度不变）。
  • 混淆特征 (Confounded)：在两个对比中均显著，同时编码了不确定性和错误信号。

2.3 功能验证 (Functional Validation)

• 抑制实验 (Suppression)：在推理过程中，将特定特征的激活值置零（Encode-Modify-Decode），观察模型准确率和输出熵的变化。
  • Essential (关键)：抑制后准确率下降。
  • Inert (惰性)：抑制后无显著变化。
  • Detrimental (有害)：抑制后准确率提升。
• 泛化性测试：在 MMLU 上发现的特征，直接应用于 ARC-Challenge 和 RACE 数据集，以及跨模型（Llama vs Gemma）验证。

3. 主要发现与结果 (Key Results)

3.1 三类特征的功能解耦 (Three-way Functional Dissociation)

研究发现了三种具有截然不同功能的特征群体：

1. 纯不确定性特征 (Pure Uncertainty Features)：
   • 功能：至关重要 (Essential)。
   • 结果：抑制这些特征会导致模型准确率严重下降（Llama 在深层抑制单个特征可导致准确率下降约 10%）。
   • 意义：模型需要这些特征来维持正常的推理和输出能力，它们不仅仅是“不确定”的信号，而是计算过程的一部分。
2. 纯错误特征 (Pure Incorrectness Features)：
   • 功能：惰性 (Inert)。
   • 结果：尽管这些特征在错误预测时激活显著更高（统计显著），但抑制它们对准确率和熵几乎没有影响（变化接近 0）。
   • 意义：模型内部确实存在追踪错误的特征，但这些特征并不直接驱动错误输出，抑制它们无法修正模型行为。
3. 混淆特征 (Confounded Features)：
   • 功能：有害 (Detrimental)。
   • 结果：抑制经过筛选的混淆特征子集，能显著提升准确率（Llama 提升 1.1%，Gemma 提升 0.2%）并大幅降低输出熵（Llama 降低 75%）。
   • 意义：这些特征同时编码了不确定性和错误信号，它们的存在实际上损害了输出质量。

3.2 预测性解耦 (Predictive Dissociation)

• 正确性预测：仅使用3 个来自单一中间层（第 18 层）的混淆特征，就能训练出一个分类器来预测模型是否正确，AUROC 达到 0.79，接近使用完整前向传播计算输出熵的基线 (0.805)。
• 选择性放弃 (Selective Abstention)：利用这 3 个特征构建的放弃机制，在覆盖 53% 的问题时，将准确率从 62% 提升至 81%，远优于模型自身的“自我放弃”机制。

3.3 泛化性

• 跨数据集：在 MMLU 上筛选出的混淆特征，直接应用于 ARC-Challenge 和 RACE 数据集，无需重新选择，均能带来准确率提升和熵降低。
• 跨模型：在 Llama-3.1-8B 和 Gemma-2-9B 上均复现了上述“三类功能解耦”的现象，表明这可能是一个通用的组织原则。

4. 主要贡献 (Contributions)

1. 2x2 象限框架：首次在 SAE 特征层面将不确定性与错误性解耦，打破了传统 UQ 评估中将两者混为一谈的局限。
2. 功能解耦发现：揭示了纯不确定性特征（关键）、纯错误特征（惰性）和混淆特征（有害）的三种不同功能角色。
3. 可操作的干预：证明了通过抑制特定的“混淆特征”，可以在不重新训练模型的情况下，显著提升推理时的准确率和置信度校准。
4. 高效预测：展示了极少量的内部特征（3 个）即可高效预测模型的正确性，为推理时的决策机制提供了新路径。

5. 意义与影响 (Significance)

• 理论层面：挑战了“不确定性即正确性代理”的传统假设。研究表明，LLM 内部存在独立的机制来处理“我不确定”和“我错了”，且它们并不总是耦合的。
• 可解释性：利用 SAE 将黑盒模型分解为功能明确的特征，为理解 LLM 内部计算提供了更精细的视角。
• 实际应用：
  • 推理时干预：提供了一种无需微调即可提升模型可靠性的方法（抑制有害的混淆特征）。
  • 安全与对齐：通过内部特征进行“选择性放弃”比依赖模型输出的置信度更可靠，有助于构建更安全的 AI 系统。
  • 评估范式：指出当前的 UQ 评估指标（如 AUROC）可能掩盖了内部机制的复杂性，未来的评估应关注特征层面的解耦。

6. 局限性与未来工作

• 任务依赖性：目前仅在多选题（MCQ）任务上验证，特征在开放生成或思维链（CoT）任务中的表现尚需研究。
• 规模扩展：仅在 8B-9B 参数量的模型上验证，更大规模模型（70B+）是否保持此规律有待验证。
• SAE 依赖性：结果依赖于特定的 SAE 架构和训练设置，不同 SAE 配置可能产生不同的特征群体。

总结：该论文通过稀疏自编码器技术，有力地证明了 LLM 的“不确定性”和“正确性”是由不同的内部特征群体编码的。这一发现不仅解释了为何模型会“自信地犯错”，还提出了一种通过抑制特定“混淆特征”来直接提升模型输出质量和可靠性的新范式。