Stable Miscalibration in Large Language Models: A Practical View of High-Confidence Errors

技术摘要：大语言模型中的稳定失校准现象

问题陈述
大语言模型（LLM）中的高置信度错误（幻觉）经常被解释为“脆弱内部推理”的证据——即认为对提示词或上下文进行微小的扰动会导致模型翻转其答案。本文挑战了这一单一观点，提出了**稳定失校准（stable miscalibration）**的概念：即模型产生一个置信度高且错误的答案，且该答案在局部扰动下保持稳定。作者认为，如果高置信度错误是稳定的而非脆弱的，那么仅通过敏感性分析可能无法将其与正确的高置信度答案区分开来，但它们仍会对决策系统构成显著风险。核心问题在于：鉴于完整的内部机制解释往往难以获取，能否通过可测量的置信度响应和微小的内部探测来推断这些错误？

研究方法
本研究采用了一种多维方法，结合了标记审计集、输出级诊断以及跨三个开源权重模型（Llama-3.1-8B、DeepSeek-R1 和 Qwen2.5-7B）的内部敏感性探测。

1. 审计数据集： 使用了一个包含 11 个领域（如医学流行病学、社会统计、历史）共 532 个二元事实项的冻结集合。这些项目在三种不同的策略下进行评估：

   • C0（强制回答）： 模型必须回答“是”或“否”。
   • C1（谨慎弃权）： 如果项目定义不明，模型可以弃权。
   • C2（自我批判弃权）： 模型在决策前进行显式的自我批判检查，可能会弃权。

2. 输出级诊断 ($H_{proxy}$)： 作者引入了一个用于按风险对领域进行排序的标签感知审计得分。该得分结合了两种信号：

   • 置信度变化： 在三种策略下报告置信度（$P(\text{correct})$）的标准差。
   • 过度自信错误（OCW）质量： 一个二元指标，指 C0 基准错误但报告置信度 > 0.8 的情况。
   • 得分定义为 $H_{proxy}(d) = \frac{1}{|D_d|} \sum_{i \in D_d} [\text{Std}_{c \in \{C0,C1,C2\}}(p_{i,c}) + \lambda \cdot \text{OCW}(i)]$。
   • 该指标被明确标注为一种回顾性审计诊断工具，而非用于无标签数据的部署时估计器。

3. 内部敏感性探测： 为了测试“脆弱性”假设，作者在三个开源权重模型的嵌入空间中注入了高斯噪声 ($\sigma=0.01$)。他们测量了跨层最终 Token 隐藏状态 ($S_\ell$) 的移动。该过程针对通过 C0 审计日志被分类为置信正确 (CC) 或 过度自信错误 (OCW) 的项目进行。研究还测试了自我批判提示对这种敏感性的影响。

核心贡献

1. 理论抽象： 本文将“稳定失校准”视为一种有效的确定性假设。通过使用线性高斯闭环抽象，证明了局部稳定性（阻尼扰动）与正确性并不一定一致；一个系统可以收敛到一个系统性错误的稳定状态。
2. 用于干预的审计得分： 作者提出了 $H_{proxy}$ 作为一种实用的工具，用于识别哪些领域通过弃权感知型自我批判（C2）最有可能降低策略感知损失。该得分与干预产生帮助的领域相关，能够区分那些平均表现看似安全但在策略转变下具有风险的领域。
3. 内部与输出的差异： 研究提供了经验证据，表明虽然自我批判提示会诱导局部稳定化（降低所有层级的隐藏状态敏感性），但它并未在过度自信错误项与置信正确项之间创造出清晰的敏感性差距。

结果

• 输出级发现： $H_{proxy}$ 得分与自我批判策略（C2）相对于强制回答基准（C0）所获得的增益呈现强正相关（Spearman $\rho = 0.71$）。医学流行病学和社会统计等领域在 C2 下的提升最为显著，而娱乐和文学领域几乎没有收益。然而，直接的标签基准（C0 错误率和 Brier 风险）对领域的排序更为强烈，这证实了 $H_{proxy}$ 是一个结构化诊断工具，而非优于原始性能的预测器。
• 内部发现：
  • 稳定化： 自我批判提示一致地降低了三个模型中所有层的隐藏状态敏感性，支持了此类提示会诱导局部稳定化的观点。
  • 无脆弱性差距： 至关重要的是，OCW 与 CC 组之间的敏感性差异微乎其微（标准化差距 $\approx 0.13$ 个合并标准差或更少，置信区间包含零）。这表明，在测试的扰动下，经审计定义的过度自信错误在脆弱性上并不比正确答案更具特征。
  • 鲁棒性： 更密集的噪声扫描和语义改写检查确认，缺乏脆弱性差距并非特定扰动设置下的伪影。

意义与主张
本文得出的结论是一个适度的、具有实践意义的教训，而非完整的机制还原。其主要意义在于：即使内部机制仍部分未知，与决策相关的确定性行为也可以通过置信度响应来进行研究。

• 稳定失校准作为风险： 研究结果表明，高置信度错误可能是“稳定且失校准”的，而非“脆弱”的。一个系统可能因为其答案在局部是稳定的而显得鲁棒，但仍会在高影响领域产生置信度高的错误答案。
• 诊断的角色： 所提出的审计得分旨在进行定期的标记评估，以筛选风险并分配干预措施（如弃权、检索、人工审查），重点关注过度自信错误集中的领域。它并非设计为实时的安全过滤器或无标签估计器。
• 局限性： 作者承认本研究使用了由作者策划的冻结审计集，这可能无法推广到更大的数据集或开放式生成。关于“无清晰差距”的结果针对当前的探测方法，并不排除在其他语境下的不稳定性，但它挑战了“脆弱性是高置信度幻觉主要特征”的假设。

总之，这项工作将视角从单纯将高置信度错误视为不稳定的迹象，转向将其识别为潜在的稳定失校准现象，从而要求审计策略超越简单的敏感性分析。