技术摘要：元认知探针

问题陈述

当前的大语言模型（LLM）基准测试（如 MMLU、BIG-Bench、HELM、GPQA）主要衡量模型是否能对提示生成正确的回答。它们对部署中的一个关键问题保持沉默：模型是否知道其回答是错误的？

尽管存在总体校准指标，但它们可能会掩盖系统性的“过度自信 pockets"，即模型对错误答案表现出高度自信的情况。该论文认为，模型可能在综合基准测试中得分很高，却无法根据任务难度或正确性来调节置信度；这种失败模式会对基于置信度的安全系统（如升级协议）构成风险。作者提出，在此语境下，“元认知”应被视为报告的置信度与外部正确性之间的行为对齐，而非内部状态的测量。

方法论

本文介绍了元认知探针，这是一种探索性的五任务诊断工具，旨在将 LLM 的置信度行为分解为五个不同的维度。研究评估了一个包含 $N=8$ 个前沿模型的专家组（包括 Claude Opus/Sonnet 4.6、Gemini 2.5 Pro/Flash、GLM-5、DeepSeek-R1、Qwen 3 Next 80B 和 Gemma 3 27B）以及一个 $N=69$ 的人类校准小组。

五项诊断任务

该工具通过以下任务将置信度行为操作化，评分范围为 0–100：

1. T1-CC（置信度校准）： 衡量任务内监控能力。模型回答 24 个项目并给出置信度评分（1–10）。得分为陈述置信度与二元正确性之间的皮尔逊相关系数（$r$），映射到 0–100 的尺度。
2. T2-EV（认知警惕性）： 衡量在提供的推理中检测事实错误和质疑来源可靠性的能力。这是一项二元准确性任务，不包含置信度成分。
3. T3-KB（知识边界）： 一项探索性任务（v75），要求模型区分其能够回答的项目和无法回答的项目，并阐述边界类型。
4. T4-CR（校准范围）： 衡量跨任务监控能力。模型回答 12 个事实性陈述，并给出 0–100 的置信度评分。得分基于惩罚性 Brier 分数。关键在于，它包含防博弈惩罚：
   • 平坦分布惩罚： 如果置信度的标准差（$\sigma_{conf}$）过低（表明模型无论难度如何都报告相同的置信度），则扣分。
   • 窄范围惩罚： 如果置信度范围过小，则扣分。
5. T5-RCV（推理链验证）： 衡量检测所提供推理链中缺陷的能力。这是一项二元准确性任务，不包含置信度成分。

可靠性框架

本研究遵循预先设定的可靠性标准：$\alpha \ge 0.25$（Krippendorff's alpha）且 一致率 $\ge 0.90$。

• T4-CR 是唯一通过 alpha 阈值的任务（$\alpha = 0.66$），但勉强未达到一致率目标（0.83）。
• 其他四项任务（T1-CC、T2-EV、T3-KB、T5-RCV）的可靠性显著低于标准（$\alpha < 0.15$），仅作为诊断探针报告，待评分细则试点后进一步评估。
• 人类基线（$N=69$）是从一个专业化、STEM 倾向的样本中招募的，并未声称代表总体验证。

主要结果

“闪断解离”现象

主要发现是在Gemini 2.5 Flash中观察到的47 分的模型内解离：

• T1-CC（专家组最佳）： Flash 得分为 88（Spearman $\rho = +0.551$，$p=0.005$），表明在特定任务集上具有强烈的项目级置信度调节能力。
• T4-CR（专家组最差）： Flash 得分为 41。尽管它正确回答了 12 个事实性陈述中的 8 个，但它对其中 11 个报告了约 100 的置信度，对最后一个报告了 95。这导致置信度调节几乎为零（$\sigma_{conf} = 1.4$），触发了两项防博弈惩罚。
• 意义： 这一差距表明，高任务内校准（T1-CC）并不能保证跨任务校准（T4-CR）。依赖 Flash 报告置信度的置信度门控系统将无法对错误答案进行升级，因为无论正确与否，该模型都保持过度自信。

次要发现

• Sonnet 4.6 的逆向表现： Sonnet 4.6 表现出相反的特征，T4-CR（88）> T1-CC（76），表明它在跨任务调节置信度方面优于逐项跟踪正确性。
• DeepSeek-R1 悖论： DeepSeek 在认知警惕性（T2-EV = 74）与推理链验证（T5-RCV = 47）之间存在巨大差距，表明它能检测自由文本中的局部错误，但无法检测所提供链条中的全局连贯性缺陷。
• 外部效度： 在 $N=8$ 的样本量下，与外部基准测试（如 MMLU 等）的综合层面相关性无法与零区分开来。MMLU 相关性（$\rho = +0.643$）的 95% 置信区间跨越了零。
• 人类基线： 预先设定的假设（教育水平与元认知校准相关，H2）被证伪，且符号相反（$\tau = -0.071$）。该工具目前尚未测量发展阶段。

意义与主张

本文明确将自己定位为探索性诊断工具，而非经过验证的心理测量量表。

1. 分解优于聚合： 主要贡献在于证明综合分数会抹去关键的失败模式。“闪断解离”证明，一个模型可以在特定项目上校准良好，同时在难度谱系上表现出灾难性的过度自信。
2. 部署相关性： T4-CR 指标（特别是防博弈惩罚）揭示了在安全关键部署中的风险，其中置信度阈值会触发人工审查。像 Flash 这样的模型即使回答错误，也永远不会触发此类审查。
3. 局限性与谦逊：
   • 该工具未经验证作为跨物种元认知测量工具；跨物种假设已被证伪。
   • 仅T4-CR达到了预先设定的可靠性标准；其他任务是临时的。
   • $N=8$ 的模型专家组对于模型间的主张统计效力不足（有效 $N \approx 5$ 个训练谱系）。
   • 本研究依赖于行为输出（报告的置信度）而非内部状态（logits/熵），后者通常无法通过 API 访问。

作者得出结论，47 分的差距是一个稳健的项目级现象，值得通过计划中的复制研究进一步调查，该研究将包含 $N \ge 20$ 个模型和 $N \ge 100$ 个分层人类评分员，并辅以评分细则试点循环，以提高非 T4-CR 任务的可靠性。