💻 computer science

Distilling Self-Consistency into Verbal Confidence: A Pre-Registered Negative Result and Post-Hoc Rescue on Gemma 3 4B

本文报告称，尽管在 Gemma 3 4B 模型上将预注册的自一致性蒸馏为语言置信度的尝试因标签熵崩溃而失败，但随后在未经过滤数据上进行的事后补救训练成功将高准确率的自一致性信号压缩为单次读取输出，AUROC2 达到 0.774，这表明保留标签熵对于有效的置信度校准至关重要。

原作者： Jon-Paul Cacioli

发布于 2026-04-28

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jon-Paul Cacioli

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和日常类比对这篇论文的解读。

核心难题：过度自信的机器人

想象你有一个智能机器人助手（一个 AI 模型），它能回答常识问答题。你问它：“秘鲁的首都是什么？”它回答：“利马。”然后你问：“你有多确定？”

这篇论文要解决的核心问题是：这个机器人极其不擅长评估自己的置信度。即使它完全是在瞎猜，它也会说：“我有 99% 的把握！”这就像一个学生在考试中乱猜，但无论答案对错，都在每个答案旁边写上"100% 确定”。

研究人员将这种现象称为“退化的语言通道”。机器人其实知道自己是在瞎猜（它内部有信号），但它拒绝口头承认。无论情况如何，它只是输出一个自信的"99%"。

实验：教导机器人诚实

研究人员想要解决这个问题。他们试图教导机器人在真正不确定时说出“我不确定”。

实验设置：

教师角色： 他们使用了一种“自一致性”方法。这意味着他们让机器人对同一个问题回答 10 次。
- 如果机器人 10 次全对，教师会说：“这是一个简单问题。你应该说你有**95%**的把握。”
- 如果机器人 10 次全错，教师会说：“这是一个困难问题。你应该说你有**5%**的把握。”
- 如果是混合情况（例如 5 次对，5 次错），教师会说：“你有**50%**的把握。”
目标： 训练机器人看到问题时，无需自己重复回答 10 次，就能立即说出正确的置信度（5% 或 95%）。

第一次尝试：“完美学生”的陷阱（负面结果）

研究人员最初设定了一条严格规则（“模态过滤器”）。他们决定只向机器人展示那些它大部分都答对的例子。他们心想：“为什么要教机器人关于错误的知识呢？只教它表现好的时候不就行了吗？”

结果如何？
机器人彻底失败了。它对所有问题都坚持说"95% 确定”。
为什么？
这就像一位音乐老师只允许学生练习他们已经完美掌握的歌曲。学生永远学不会如何应对困难的曲目。
在训练数据中，几乎所有问题都是“简单”问题（机器人 100% 正确）。机器人学会了一个简单的把戏：“只要看到问题，就说 95%。”因为它从未见过表示“不确定”的例子，所以它从未学会“低置信度”是什么感觉。研究人员将这种现象称为"标签熵崩溃"。数据缺乏多样性，导致机器人无物可学。

救援：让机器人看到混乱（正面结果）

研究人员意识到了错误。他们回过头来说：“好吧，让我们向机器人展示所有内容，包括它答错的问题。”

他们移除了严格的过滤器，用全部 2000 个问题训练机器人，包括那些机器人感到困惑的问题（10 次尝试中只答对 0 次或 1 次）。

结果：
突然间，机器人学会了！

之前： 它对所有问题都说"95% 确定”。
之后： 当它在瞎猜时，它开始说"5% 确定”；当它知道答案时，它说"95% 确定”。
神奇之处： 现在，它只需通过倾听自己的置信度水平，就能区分答案的对错。这几乎等同于它自己问了 10 次问题，但它只需一次就能做到。

副作用：机器人变得更聪明（也更安静了）

有一个令人惊喜的额外收获。当机器人学会诚实地评估自己的置信度时，它在另一项测试（MMLU）中回答问题的表现也变好了。

为什么？ 研究人员注意到机器人的说话方式发生了变化。
- 之前： 机器人会喋喋不休，给出冗长且令人困惑的解释。
- 之后： 机器人开始给出简短、直接的答案（例如："c. 答案是 X。置信度：95%"）。
类比： 这就像一个学生，当被要求诚实地评估自己的知识水平时，就不再试图用长篇大论的胡扯来“伪装”，而是直接给出正确答案。这种诚实迫使机器人更加简洁，这意外地帮助它答对了更多问题。

局限性（注意事项）

这篇论文非常诚实地指出了它没有做到的事情：

它是二元的： 机器人学会了说"5%"或"95%"。它没有学会说"72%"。这就像一个电灯开关（开/关），而不是调光开关。
这是一次救援行动： 成功发生在研究人员意识到第一个计划有缺陷之后。需要再次测试以确认它是否每次都能奏效。
准确率下降： 在用于训练的具体测试中，机器人的正确答案率实际上略有下降，尽管它在评估置信度方面变得更擅长。它用一部分准确率换取了诚实。

两大启示

这篇论文为任何试图教导 AI 保持诚实的人总结了两个主要结论：

你必须向机器人展示它犯错的时候。 如果你只在它自信的“简单”例子中训练它，它将永远学不会说“我不知道”。
诚实会改变风格。 教导机器人正确报告其置信度，似乎能让它停止喋喋不休，转而给出更清晰、更有用的答案。

简而言之：研究人员试图教导机器人承认自己何时在瞎猜。第一次尝试失败了，因为他们隐藏了难题。第二次尝试成功了，教会了机器人成为一个“二元”的诚实者，它比以前更能识别自己的错误。

以下是论文《将自一致性蒸馏为言语置信度：一项预注册的负面结果及在 Gemma 3 4B 上的事后补救》的详细技术总结。

1. 问题陈述

大型语言模型（LLMs），尤其是参数量在 3–9B 范围内的模型，表现出“退化的言语置信度”问题。当被要求以百分比形式陈述其置信度时，无论答案是否正确，这些模型始终报告接近最大值的置信度（天花板比率 >90%）。

差距： 虽然内部表示（隐藏状态）和单次前向传播的对数几率熵包含关于正确性的显著信息（AUROC2 约为 0.6–0.8），但言语通道未能传递这些信息（AUROC2 约为 0.5，接近随机水平）。
目标： 本研究调查“置信度条件监督微调（CSFT）”是否能够将来自多样本自一致性（一种稳健但计算成本高昂的方法）的信息，蒸馏为可靠、单次前向传播的言语置信度信号。

2. 方法论

本研究使用了 Gemma 3 4B-it 模型，并遵循基于 CMM 计划（第二类信号检测理论）的严格心理测量评估流程。

实验设计

数据： 项目选自 TriviaQA（用于校准/训练和保留评估）和 MMLU（用于跨基准迁移）。
目标推导： 对于每个训练项目，在温度 $T=0.7$ 下生成 10 个样本。正确样本的数量（ $n_{correct}$ ）被映射为置信度目标（例如， $n_{correct}=10 \rightarrow 95\%$ ， $n_{correct}=0 \rightarrow 5\%$ ）。
训练： 在聊天提示上使用 LoRA 微调（秩 16），训练模型输出答案后跟推导出的置信度百分比。
控制： 训练了一个打乱目标控制组，其架构相同但置信度标签被随机置换，以区分是学习了格式还是学习了信号。

两个阶段

预注册协议（阶段 0）： 包含一个众数过滤器，将训练数据限制为 10 个样本中最频繁的答案是正确的项。
事后补救： 移除了众数过滤器，允许模型在所有 2,000 个校准项目上进行训练，包括那些众数答案不正确的项目（双峰分布）。

3. 关键结果

A. 预注册结果（负面）

结果： 协议失败。
指标： 言语 AUROC2 从基线的 0.554 下降到 0.509。准确率下降了 7.6%。有效性评级量表（VRS）保持“无效”。
诊断： 标签熵崩溃。 众数过滤器移除了所有模型不确定或错误的项目（ $n_{correct} < 10$ ）。由此产生的训练集具有近乎均匀的高置信度目标（主要是 95%）。模型学会了忽略输入并输出众数（95%），未能学会何时表达低置信度。

B. 事后补救（探索性正面）

通过移除众数过滤器，训练集包含了双峰分布：48.2% 的项目 $n_{correct}=10$ （目标 95%），36.5% 的项目 $n_{correct}=0$ （目标 5%）。

TriviaQA 性能：
- AUROC2： 从基线的 0.554 显著提升至 0.774。
- 天花板比率： 从 97.7% 崩溃至 49.8%，表明模型学会了变化其置信度。
- 信号性质： 模型学习了一个二元判别器（输出 5% 或 95%），而非连续校准。它成功地将 10 样本自一致性信号（AUROC2 = 0.999）压缩为单次前向传播的言语读数，恢复了约 77.5% 的判别能力。
- 比较： 蒸馏后的言语信号（0.774）优于单次前向传播的对数几率熵（0.701）。
MMLU 跨基准迁移：
- 准确率： 从 54.2% 大幅提高到 77.4%。
- AUROC2： 从 0.535 提高到 0.616。
- 控制： 打乱目标模型未显示任何改进（准确率 56.1%，AUROC2 0.523），并产生了冗长、无法解析的输出，证实了增益源于置信度目标的内容，而不仅仅是 LoRA 过程。

4. 关键贡献与设计原则

标签熵至关重要： 研究确定标签熵崩溃是置信度训练中的主要失败模式。要训练模型表达不确定性，训练集必须包含不确定性的示例（低置信度目标）。过滤掉“困难”或“错误”的示例会保证失败。
自一致性的蒸馏： 可以将多样本自一致性信息（通常需要 10 次前向传播）蒸馏为单次前向传播的言语信号。尽管存在压缩损失（约 22.5%），但生成的信号比标准对数几率熵包含更多信息，且可通过标准 API 访问。
格式正则化： 在正确的置信度目标上训练似乎正则化了输出格式。真实目标模型产生了简洁、可解析的响应，而打乱目标模型产生了冗长、非结构化的文本。这表明置信度目标可能作为输出结构的正则化器。
准确率 - 置信度权衡： 该干预提高了判别能力，但导致 TriviaQA 准确率下降了 7.5%。这表明模型采用了一种新的“答案 - 置信度策略”，优先于判别性信号而非原始答案生成，或者置信度信号有助于过滤掉其他基准（如 MMLU）上的幻觉。

5. 意义与局限性

意义： 这项工作提供了一条实用途径，使 LLM 能够可靠地“说出”其不确定性，而无需访问内部对数几率或多次采样。它强调了“言语通道”是可训练的，但需要特定的数据分布（高熵）才能发挥作用。
局限性：
- 二元输出： 模型学习的是二元分类器（5% 对 95%），而非连续校准（例如 60% 置信度）。
- 事后性质： 正面结果未进行预注册，需要复现。
- 单一模型/种子： 结果特定于 Gemma 3 4B 和单个随机种子。
- 准确率下降： MMLU 准确率的提高和 TriviaQA 准确率的下降表明，置信度训练与答案生成策略之间存在复杂的相互作用，需要进一步的消融研究。

结论

该论文证明，虽然小型 LLM 自然无法报告不确定性，但如果训练数据保留了标签熵，可以通过 CSFT 加以补救。通过在完整的自一致性结果谱系（包括失败案例）上进行训练，模型可以将复杂的多样本推理蒸馏为可靠、单次前向传播的言语置信度信号，该信号优于标准熵基线，并提高了在 MMLU 等跨基准任务上的性能。