🤖 machine learning

Beyond Post-Hoc Temperature Scaling: Bilevel Optimization for LLM Calibration

本文提出了一种实用的双层优化框架，通过在训练过程中最大化预测熵来校准大语言模型，有效地克服了传统事后温度缩放（post-hoc temperature scaling）的领域局限性，并提升了分布外泛化能力。

原作者： Ruochen Jin, Zhanliang Wang, Zongyu Dai, Jiancong Xiao, Bojian Hou

发布于 2026-08-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Ruochen Jin, Zhanliang Wang, Zongyu Dai, Jiancong Xiao, Bojian Hou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一位才华横溢的学生，他读遍了图书馆里的每一本书。这位学生是一个大语言模型（LLM），一种可以写故事、解数学题并像人类一样聊天的人工智能。但有一个问题：这个学生对自己知识的判断力非常糟糕。他们往往过度自信。如果他们不知道答案，可能会说：“我有99%的把握是对的！”但实际上他们是错的。在现实世界中，这是很危险的。如果一个医疗AI在诊断时有99%的把握却错了，人们可能会受到伤害。

为了解决这个问题，科学家们尝试了一种叫做“温度缩放”（Temperature Scaling）的小技巧。把AI的信心想象成立体声机的音量旋钮。如果音乐太响且失真（过于自信），你就把旋钮调小，让声音变得柔和且更真实。这在只听一首歌（一个特定数据集）时效果很好。但问题在于，“音量旋钮”的设置适合摇滚乐，但不一定适合爵士乐。如果你尝试用同样的设置来回答不同类型的问题，AI要么依然太吵，要么变得太安静。旧的方法就像是试图用一个单一的旋钮去调频整个城市的广播；这根本行不通。

这就是发表在 COLM 2026 会议论文中的一项新研究所提出的聪明新思路。研究人员不再仅仅是在学生学习结束后才去转动旋钮，而是决定改变学生最初学习的方式。他们创建了一种特殊的训练方法，叫做 CALM（通过双层优化实现大模型的校准）。

以下是 CALM 的工作原理，我们用一个简单的类比：想象一位教练在训练运动员。

旧方法（事后缩放/Post-Hoc Scaling）： 运动员跑完比赛，累了，然后教练说：“好吧，下次跑慢一点。”教练是在事后尝试调整速度。但如果地形改变了（不同的数据集），旧的建议就不再适用了。
CALM 方法（双层优化/Bilevel Optimization）： 教练建立了一个两层结构的训练营。
- 第一层（运动员）： 运动员练习跑步，以变得更快、更聪明（这是模型学习如何回答问题）。
- 第二层（教练）： 在运动员跑步的同时，教练实时观察并调整训练规则。教练的目标不仅是让运动员跑得快，还要确保运动员清楚自己到底跑得有多快。如果运动员开始吹嘘（“我是最快的！”），教练会轻轻地引导他们变得谦逊且务实。

研究人员发现，通过这种“两层”系统训练模型，AI学会了自然地保持自信，但不会“过度”自信。他们在四种流行的AI模型（如 Llama-3.1、Vicuna、OLMo 和 Mistral）以及两类测试（多选题和开放式创意写作）上进行了测试。

结果非常令人鼓舞。当AI接受从未见过的测试（即“分布外”测试，就像是为学过摇滚乐的学生播放爵士乐）时，CALM 的表现比旧的“音量旋钮”方法好得多。旧方法往往会让AI在面对新话题时更加困惑或更加过度自信。然而，CALM 却能将AI的信心控制在合理范围内。例如，在名为 Mistral-7B 的模型上，旧方法留下的校准误差为 0.335（非常过度自信），而 CALM 将其降至 0.0822（准确得多）。

至关重要的是，研究人员展示了这种方法并不会让AI变“笨”。模型仍然能正确回答问题，只是不再对自己的确定程度撒谎。该论文表明，这种方法是一个强有力的进步，特别是对于那些需要处理意外问题，且不需要人类每次都手动调整设置的场景。这是一种教导AI无论讨论什么话题，都能保持谦逊、诚实和可靠的方法。

技术摘要：超越事后温度缩放：用于大语言模型校准的双层优化

问题陈述

大语言模型（LLMs），特别是通过人类反馈强化学习（RLHF）或直接偏好优化（DPO）进行对齐的模型，经常表现出校准能力差的问题，具体表现为过度自信。虽然置信度常被用作可靠性的指标，但在高风险领域（如医疗、法律）中，校准不良的模型会导致错误的信任和糟糕的决策。

现有的解决方案主要依赖于事后温度缩放（Post-hoc Temperature Scaling, TS），即在训练后利用验证集拟合一个单一的标量温度，以对 Logits 进行重缩放。然而，本文指出一个关键局限性：TS 本质上是依赖数据集的。为某一特定领域优化的温度往往无法泛化到其他领域，因此很难找到一个能在多样化任务中都实现良好校准的“通用”温度。此外，事后方法保持模型参数固定，错失了学习一个本质上更易于校准的模型的机会。

方法论：CALM（通过双层优化实现大模型的校准）

作者提出了 CALM，这是一个将校准重新定义为双层优化问题的训练阶段框架。CALM 不仅仅是调整一个事后参数，而是通过联合优化模型参数和“类温度”损失超参数，在最大化预测熵的同时保持任务性能。

1. 双层公式化

该问题结构如下：

底层（任务优化）： 训练模型参数 $\theta$ ，以最小化训练集 $S_T$ 上的标准参数化损失（交叉熵），给定一组超参数 $\alpha$ 。
$\theta(\alpha) \in \arg\min_{\theta'} \mathcal{L}_{tr}(\theta'; \alpha)$
顶层（校准优化）： 优化超参数 $\alpha$ ，以最大化留出校准集 $S_V$ 上预测分布的熵，同时约束 $\theta$ 仍对底层任务保持最优。
$\min_{\alpha} \mathcal{L}_{ent}(\alpha, \theta(\alpha))$

这些超参数 $\alpha$ 泛化了温度缩放的概念。CALM 使用的不再是单一标量 $\tau$ ，而是一个高维参数 $\alpha = (l, \tau)$ ，其中 $l \in \mathbb{R}^K$ 引入了加性 Logit 偏移，而 $\tau \in \mathbb{R}^K_{>0}$ 提供了类别相关的温度。这允许进行逐词表的调整，而非全局重缩放。

2. 目标函数

顶层目标： 最大化香农熵 $H(f_{\alpha, \theta}(\cdot | x))$ 以抑制过度集中的（过度自信的）预测。这提供了一个可控的方向，使模型从过度自信转向欠自信，从而可能找到一个置信度与准确率相匹配的点。
底层约束： 通过最小化训练数据上的交叉熵，确保模型保留判别能力。

3. 高效的一阶近似

精确的双层优化需要计算涉及二阶导数（海森矩阵逆）的超梯度，这对于拥有数十亿参数的 LLM 来说在计算上是不可行的。为了解决这个问题，CALM 采用了受 BOME (Bilevel Optimization Made Easy) 启发的一阶近似：

它将问题重新表述为对联合变量 $u = (\alpha, \theta)$ 的约束优化。
它通过从当前 $\theta$ 运行 $T$ 个内层梯度步来生成代理 $\tilde{\theta}$ ，从而近似底层值函数。
它构建了一个“插件残差（plug-in residual）”约束，并仅使用一阶导数计算联合更新方向，避免了显式的海森矩阵求逆。

核心贡献

训练阶段视角： 本文将校准范式从事后数据集特定的调整转向训练阶段的优化，旨在学习一种能够跨数据集进行通用校准调整的模型。
双层损失设计： 将面向校准的损失设计表述为一个双层问题，其中顶层利用基于熵的目标函数优化类温度的超参数，底层则进行模型训练。
熵最大化： 作者提出了一种熵最大化顶层目标，以在不引入额外硬标签或辅助头的情况下，缓解对齐后 LLM 的过度自信问题。
可扩展框架： 他们引入了一种高效的一阶双层优化方案（CALM），避免了昂贵的二阶计算，使得该方法在处理大规模 LLM 微调时具有实用性。

实验结果

该方法在四个对齐后的 LLM（Llama-3.1-Tulu-8B, Vicuna-7B, OLMo-2-7B, Mistral-7B）上进行了评估，涵盖多项选择问答（MCQA）和开放式生成式问答。

领域外（OOD）泛化能力

卓越的校准效果： 在 OOD 设置下，CALM 在四个模型中的三个上实现了最佳的置信度期望校准误差（conf-ECE），显著降低了误差。例如，在 Llama-3.1 上，它将 conf-ECE 从 0.1784 降低到了 0.1050。
准确率保持： 与某些消融实验（例如没有双层约束的“迭代”或“正则化”）相比，后者会出现灾难性的准确率崩溃，而 CALM 在提高校准能力的同时保持了高水平的任务准确率。
鲁棒性： 在开放式生成式问答（PopQA 与 TriviaQA 之间的跨领域迁移）中，CALM 实现了最低的平均语义 ECE（0.0671），优于未校准的基线以及强力的训练阶段基线（如校准感知微调 CFT）。

领域内（ID）性能

在训练与评估分布一致的 ID 设置下，温度缩放在 ECE 表现上最好（正如事后方法的预期）。然而，CALM 是唯一一种在所有四个模型中都比基线持续同时提升准确率和校准度的基于训练的方法。

消融研究

双层结构： 移除双层约束（正则化）或耦合项（迭代）会导致校准变差或严重的准确率损失，这证明了任务性能与校准之间的耦合至关重要。
参数化方式： 使用逐词表向量参数（ $d_y, l_y$ ）的效果远优于使用坍缩的标量参数（学习到的 TS），这凸显了处理不同选项间不对称误校准所需的细粒度调整的重要性。

意义与主张

论文声称 CALM 为对齐后 LLM 的过度自信问题提供了一种鲁棒的、训练阶段的解决方案。其主要意义在于：

泛化性： 不同于事后温度缩放，CALM 学习的是一种可以跨领域泛化的校准机制，解决了现有方法的“数据集依赖性”问题。
权衡管理： 它实现了卓越的准确率-校准权衡，避免了通过简单正则化尝试提高校准度时常见的效用崩溃。
实用性： 通过利用一阶近似，CALM 使双层优化在大规模 LLM 上变得可行，为实现“设计即校准”的模型而非“事后处理即校准”的模型提供了路径。

作者总结道，该方法在领域外设置中尤为具有优势，在这些场景下，其他方法往往会变得不稳定或遭受实质性的效用损失，这使得 CALM 成为在多样化现实场景中部署可靠 LLM 的可行方案。