🤖 machine learning

$\Delta \mathrm{Energy}$ : Optimizing Energy Change During Vision-Language Alignment Improves both OOD Detection and OOD Generalization

本文介绍了 $\Delta$ Energy，这是一种受视觉 - 语言对齐过程中的能量变化启发的新颖分布外（OOD）评分，以及一个相应的微调框架（EBM），该框架能同时提升视觉 - 语言模型的分布外检测能力和泛化能力，从而在现有方法的基础上实现显著的性能提升。

原作者： Lin Zhu, Yifeng Yang, Xinbing Wang, Qinying Gu, Nanyang Ye

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Lin Zhu, Yifeng Yang, Xinbing Wang, Qinying Gu, Nanyang Ye

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位非常聪明、见多识广的向导（一个视觉 - 语言模型），它从海量的书籍和照片库中学习，能够识别成千上万种物体。这位向导非常擅长识别它曾经见过的东西，比如“金毛寻回犬”或“红色跑车”。

然而，当这位向导走进现实世界时，它会面临两个棘手的情况：

“变装”问题（协变量偏移）： 它看到一只金毛寻回犬，但这只狗是素描画出来的，或者是雨中拍摄的照片，或者是一幅油画。狗还是那只狗，但风格变了。向导可能会感到困惑，心想：“这还是一只狗吗？”
“外星”问题（语义偏移）： 它看到一种全新的生物，比如一只“闪闪发光的独角兽”，这种生物从未出现在它的训练库中。向导需要意识到：“我不知道这是什么”，而不是自信地猜测：“那是一匹马！”

这篇论文介绍了一种名为 $\Delta$ Energy（Delta Energy，即 Delta 能量）的新方法，以及一种名为EBM的训练技术，旨在帮助向导同时应对这两个问题。

核心理念：“沉默”测试

要理解其工作原理，想象向导正在观察一张图片，并大声喊出它对不同标签的置信度。

如果它看到一张狗的照片，它可能会大喊：“狗！（99% 置信度）猫！（1%）鸟！（0.1%）。”
如果它看到一只“闪闪发光的独角兽”，它可能会大喊：“马！（40%）猫！（30%）狗！（20%）。”它感到困惑，将赌注分散到了各处。

$\Delta$ Energy 技巧：
研究人员要求向导做一个奇怪的实验：“如果我强迫你对你最可能的猜测保持完全沉默，会发生什么？”

他们取向导的最可能猜测（例如“狗”），将其置信度设为零。然后问道：“好吧，既然你不能说‘狗’了，你的整体‘能量’（或总置信度）会下降多少？”

对于真实的狗（分布内数据）： 向导非常确定那是只狗。当你让那个答案沉默时，向导会惊慌失措。它的总置信度会崩溃。能量的“下降”幅度巨大。
对于外星/未知物体（分布外数据）： 向导原本就不确定，将赌注分散在许多选项上。让最可能的猜测沉默并不会改变太多，因为它并不仅仅依赖一个答案。能量的“下降”幅度很小。

通过测量这种能量变化（ $\Delta$ Energy），系统可以轻松区分“风格奇特的狗”（大幅下降）和“完全陌生的生物”（小幅下降）。

训练升级：EBM（能量边界最大化）

知道如何区分差异固然很好，但论文还教导向导在学习过程中如何变得更强。

他们引入了一条名为EBM的训练规则。想象向导正在研究一张狗的照片。

向导观察整张照片。
然后，研究人员在照片的一部分上盖上一个“遮罩”（比如遮住狗的脸或背景），并让向导再次观察。
目标是训练向导，使其即使在有遮罩的情况下，感受到的“能量”变化仍与观察完整照片时相同。

隐喻：
这就像学习识别朋友的声音。

旧方法： 你在安静的房间里完美地记住了他们的声音。如果他们在嘈杂的咖啡馆说话（协变量偏移），你可能认不出他们。
EBM 方法： 你练习在他们耳语、大喊或通过墙壁说话时识别他们。你学习的是他们声音的核心，而不仅仅是完美条件下的声音。

通过迫使模型在训练期间处理这些数据的“遮罩”或“裁剪”版本，它学会了能够抵御风格变化（如雨景或素描），同时仍能识别完全新的事物。

结果：一位超级可靠的向导

该论文在大规模数据集（如包含数千张图像的 ImageNet）上测试了这种方法。

更好的检测能力： 与之前的方法相比，新方法在识别“外星”（未知物体）方面表现更好。在某些测试中，它将误报率降低了显著幅度（提高了 10%–25%）。
更好的泛化能力： 它在识别“变装”狗（新风格中的物体）方面也变得更加出色，且没有忘记它们是什么。

总结

这篇论文提出了一个简单而有力的想法：测量当模型的最可能猜测被沉默时，其置信度发生了多大变化。

如果置信度崩溃，那很可能是一个新风格下的已知物体。
如果置信度保持稳定，那很可能是一个全新的物体。

随后，他们利用这一见解来训练模型，使其更加稳健，从而创建一个既能更好地充当侦探（发现未知事物），又能更好地充当通才（在新情境中识别已知事物）的系统。

技术摘要：∆Energy：优化视觉 - 语言对齐过程中的能量变化可同时提升分布外检测与分布外泛化能力

1. 问题陈述

视觉 - 语言模型（VLMs），如 CLIP，已在下游适应任务中展现出显著的成功。然而，当部署于现实世界场景时，它们面临两种截然不同的分布外（OOD）挑战：

协变量偏移（闭集 OOD）：类别标签与训练分布相同，但数据分布发生变化的数据（例如风格变化、环境偏移）。
语义偏移（开集 OOD）：包含训练期间完全未见过的类别的数据。

现有文献通常孤立地处理这些问题。专注于协变量偏移鲁棒性的方法通常无法有效检测开集语义偏移，而 OOD 检测方法往往难以在协变量偏移的数据上保持泛化性能。此外，近期尝试同时处理这两者（全谱 OOD）的方法通常需要大量的计算资源，或依赖于狭窄的后期函数集。核心挑战在于开发一个统一的框架，既能增强 VLM 对协变量偏移数据的泛化能力，又能有效检测未见过的语义类别。

2. 方法论

本文提出了一种新颖的方法，其核心观察是：通过破坏最大余弦相似度来重新对齐视觉 - 语言模态，会引发能量分数的显著且具有判别性的变化。

2.1 ∆Energy：一种新颖的 OOD 分数

作者引入了 ∆Energy，这是一种基于修改视觉 - 语言对齐后产生的能量变化的后期 OOD 检测分数。

机制：对于输入图像，该方法识别余弦相似度最高的前 $c$ 个文本提示。随后，通过裁剪（置零）这些最大相似度来“重新对齐”模态。
计算：分数定义为重新对齐前（ $E_0$ ）与重新对齐后（ $E_1$ ）的能量分数之差：
$\Delta \text{Energy}(x_i) = E_1(x_i) - E_0(x_i)$
理论洞察：理论分析（定理 3.2）表明，对于分布内（ID）数据，能量变化显著大于开集 OOD 数据。这是因为 ID 数据严重依赖匹配度最高的文本特征；移除它们会导致能量发生剧烈偏移。相比之下，与任何特定类别缺乏强对齐的 OOD 数据则表现出较小的能量变化。
优势：本文证明，∆Energy 比最大概念匹配（MCM）方法更有效地放大了 ID 与 OOD 样本之间的分离度，从而降低了误报率（FPR）。

2.2 EBM：基于∆Energy 的边界最大化

为了在保持检测能力的同时解决 OOD 泛化（协变量偏移）问题，作者在微调阶段提出了 EBM（基于能量的边界最大化）。

机制：在少样本适应过程中，该方法对图像特征应用掩码操作。具体而言，它仅保留图像特征与排名第一的文本特征之间逐元素乘积的前 $p\%$ 个元素，将其余部分置零。
目标：模型被训练以最小化损失 $L_{\Delta E}$ ，该损失代表原始特征与掩码特征之间的能量差：
$L_{\Delta E} = \frac{1}{N} \sum_{i=1}^{N} [E_2(x_i) - E_0(x_i)]$
其中 $E_2$ 是掩码特征的能量。
理论保证：作者证明（定理 3.4），最小化 $L_{\Delta E}$ 会增加闭集类别的 ∆Energy 下界。此外，定理 3.5 确立，这种优化会导致原始特征域与掩码特征域之间出现域一致的 Hessian 矩阵。这种一致性是 OOD 泛化的强有力指标，从理论上界定了源域与目标域之间的性能差距。

2.3 统一框架

最终的优化目标将标准的交叉熵损失与 EBM 损失相结合：
$L_{EBM} = L_{CE} + \lambda_0 L_{\Delta E}$
该框架允许同时优化 OOD 泛化（通过 EBM）和 OOD 检测（通过由此产生的 ∆Energy 分数）。

3. 主要贡献

新颖的 OOD 分数（∆Energy）：本文提出了一种零样本 OOD 检测方法，通过测量重新对齐视觉 - 语言模态时的能量变化来实现。它在理论和实证上均优于现有的 MCM、Energy 和 ReAct 等方法，特别是在“困难”的 OOD 检测场景中。
统一的微调框架（EBM）：作者开发了一种微调范式，可同时提升 OOD 泛化和 OOD 检测能力。通过最小化由特征掩码引起的能量变化，该方法诱导了域一致的 Hessian 矩阵，从理论上将优化过程与协变量偏移下的泛化能力提升联系起来。
理论分析：该工作提供了严格的理论证明，表明 ∆Energy 比 MCM 提供更好的可分性，且 EBM 损失能导致域一致的 Hessian 矩阵，从而界定了 OOD 泛化差距。
全面评估：该方法在具有挑战性的基准测试上进行了评估，包括 ImageNet-1k（含多种划分）、PACS 和 VLCS，涵盖了协变量偏移和语义偏移。

4. 实验结果

作者在 ImageNet-1k、PACS 和 VLCS 数据集上进行了广泛实验，使用 CLIP（ViT-B/16）作为骨干网络。

OOD 检测性能：
- 在 ImageNet-1k 基准测试（设置 I）上，∆Energy 达到了 87.10% 的 AUROC，优于排名第二的方法（MCM 为 85.81%），并显著超越了原生 Energy 方法。
- 在区分闭集 OOD（协变量偏移）和开集 OOD（语义偏移）方面，∆Energy 达到了 78.68% 的 AUROC，在各种设置中比竞争对手高出 10%–25%。
- 该方法在 ID 和 OOD 数据分布紧密的“困难”OOD 检测划分中表现出卓越的性能。
OOD 泛化性能：
- 在少样本微调设置（设置 I 和设置 II）中，EBM 方法在 OOD 准确率和 OOD 检测指标方面均取得了最佳的整体性能。
- 具体而言，与具有竞争力的 CRoFT 方法相比，EBM 将闭集 OOD 数据的 OOD 准确率提高了 0.45%，AUROC 提高了 5% 以上。
- 在 VLCS 数据集上，EBM 显示出显著优于 CRoFT 和 GalLoP 等方法的性能，后者在适应特定领域时往往会出现遗忘通用知识的问题。
效率：
- 零样本 ∆Energy 检测无需额外训练，且推理时间与 MCM 相当（18 秒 vs 17 秒）。
- EBM 微调过程计算高效，所需时间和 GPU 内存与 CoOp 相似（18 分钟，约 7.7GB），并显著少于 GalLoP（140 分钟，约 47GB）。

5. 意义与主张

本文主张，∆Energy 和 EBM 为 VLM 中 OOD 检测与 OOD 泛化之间的权衡提供了一个统一的解决方案。

可靠性：作者断言，∆Energy 提供了一种比之前的基于能量或基于 Softmax 的方法更可靠的 OOD 检测途径，特别是在分布偏移微妙的具有挑战性的场景中。
理论根基：该工作的意义在于其理论证明：优化能量变化（通过 EBM）不仅有助于检测，而且通过使跨域的经验风险 Hessian 矩阵对齐，从结构上提高了模型对域偏移的鲁棒性。
实际影响：通过使单一微调框架能够同时处理协变量偏移（泛化）和语义偏移（检测），该方法解决了在部署 VLM 应对现实世界应用时的关键差距，因为在这些应用中，两种类型的分布偏移都是不可避免的。

作者总结道，该方法在具有挑战性的基准测试上以显著优势（AUROC 提高 10%–25%）超越了最近的先进方法，验证了利用视觉 - 语言重新对齐过程中的能量变化的有效性。