💻 computer science

SoC: Semantic Orthogonal Calibration for Test-Time Prompt Tuning

本文提出语义正交校准（SoC），这是一种基于 Huber 的正则化方法，通过强制平滑原型分离来避免全正交约束所导致的过度自信，从而在保持判别性能的同时提升不确定性校准，进而改进视觉 - 语言模型的测试时提示微调。

原作者： Leo Fillioux, Omprakash Chakraborty, Ismail Ben Ayed, Paul-Henry Cournède, Stergios Christodoulidis, Maria Vakalopoulou, Jose Dolz

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Leo Fillioux, Omprakash Chakraborty, Ismail Ben Ayed, Paul-Henry Cournède, Stergios Christodoulidis, Maria Vakalopoulou, Jose Dolz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位非常聪明、博览群书的图书管理员（即 AI 模型），他读过数百万本书，看过数百万张图片。这位图书管理员擅长仅凭观察就能猜出图片的内容，即使他从未见过该特定类型的图片。这被称为“视觉 - 语言模型”。

然而，存在一个问题：当这位图书管理员不确定时，他们往往表现得过度自信。他们可能会说：“我有 99% 的把握这是一只狗”，而实际上那是一只猫。在高 stakes 情境下（如医疗诊断或自动驾驶汽车），自信地犯错是危险的。

问题所在：“过于僵化”的修正方案

研究人员试图通过教导图书管理员对类别之间的差异更加“开放”来解决这种过度自信问题。他们使用了一种名为O-TPT（正交测试时提示微调）的方法。

将 O-TPT 想象成一位严格的老师，对图书管理员说：“你必须让每一个类别彼此尽可能远离。确保‘狗’和‘猫’位于房间的两端，‘狗’和‘幼犬’也要位于两端。”

缺陷：虽然这让图书管理员在区分事物方面非常出色，但它破坏了世界的自然逻辑。在现实中，“狗”和“幼犬”非常相似。强迫它们完全对立会让图书管理员感到困惑。为了补偿这种被迫的分离，图书管理员开始大喊：“我 100% 确定这是一只狗！”即使他们错了。他们变得过度自信，因为规则迫使他们过于激进地将相似事物推开。

解决方案：SoC（语义正交校准）

本文作者提出了一种名为SoC的新方法。SoC 不像一位严格的老师，而更像一位睿智的导师。

这位导师说：“保持类别的区分，但如果它们天然相似，就不要强行将它们分开。如果‘狗’和‘幼犬’很接近，就让它们保持接近。如果‘狗’和‘汽车’不同，就将它们推远。”

他们使用一种名为Huber 损失的数学工具来实现这一点。

类比：想象将两块磁铁推开。
- 旧方法（O-TPT）：你使用一根巨大而僵硬的杠杆。无论磁铁有多近，你都以最大力量将它们推开。这会切断相似事物之间的联系。
- 新方法（SoC）：你使用一个减震器（就像汽车上的）。如果磁铁非常接近（相似的概念），减震器会软化推力，让它们保持在彼此附近。如果它们相距较远，你就用力推开它们。

测试时的结果如何？

研究人员在 11 种不同的图像挑战中测试了这种新的“导师”方法，从识别花朵到识别汽车和土地卫星图像。

更好的校准：新方法（SoC）让图书管理员对自己的信心更加诚实。当图书管理员说“我有 80% 的把握”时，他们实际上有 80% 的时间是正确的。旧方法（O-TPT）经常有 90% 的把握，但只有 60% 的时间是正确的。
依然聪明：新方法并没有让图书管理员在识别图像方面变得更差。他们在猜测正确答案方面与旧方法一样出色。
具有韧性：即使图书管理员在测试中面对棘手、怪异或艺术化的图像版本（如素描或绘画），SoC 也能让他们保持冷静和准确，而旧方法则会感到困惑并变得过度自信。

结论

该论文认为，要使 AI 值得信赖，我们不应强行让每个想法与其他想法完全不同。相反，我们应该尊重事物之间的自然关系。通过使用一种更“平滑”的方法（SoC）来尊重这些关系，我们得到的 AI 不仅聪明，而且知道何时不确定，从而使其在现实世界应用中更安全、更可靠。

技术摘要：测试时提示调优的语义正交校准（SoC）

问题陈述
视觉 - 语言模型（VLMs），如 CLIP，已展现出强大的零样本能力，但在涉及分布外数据或新类别的真实世界场景中部署时面临重大挑战。虽然测试时提示调优（TPT）作为一种无需标注数据即可通过熵最小化优化文本提示以适应新任务的方法应运而生，但该方法往往会导致过度自信的预测，从而造成不确定性校准不佳。

最近的最先进方法，特别是 O-TPT（正交测试时提示调优），试图通过强制文本提示嵌入对之间完全正交来缓解这种过度自信。其直觉是正交原型能增强类别可分性。然而，本文指出，对语义相关类别强制严格正交在理论和经验上均存在缺陷。通过激进地推远所有类别原型，O-TPT 破坏了嵌入空间固有的语义结构（例如，强制“年度作物”和“永久作物”正交，尽管它们在概念上存在重叠）。这种人为的分离导致预测置信度的系统性膨胀，即使模型的预测是错误的，从而降低了校准效果而非改善它。

方法论
作者提出了语义正交校准（SoC），这是一种旨在强制原型分离同时保留语义邻近性的新型正则化器。

基于 Huber 的正则化： 与 O-TPT 使用的二次惩罚（施加与相似度平方成正比的强排斥力）不同，SoC 利用 Huber 损失函数。该损失函数对较小的残差（低相似度对）呈二次型，但对较大的残差（高相似度对）则过渡为线性惩罚。
语义保留： Huber 公式限制了对高度相似类别对的排斥力。这确保了语义相关的类别（在嵌入空间中天然具有高余弦相似度）不会像 O-TPT 那样被激进地推远。正则化器定义为：
$L_{SoC} = L_{TPT} + \lambda \cdot \frac{2}{K(K-1)} \sum_{i<j} L_{Huber}(s_{ij}, \delta)$
其中 $s_{ij}$ 是类别原型 $i$ 和 $j$ 之间的余弦相似度， $\delta$ 是边际阈值。
理论分析： 本文推导了基于最坏情况类别相似度（ $\mu$ ）的 Softmax 置信度下界。分析表明，完全正交（O-TPT）在单次梯度步中激进地降低 $\mu$ ，导致严格更高的置信度下限。相比之下，所提出的基于 Huber 的正则化器对高相似度对施加更温和的排斥，防止置信度过度增加，从而保持更好的校准。

主要贡献

SoC 正则化器： 引入了一种基于 Huber 的 TPT 正则化器，其产生的梯度比完全正交约束更平滑。它有效地保留了相关类别之间的语义结构，同时缓解了严格正交导致的过度分离效应。
理论洞察： 推导了将最坏情况类别相似度与预测不确定性联系起来置信度下界。该分析揭示，完全正交通过激进地降低相似度（即使对于语义相关的类别）系统地膨胀置信度，而所提出的方法通过限制排斥力避免了这一点。
实证验证： 在 11 个多样化数据集（包括细粒度分类、自然领域偏移和卫星图像）上的综合实验表明，与最先进基线（TPT、C-TPT、O-TPT）相比，SoC 一致地提高了校准指标（期望校准误差 - ECE），同时保持了具有竞争力的判别性能。

结果

校准性能： 在 11 个数据集中，除一个数据集外，SoC 在所有数据集上均取得了优于 O-TPT 的最佳 ECE 分数。相比 O-TPT，平均 ECE 提升了 2.3，在细粒度任务中观察到显著增益（例如，EuroSAT 上的 ECE 降低了 14.5 点）。
可靠性： 可靠性图显示，虽然 O-TPT 表现出明显的过度自信（预测概率始终超过观测准确率），但 SoC 生成的曲线更平坦且更接近对角线，表明置信度与准确率之间有更好的对齐。
鲁棒性：
- 多步更新： 当应用两次梯度更新（O-TPT 在此场景下校准性能下降 39%）时，SoC 的退化程度显著较小（23%），这与 O-TPT 的尖锐相似度降低不稳定的理论发现一致。
- 骨干网络变化： 在不同的 ViT 骨干网络（ViT-B/16 和 ViT-L/14）上，SoC 在准确率和 ECE 方面均优于 O-TPT。
- 提示敏感性： 与 O-TPT 相比，SoC 在 18 种不同的初始文本提示下表现出更低的 ECE，表明其对提示初始化的敏感性降低。
计算效率： SoC 的计算复杂度为 $O(n^2)$ ，而 O-TPT 涉及具有 $O(n^3)$ 复杂度的 Householder 变换，使得 SoC 对于类别数量庞大的数据集更加高效。

意义与主张
本文主张，当前基于正交的校准方法的主要局限性在于未能区分几何分离与语义邻近性。通过将 O-TPT 的刚性排斥替换为更平滑的、感知语义的机制，SoC 使 VLMs 能够在适应新任务的同时不牺牲其不确定性估计的可靠性。作者将这项工作定位为迈向更语义感知 VLM 校准方法的一步，这对于医疗保健和自动驾驶等安全关键应用尤为重要，因为在这些领域中，过度自信的错误预测是不可接受的。研究表明，保留语义相似类别的流形结构对于实现真正的校准至关重要，而不仅仅是最大化几何分离。

问题所在：“过于僵化”的修正方案

解决方案：SoC（语义正交校准）

测试时的结果如何？

结论

类似论文