💻 computer science

Intrinsic Gradient Suppression for Label-Noise Prompt Tuning in Vision-Language Models

本文提出了一种无需超参数的双软提示微调（DSPT）方法，该方法通过序列概率归一化利用内在梯度抑制，自然地过滤掉来自错误标注样本的极端更新，从而鲁棒地使视觉 - 语言模型适应标签噪声。

原作者： Jiayu Li, Jiaxin Qi, Sheng Zhou, Jiaqiang Huang, Xiansheng Hua

发布于 2026-05-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiayu Li, Jiaxin Qi, Sheng Zhou, Jiaqiang Huang, Xiansheng Hua

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《视觉 - 语言模型中标签噪声提示调优的内在梯度抑制》的通俗解释，辅以生动的类比。

大局观：用一本糟糕的教科书教导一位聪明的学生

想象你有一位名叫CLIP的聪明学生。这位学生已经阅读了数百万本书籍，看过数百万张图片，因此对世界已有大量了解。如果你给他看一张汽车图片并问：“这是汽车还是狗？”他通常能仅凭现有知识（这被称为零样本学习）就猜对。

然而，有时你想教这位学生一项特定的新技巧，比如识别某种非常具体的复古汽车。为此，你不需要重新教授所有内容，只需给他一些“提示词”（称为Prompts）来帮他聚焦。这个过程被称为提示调优（Prompt Tuning）。

问题所在：糟糕的教科书
通常，你使用一本每张图片都标有正确标签的教科书来教导学生。但在这篇论文中，作者设想了一种教科书充满拼写错误和谎言（标签噪声）的场景。

场景：你给学生看一张汽车的图片，但教科书上写着：“这是一只狗。”
反应：因为学生非常聪明，他立刻意识到：“等等，这肯定是一辆车，不是狗！”他对自己的知识非常有信心。
灾难：在标准教学方法中，当学生很自信但老师坚持说他是错的时，学生会受到巨大的“惩罚”（巨大的数学梯度）。学生会想：“好吧，老师这么确定，我一定错了”，于是他们疯狂地试图忘掉自己知道的东西，去迎合这个谎言。
结果：学生变得困惑，忘记了自己原本的知识，表现甚至不如在没有帮助的情况下随意猜测。

解决方案：“双重 Softmax"过滤器

作者提出了一种名为双重 Softmax 提示调优（DSPT）的新教学方法。他们认为，既然学生（CLIP）已经很聪明，我们就应该保守行事。我们不应让老师的错误迫使学生过快改变想法。

以下是他们方法的工作原理，使用类比说明：

1. “双重检查”（过滤器）
想象学生举手回答问题。

标准方法：老师查看答案，发现它与教科书不匹配，立即在桌上重重地敲下巨大的法槌（巨大的梯度）。
DSPT 方法：在老师敲下法槌之前，答案会经过一个双重 Softmax 过滤器。这就像是为老师的反馈配备了一副特殊的降噪耳机。

2. 过滤器如何工作

对于说谎者（噪声样本）：当学生 100% 确定那是汽车，但教科书说是“狗”时，过滤器意识到：“这是一个巨大的不匹配。”它不让老师对学生大喊大叫，而是将老师的声音静音。它将巨大的惩罚降低到几乎为零。学生忽略谎言，保留其原始知识。
对于说真话者（干净样本）：当学生不确定（也许是一辆模糊的汽车）且教科书说是“汽车”时，过滤器让老师的声音通过，但声音柔和。它允许学生学习有用的新细节，而不会被压垮。

3. “饱和区”
论文称此为“自适应饱和区”。这就像汽车上的减震器。

如果你遇到一个小颠簸（一个小的学习机会），汽车行驶平稳。
如果你遇到一个大坑（来自噪声标签的巨大错误），减震器会剧烈压缩，使汽车不会剧烈弹跳。它吸收了冲击，防止汽车（模型）发生碰撞。

为何这很特别

大多数其他方法试图通过添加复杂规则或要求人类调整许多旋钮（超参数）来决定惩罚学生的程度来解决这个问题。

论文的主张：他们的方法是自动的。它不需要调整任何旋钮。由于他们使用的数学方法（双重 Softmax），它自然发生。
结果：在他们的实验中，即使教科书有 80% 的错误，这种简单的方法也能让学生保持良好表现。而其他方法则导致学生的表现比盲目猜测还要差。

类比总结

CLIP 模型：一位拥有强大记忆的聪明学生。
标签噪声：一本充满随机错误答案的教科书。
标准训练：学生被错误答案吓到，忘记了一切，表现糟糕。
DSPT（双重 Softmax）：一个聪明的过滤器，它意识到“学生是对的，书是错的”，并屏蔽了书本的坏建议，让学生只从好的建议中学习。

作者证明，通过将通常被视为坏事的“梯度消失”（信号变得太弱）转化为一种特性，他们创造了一个盾牌，保护模型免受谎言学习的影响。

以下是论文《视觉 - 语言模型中标签噪声提示调优的内在梯度抑制》的详细技术总结。

1. 问题陈述

像 CLIP 这样的视觉 - 语言模型（VLM）展现出卓越的零样本泛化能力。然而，当通过提示调优（Prompt Tuning，即在学习连续提示向量的同时保持骨干网络冻结）将这些模型适配到特定下游任务时，它们对标签噪声仍然高度敏感。

作者指出的核心问题是“梯度激增悖论”：

在标准的交叉熵（CE）损失中，梯度幅值与真实标签和模型预测之间的差异成正比。
预训练的 VLM 拥有强大的先验知识。当样本被错误标记时（例如，一张“汽车”的图片被标记为“狗”），模型的先验会高置信度地正确预测为“汽车”，导致噪声标签“狗”的概率接近于零。
矛盾的是，这种高置信度预测与噪声标签之间的巨大差异会产生不成比例的巨大梯度。
这些巨大的梯度会激进地覆盖预训练知识，导致模型过拟合噪声并降低性能，其表现往往甚至低于零样本基线。

2. 方法论：双 Softmax 提示调优（DSPT）

作者提出了双 Softmax 提示调优（DSPT），这是一个无需超参数的框架，旨在无需复杂的架构更改即可内在抑制这些破坏性梯度。

核心机制：
DSPT 不采用标准的 CE 损失（ $L = -\log(\text{softmax}(z)_{\tilde{y}})$ ），而是应用序列概率归一化：
$L_{ours} = -\log(\text{softmax}(\text{softmax}(z))_{\tilde{y}})$
其中 $z$ 代表来自提示调优模型的 logits， $\tilde{y}$ 是噪声标签。

工作原理：

第一个 Softmax：将 logits $z$ 转换为概率分布 $p = \text{softmax}(z)$ 。
第二个 Softmax：再次对 $p$ 应用 softmax，生成 refined 分布 $q = \text{softmax}(p)$ 。
内在梯度抑制：
- 对于高置信度不匹配（噪声样本）：如果模型对与噪声标签相矛盾的预测具有高度置信度（即可能是错误标记的样本），双 softmax 会将 logits 推入饱和区。理论分析表明，这些样本的梯度幅值收敛于零，有效地“消除”了它们对更新的影响。
- 对于信息丰富/不确定的样本：对于模型置信度较低的样本（可能是模棱两可的，或者是正确标记但困难的），梯度保持在“主动学习区”内，允许模型学习细微的改进。
损失有界性：该方法确保损失函数是有界的，防止模型拟合极端异常值。

3. 主要贡献

理论洞察：本文提供了系统分析，揭示了 VLM 提示调优中的“梯度激增悖论”，即强大的先验知识与噪声标签相结合会产生破坏性的梯度更新。
新颖框架（DSPT）：引入了一种简单的、即插即用的双 Softmax 损失函数，作为内在噪声滤波器。它重新利用了传统上被视为问题的“梯度消失”现象，将其作为噪声抑制的原则性机制。
无需超参数设计：与需要仔细调整阈值或钳制参数的现有方法（如 LogitNorm、LogitClip）不同，DSPT 不需要超参数，使其在不同数据集和噪声率下具有鲁棒性。
理论保证：作者提供了证明，表明 DSPT 会对高置信度不匹配诱导梯度归零，并限制了干净分布与噪声分布之间的期望风险差异。

4. 实验结果

作者在9 个多样化数据集（包括 Caltech101、StanfordCars、OxfordPets、Flowers102 等）的各种噪声条件（对称噪声和成对翻转噪声，比率高达 90%）下评估了 DSPT。

性能：DSPT 始终实现了**最先进（SOTA）**的鲁棒性。它优于 CoOp、LogitNorm、标签平滑以及复杂的 NLPrompt 方法等基线。
- 在高噪声场景下（例如 80% 对称噪声），CoOp 经常失效（性能降至零样本水平以下），而 DSPT 保持了高准确率。
- 在大多数设置中，DSPT 的平均准确率比第二好的方法（NLPrompt）提高了0.4% 到 5%。
对极端噪声的鲁棒性：即使在极端噪声下（90% 对称噪声，80% 成对翻转噪声），DSPT 也显著优于样本选择方法和其他损失鲁棒技术。
梯度分析：实证证据（图 3）证实，DSPT 成功地将错误标记样本的梯度抑制到接近零，同时保持正确标记样本的梯度，而标准 CE 损失则允许噪声样本占据主导地位。
与 LogitClip 的比较：论文强调，LogitClip 对其阈值超参数（ $\tau$ ）高度敏感，且该参数在不同数据集间变化显著。DSPT 完全避免了这种不稳定性。

5. 意义与影响

简单性与通用性：这项工作表明，简单的数学修改（双 softmax）比复杂的手工设计架构能更有效地解决复杂问题（VLM 中的标签噪声）。
范式转变：它挑战了“梯度消失”总是缺陷的传统观点，表明它可以成为预训练模型中过滤噪声的一个特性。
实际适用性：作为一种无需超参数调优的“即插即用”解决方案，DSPT 在标签质量未知或较差的实际应用中非常实用。
未来方向：作者建议将此机制扩展到大型视觉 - 语言模型（LVLM）以用于下游任务，将双 softmax 定位为鲁棒多模态学习的基础构建模块。

总之，本文提出了一种理论扎实、实证优越且实践简单的解决方案，以应对在适配视觉 - 语言模型时标签噪声这一关键问题，该方案利用模型自身的预训练置信度来过滤错误。