💬 NLP

Mitigating the Modality Gap: Few-Shot Out-of-Distribution Detection with Multi-modal Prototypes and Image Bias Estimation

本文提出了 SUPREME，这是一个通过集成图像原型、估计用于提示词生成的图像领域偏差，并强制执行图文一致性，从而在无需额外训练的情况下显著优于现有方法的少样本微调框架，旨在缓解视觉语言模型在分布外检测中的模态间隙问题。

原作者： Yimu Wang, Evelien Riddell, Adrian Chow, Sean Sedwards, Krzysztof Czarnecki

发布于 2026-01-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Yimu Wang, Evelien Riddell, Adrian Chow, Sean Sedwards, Krzysztof Czarnecki

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位非常聪明、博学多才的图书管理员（AI 模型），他花费多年时间研究一个特定的图书库（即“分布内”或 ID 数据）。这位管理员非常擅长识别来自该图书馆的书籍。然而，在现实世界中，人们经常带来小册子、杂志或随机传单，并询问：“这是我们图书馆的东西吗？”

问题在于，图书管理员有时会感到困惑。尽管那张传单并不属于图书馆，但它在视觉上可能看起来与书封非常相似，或者上面的文字听起来有些耳熟。这会导致图书管理员错误地认为：“是的，这是我们的东西！”而实际上它是一个全新的事物。这被称为假阳性（False Positive）。

这篇论文介绍了一个名为 SUPREME 的新系统，旨在帮助图书管理员做出更好的决策。以下是其工作原理的拆解，通过简单的概念进行说明：

1. 问题所在：“语言障碍”

这里使用的 AI 模型（称为 CLIP）就像一个精通“图像”和“文本”双语的人。

旧方法： 以前的方法仅要求管理员将传入的图片与一系列文本描述（例如“一张猫的照片”）进行比较。
问题： 这里存在一个“模态间隙（Modality Gap）”。想象一下，“图像”语言和“文本”语言居住在两个不同的社区。即使一张随机狗的图片在语义上与“猫”不同，由于偶然因素，它在 AI 的意识中仍可能意外地落在“猫”这个文本描述附近。这会导致图书管理员产生混淆，从而误收了错误的物品。

2. 第一种修复方案：引入“相册”

作者意识到，仅仅依赖文本描述是有风险的。

类比： 他们不再仅仅询问：“这看起来像‘猫’这个词吗？”，而是同时询问：“这看起来像我们相册里那些真实的猫的照片吗？”
结果： 通过同时使用文本描述和一组真实的示例照片（称为“原型/Prototypes”）作为参考点，系统创建了一个更紧密、更准确的边界。这就像是既拥有字典定义，又拥有相册作为对照。仅此一项就提高了系统的准确性，且无需任何额外的训练。

3. 第二种修复方案：“翻译官”与“偏差”（SUPREME）

为了进一步解决“语言障碍”，他们构建了一个名为 SUPREME 的特殊框架。它有两个主要工具：

工具 A：“偏置提示”（BPG）
- 想象图书管理员正在利用几页样本页进行备考（少样本学习/Few-Shot learning）。他可能会过度死记硬背那些特定的页面，从而无法识别来自同一图书馆但略有不同的新页面。
- 解决方案： 系统添加了一个“高斯偏差（Gaussian Bias）”。你可以把它想象成一个安全网或一张“泛化地图”，展示了图书馆通常是什么样子的。这可以防止管理员过度关注所学习的少量样本页，并帮助他们理解图书馆的整体“氛围”，即使是对于他们从未见过的图像也是如此。
工具 B：“翻译官”（ITC - 图像-文本一致性）
- 问题： “图像”社区和“文本”社区仍然相距甚远。
- 解决方案： 系统在两种语言之间搭建了一座桥梁（翻译官）。它将一张图像翻译成“文本语言”，并检查它是否与文本描述相匹配。然后，它将该文本重新翻译回“图像语言”，并检查它是否仍然看起来像原始图像。
- 目标： 这迫使两种语言靠得更近，缩小了混乱间隙。如果翻译过程完美无缺，系统就知道自己走在正确的轨道上。

4. 最终得分：“超级得分”

最后，论文引入了一种计算最终决策的新方法，称为 $S_{GMP}$ 。

该得分不再只从一个角度（图像 vs. 文本）来看，而是同时观察四个角度：
1. 原始图像 vs. 文本描述
2. 原始图像 vs. 相册
3. 翻译后的图像 vs. 文本描述
4. 翻译后的图像 vs. 相册
通过平均这四个视角，系统能够获得更清晰的图景，从而判断一件物品是否真正属于该图书馆。

核心结论

论文表明，通过将文本描述与真实照片相结合，并利用翻译官来弥合 AI 如何看待图片与如何阅读文字之间的差距，该系统在识别“冒充者”（OOD 数据）方面变得更加出色。

在测试中，这种新方法（SUPREME）始终优于所有现有的方法，它犯错更少，并且能捕捉到更多试图混入图书馆的“伪造”物品。它之所以能做到这一点，并不需要重新训练 AI 的整个大脑，而只需调整它观察数据的方式。

技术摘要：缓解少样本 OOD 检测中的模态间隙

问题陈述
视觉-语言模型（VLMs），特别是 CLIP，已成为异常分布（OOD）检测领域的重要工具。然而，现有的仅依赖文本原型（例如 MCM）的方法受困于“模态间隙”（modality gap）——即图像嵌入与文本嵌入在嵌入空间中占据不同区域的现象。这种分离导致 OOD 图像由于空间上的接近而非语义上的相关性，而表现出与分布内（ID）文本原型的高相似度，从而导致高假阳性率（FPR）。虽然目前已存在少样本微调方法，但它们主要侧重于学习负向文本提示，并未明确解决图像与文本模态之间根本性的不对齐问题。

方法论：SUPREME
作者提出了 SUPREME（一种用于 CLIP 进行 OOD 检测的少样本微调框架）来缓解模态间隙。该方法由三个核心组件组成：

多模态原型（理论与实证基础）：
论文首先证实，在不进行额外训练的情况下，将 ID 图像原型与 ID 文本原型结合使用可以改善 OOD 检测。通过对每个类别的图像嵌入取平均值，作者定义了多模态原型得分（ $S_{MMP}$ ）。理论分析（定理 1）和实证结果表明，这种双原型方法增加了 ID 与 OOD 样本之间的得分间距，有效地减轻了模态间隙的负面影响。
偏置提示生成（BPG）：
为了进一步增强少样本微调期间的泛化能力，SUPREME 引入了 BPG。与以往仅以可学习上下文和图像嵌入为条件的提示方法不同，BPG 将文本原型建立在三个组件之上：
- 可学习的上下文标记（context tokens）。
- 映射后的图像嵌入（ $m(I)$ ）。
- 基于高斯估计的图像领域偏置（ $\mathcal{N}(\mu, \Sigma)$ ）。
  该偏置是从 ID 图像嵌入的分布中估计得出的。通过将此偏置纳入提示生成过程，该方法防止了在有限少样本数据上的过拟ity（过拟合），并将文本原型与 ID 图像的真实分布对齐得更紧密，从而增强了图文融合。
图文一致性（ITC）：
为了直接最小化模态间隙，SUPREME 采用了两个可学习的映射：图像到文本的映射（ $f_{img-txt}$ ）和文本到图像的映射（ $f_{txt-img}$ ）。在保持 CLIP 主干网络冻结的情况下，利用两个损失函数对它们进行优化：
- 模态间损失（ $\ell_{inter}$ ）： 最小化映射后的嵌入与其原始对应物之间的距离（例如，确保 $f_{img-txt}(I)$ 与文本原型对齐）。
- 模态内损失（ $\ell_{intra}$ ）： 从映射后的嵌入中重建原始嵌入，以防止信息丢失（例如， $f_{txt-img}(f_{img-txt}(I)) \approx I$ ）。
广义多模态原型得分（ $S_{GMP}$ ）：
基于多模态研究结果，作者提出了一种新的 OOD 评分函数 $S_{GMP}$ 。该得分利用了单模态和跨模态的相似性。它计算以下项的最大相似度的平均值：
- 原始图像嵌入（ $I$ ）与文本/图像原型之间的相似度。
- 映射后的图像嵌入（ $I' = f_{img-txt}(I)$ ）与文本/图像原型之间的相似度。
  这种集成确保了原始表示和对齐后的表示都能为最终决策做出贡献，从而增强了鲁棒性。

核心贡献

模态间隙分析： 论文提供了理论和实证证据，证明模态间隙会对基于 VLM 的 OOD 检测产生负面影响，并且引入图像原型可以在无需训练的情况下缓解这一效应。
SUPREME 框架： 一种新颖的少样本微调方法，包含 BPG（通过领域偏置提高泛化能力）和 ITC（通过一致性损失减少模态间隙）。
新评分指标： 引入了 $S_{GMP}$ ，它利用多模态原型和跨模态相似性来提高 ID 与 OOD 分布之间的分离度。
达到最先进性能（SOTA）： 大量实验表明，该方法在性能上持续超越现有的零样本和少样本 OOD 检测方法。

实验结果
作者在 ImageNet-1k 和 ImageNet-100 作为 ID 数据集，针对四种不同的 OOD 数据集（iNaturalist, SUN, Places, Texture）以及 OpenOOD 基准测试集上对 SUPREME 进行了评估。

ImageNet-1k： SUPREME 实现了 20.70% 的平均 FPR95 和 95.38% 的 AUROC，优于 NegPrompt (23.01% FPR95) 和 LoCoOp (28.66% FPR95) 等强基线模型。
ImageNet-100： 该方法实现了 8.47% 的平均 FPR95 和 98.08% 的 AUROC，显著超过了 CoOp 和 CoCoOp。
硬核 OOD (ImageNet-10/20)： SUPREME 在具有高度语义重叠的场景中展现了鲁棒性，在两个方向上均实现了最低的 FPR95（分别为 4.10% 和 3.60%）。
消融实验： 移除 BPG 或 ITC 会导致性能显著下降（例如，FPR95 上升至约 28%），证实了这两个模块的必要性。使用 $S_{GMP}$ 代替 $S_{MCM}$ 也带来了可衡量的改进。
ID 准确率： SUPREME 保持了极高的 ID 分类准确率（ImageNet-1k 上为 71.8% Top-1），优于其他专注于 OOD 的方法。

意义与主张
本文声称 SUPREME 解决了当前基于 VLM 的 OOD 检测中的一个关键局限：模态间隙。通过超越仅文本原型的模式，并引入对齐图像与文本空间的机制（通过 BPG 和 ITC），该方法显著减少了假阳性。作者强调，该方法在无需在训练期间访问 OOD 数据的情况下提高了可靠性，仅依赖于一小部分 ID 数据（每类 16 个 shot）。这项工作表明，显式建模模态之间的关系对于在现实世界部署中实现鲁棒的 OOD 检测至关重要。