🤖 AI

Variational Adapter for Cross-modal Similarity Representation

本文提出了用于跨模态相似性表示的变分适配器（VACSR），该方法将图文匹配重新表述为一个变分推理问题，以构建一个潜在相似性空间，从而减轻细粒度标注稀缺和二元分类边界带来的负面影响，进而增强在检索和领域自适应任务中的泛化能力。

原作者： WenZhang Wei, Zhipeng Gui, Dehua Peng, Tiandi Ye, Huayi Wu

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： WenZhang Wei, Zhipeng Gui, Dehua Peng, Tiandi Ye, Huayi Wu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正试图教一个机器人理解图片与文字之间的关系。你给它看一张狗的照片和"dog"这个单词，它学会了它们是匹配的。你给它看一张猫的照片和"dog"这个单词，它学会了它们不匹配。

问题：“非黑即白”的陷阱
大多数目前的 AI 模型都是使用一种非常严格的、二元化的规则书进行训练的：一张图片和一个单词要么是完美匹配（100% 是），要么是完全不匹配（100% 否）。

论文指出，这就像试图仅用“亮”或“暗”这两个词来描述一场日落。实际上，世界充满了各种灰色地带。

缺陷： 有时，一张图片和一个单词并不完全匹配，但也不是完全不相关的。例如，一张“停放的摩托车”的照片，虽然它没有被标记为与"motorcycle"这个单词匹配（因为数据标注是稀疏的、二元的），但在人类看来，它们显然共享着物体层面的语义联系。旧的严格规则书迫使机器人将这种具有部分语义关联的配对视为彻底的“敌人”。
后果： 这产生了“假阴性”——即那些实际上具有一定相似性、却因为标签说是“否”而被惩罚的配对。这会让机器人感到困惑，使其难以理解微妙的联系。

解决方案：变分适配器 (VACSR)
作者提出了一种名为 VACSR 的新工具。你可以把它想象成一个智能翻译器或一个缓冲地带，位于图片和单词之间。

与其强迫 AI 做出“是”或“否”的决定，VACSR 会问：“这对图文之间的匹配程度，我们的把握有多大？”

置信度计： 想象 AI 对每一组“图片 - 单词”对都有一个置信度计，但它衡量的不是图片或文字本身的清晰度，而是它们之间关系的确定性。
- 如果图片清晰地显示是一只狗，且单词是"dog"，计表会显示：“我 100% 确定这是匹配的！”（低不确定性）。
- 如果图片是一辆停放的摩托车，而单词是"motorcycle"，旧的 AI 会大喊“错了！”（因为标注为负），而新的 VACSR AI 会说：“它们不是完美的标注匹配，但它们在语义上是相关的。我会给出一个‘也许’的分数，承认这种部分相似性，而不是生硬的‘否’。”
- VACSR 的核心在于它不认为图片本身是模糊的，而是认为这种图文配对关系的性质是模糊的，它量化了这种关系的潜在不确定性。
高斯混合模型（“双脑”机制）： 为了处理这种复杂性，该系统使用了一个“高斯混合模型”。想象 AI 不仅仅有一个大脑，而是有两个略有不同的视角在协同工作。
- 关键点： 这两个视角并不分别代表“物体”和“语境”。相反，它们只是两个不同的数学视角，共同协作以捕捉更复杂的匹配模式。
- 通过结合这两个视角，AI 能够构建一个更丰富的“相似度分布”，从而理解像“停放的摩托车”与"motorcycle"这样具有部分语义关联的配对，而不仅仅是依赖单一的、僵化的判断。
安全阀： 系统学会了将高不确定性分配给这些令人困惑的“假阴性”案例。当 AI 不确定时，它本质上是在说：“不要太相信我的‘否’答案，标签可能是不完整的或有误的。”这防止了 AI 从不完美的标签数据中学到错误的教训。

测试结果如何？
研究人员在各种基准任务上测试了这个“智能缓冲器”，包括 COCO、ECCV Caption、CxC 和 ImageNet 变体等数据集，以及从基础类别到新颖类别的泛化测试。

更强的抗噪性： 他们故意弄乱了训练数据（给 20% 甚至 50% 的配对错误的标签）。虽然其他模型崩溃失败了，但 VACSR 依然表现良好。这就像一个学生，即使老师给的复习指南有一半答案是错的，他依然能通过考试，因为这个学生学会了去质疑这份指南中的二元判断，转而寻找潜在的语义联系。
更好的泛化能力： 该模型在识别从未见过的东西（如新型动物）方面变得更好，因为它学习的是“相似性”的概念，而不仅仅是死记硬背特定的标签。
关于细微差别的动机： 论文中提到了像《蒙娜丽莎》这样的例子，但这并非作为实验结果展示的（即模型并没有在实验中专门去“寻找”它）。相反，它是用来说明图像与文本之间相似性的复杂性和主观性：为什么“神秘的微笑”很难用简单的“是/否”来定义。VACSR 正是为了解决这种难以用二元标签概括的细微差别而设计的。

总结
这篇论文介绍了一种方法，它不再将图文匹配视为一个简单的“是/否”开关。相反，它将这个开关变成了一个调光旋钮，允许 AI 表达匹配关系的不确定性。通过在数据模糊时承认“我不确定这种关系是绝对的否”，AI 避免了被不完美的标签所困扰，从而变得更加聪明，能够更好地理解现实世界中复杂的图文联系。

技术摘要：用于跨模态相似性表示的变分适配器 (VACSR)

1. 问题陈述

本研究解决的核心挑战是当前视觉 - 语言模型（VLMs）受限于图像 - 文本匹配数据集中二元稀疏标注（例如 MS-COCO）的问题。虽然像 CLIP 这样的模型通过在共享空间中对齐图像和文本实现了出色的语义理解，但训练数据通常将连续的相似性谱系强制压缩为二元的“匹配”或“不匹配”分类。

这种离散化造成了两个主要问题：

假阴性 (False Negatives, FNs)： 具有真实语义相似性的样本对被错误地标记为不匹配，因为它们缺乏特定的“匹配”标注。这些 FNs 破坏了表示空间的语义一致性。
次优的不确定性分配： 现有的概率嵌入方法试图建模模态内歧义，但往往依赖相同的二元标注进行损失计算。因此，它们可能会将高不确定性归因于具有明确语义信息的样本（仅仅因为其标注是二元的），或者无法区分真实的歧义与标注错误。

作者认为，标准的成对损失函数（对比损失或 Sigmoid 损失）在没有大量超参数微调的情况下，难以缓解由 FNs 引起的梯度干扰，从而导致在检索和分类等下游任务中的泛化能力受损。

2. 方法论：VACSR

提出的用于跨模态相似性表示的变分适配器 (VACSR) 将图像 - 文本匹配重新定义为潜分布空间内的变分推理问题。VACSR 不再将相似性视为确定性的标量，而是将其建模为一个分布，以恢复连续且平滑的匹配关系。

架构概述

特征交互： 通过 Hadamard 积（逐元素相乘）结合预训练 CLIP 编码器提取的图像和文本特征，生成相似性向量表示，并保持维度不变以便后续编码。
变分适配器： 一个基于变分自编码器 (VAE) 结构的轻量级适配器，用于处理这些相似性向量。它由以下部分组成：
- 编码器： 将输入的相似性向量映射到潜空间。为了处理复杂的语义分布，后验分布被近似为一个双分量高斯混合模型 (GMM)，而非单峰高斯分布。
- 解码器： 从潜变量中重建相似性得分。
优化目标： 模型优化证据下界 (ELBO)，其中包括：
- 重建损失 ( $L_{recon}$ )： 最小化重建相似性与二元标签之间的均方误差 (MSE)，但通过学习到的不确定性进行加权。
- KL 散度 ( $L_{KL}$ )： 将 GMM 后验向标准正态先验正则化。使用可解析的上界来计算混合模型中的 KL 散度。
- 分布优化损失 ( $L_{\sigma}$ )： 一种旨在自适应校准潜表示不确定性（方差）的新颖损失项。

核心机制：不确定性校准

核心创新在于 $L_{\sigma}$ 如何管理不确定性：

对于正样本和信息丰富的硬负样本 (Hard-Negative Samples)： 模型被鼓励学习低不确定性（小方差），以确保高置信度和强判别能力。
对于假阴性 (FNs)： 模型分配高不确定性（大方差）。这有效地降低了错误二元标注的梯度贡献，防止模型被迫分离语义相似的样本。
数学公式： 方差 $\hat{\sigma}^2$ 的优化使得它能够近似模型输出与标签之间的平方距离。远离标签的样本（潜在的 FNs）自然会获得更高的方差，从而减少它们对优化方向的影响。

3. 主要贡献

相似性的重新定义： 本文提出将跨模态相似性建模为潜概率变量而非确定性数值，从而显式地解决细粒度标注稀缺的问题。
变分适配器设计： 引入了一种轻量级的、基于 VAE 的适配器，该适配器利用高斯混合模型来捕捉复杂的语义分布，并使用特定的方差优化损失来区分真实的歧义与标注错误。
不确定性感知训练： 该方法为假阴性样本对分配更高的不确定性，以减轻错误的梯度影响，同时保持可靠样本的低不确定性，以维持检索精度。
高效性： 该适配器使用简单的两层 MLP 结构，与先前工作中基于 Transformer 的不确定性预测器（如 PCME++）相比，显著降低了参数量。

4. 实验结果

作者在图像 - 文本检索、噪声对应关系、领域泛化以及从基础到新颖 (Base-to-Novel) 泛化任务上评估了 VACSR。

图像 - 文本检索： VACSR 在 COCO、ECCV Caption 和 CxC 数据集上达到了最先进的性能。值得注意的是，在多种骨干网络（ViT-B/32 和 ViT-B/16）上，它比强基线模型（如 PCME++）在 R@1 指标上提升了 3.2% 至 7.1%。
对噪声的鲁棒性： 在噪声对应关系实验（20% 和 50% 噪声率）中，VACSR 展示了卓越的稳定性。在 50% 噪声下，它保持了领先性能，而其他方法性能大幅下降，在特定指标上比次优方法提升了高达 20.7%。
泛化能力：
- 领域泛化： 在 ImageNet 及其变体（V2, S, A, R）上，VACSR 取得了最佳的零样本分类准确率，表明其对领域偏移具有鲁棒性。
- 从基础到新颖的泛化： VACSR 在 11 个数据集上超越了大多数基线方法，并实现了具有竞争力的从基础到新颖泛化性能，其调和平均分为 80.37，证明了其通过建模连续语义分布来泛化至未见类别的能力。
消融实验： 实验证实了高斯混合模型先验和不确定性校准损失 ( $L_{\sigma}$ ) 是关键组成部分。移除它们会导致性能下降，尤其是在对排序质量敏感的指标（mAP@R, R-P）上。

5. 重要性与主张

本文声称 VACSR 为二元标注的多模态数据中固有的“假阴性”问题提供了鲁棒的解决方案。通过从确定性拟合转向变分推理，该方法有效地恢复了跨模态相似性的连续本质。

作者强调，他们的方法不仅是在建模数据歧义，而是专门针对标注缺陷。通过为可能属于假阴性的样本分配更高的不确定性，模型避免了对错误标签的过拟合，从而增强了在标注稀疏或不完美的现实场景中的泛化能力。这项工作表明，概率性相似性表示是提高视觉 - 语言模型在下游任务中可靠性和适用性的一个可行且有效的方向。