Density-Aware Translation of Spurious Correlations in Zero-Shot VLMs

技术摘要：针对零样本视觉-语言模型中伪相关性的密度感知转换

问题陈述
视觉-语言模型（VLMs），如 CLIP，通过在共享潜空间中对齐图像和文本嵌入，展示了强大的零样本分类能力。然而，这些模型仍然高度容易受到**伪相关性（spurious correlations）**的影响，即预测依赖于频繁出现但语义无关的上下文线索（例如背景），而非有意义的内容。

本文识别了一个几何层面的根本原因：CLIP 嵌入在特征空间中呈现出各向异性的椭球结构（anisotropic, ellipsoidal structure）。常见模式（通常与伪属性相关联）聚集在分布的均值附近，而稀有但具有语义意义的模式则位于更稀疏的边缘区域。这种几何结构导致了不均匀的对齐：

1. 伪相关性被放大，因为频繁出现的样本与模态均值向量对齐得非常紧密。
2. 具有语义意义但稀有的线索被边缘化，其获得的相似度得分低于与伪属性对齐的样本。
3. 标准余弦相似度假设分布是各向同性的，未能考虑到这种密度变化，从而导致对代表性不足的群体产生系统性偏差。

现有的缓解策略通常依赖于微调（这会削弱零样本泛化能力）、提示工程（容易导致幻觉和对齐失效）或监督概念发现（需要带有伪属性标签的数据）。

方法论：密度感知转换 (DAT)
作者提出了密度感知转换 (DAT)，这是一种零样本校准机制，通过利用来自组参考集的局部几何密度项来优化图像-文本相似度得分。该方法在无需更新模型参数且在测试时无需访问伪属性标签的情况下运行。

其核心组件包括：

1. 组参考集构建： 利用采样程序为每个组（由类别 $y$ 和伪属性 $a$ 定义）构建一个小型、平衡的参考样本集。为了确保稳定性，采用了确定性的特征空间样本赫德法（exemplar herding）来选择其运行平均值与组均值相匹配的嵌入。
2. 密度估计： 对于查询图像，使用**简化局部离群因子（Simplified Local Outlier Factor, SLOF）**来估计其相对于组参考集的局部密度。较高的 SLOF 值表示样本位于稀疏区域（代表性较低），而较低的 SLOF 值则表示位于稠密区域。
3. 密度转换： 基于估计的密度对图像与组提示之间的原始相似度得分进行重新缩放。具体而言，分布在弥散（稀疏）区域的样本得分会被抑制，而分布在稠密、语义一致区域的样本得分则会被保留。转换公式为：
   $$\tilde{s}_{y,a}(x) = \frac{s_{y,a}(x)}{(D_{y,a}(z) + \epsilon)^\lambda}$$
   其中 $s_{y,a}$ 是原始相似度，$D_{y,a}$ 是密度代理，$\lambda$ 控制转换强度，$\epsilon$ 用于确保稳定性。
4. 预测聚合： 通过最大化经过组校正后的得分和类别边际（属性平均）得分来进行最终预测，以确保在不同聚合策略下的鲁棒性。

针对无法获取伪属性标签的场景，引入了变体 DAT*。它通过选择与图像嵌入相似度最大的属性提示来零样本地推断组归属。

理论分析
论文通过使用 Kent (Fisher-Bingham) 分布对组分布进行建模，为 DAT 提供了理论依据，该分布捕捉了 CLIP 嵌入的各向异性特征。

• 余弦相似度的偏差： 作者证明了在各向异性空间中，原始余弦相似度会系统性地偏离贝叶斯最优决策边界。它恢复了对数密度的线性轴向项，但忽略了二次各向异性项。
• 贝叶斯对齐： 在假设密度代理（SLOF）的对数忠实于负对数密度的前提下，作者表明 DAT 恢复了缺失的对各向异性敏感的对数似然项。因此，DAT 判别式与贝叶斯最优评分规则对齐，纠正了纯余弦评分固有的偏差。

主要贡献

1. DAT 机制： 引入了一种零样本机制，通过使用组参考密度来重新缩放图像-文本相似度，无需微调、无需提示工程，且在测试时无需访问伪属性标签。
2. 理论修正： 通过理论分析证明了 DAT 通过恢复缺失的对数似然项并与贝叶斯最优决策规则对齐，纠正了余弦相似度在各向异性嵌入下的偏差。
3. 实证验证： 在多个基准测试（Waterbirds, CelebA, COVID-19, FMoW）和多种 VLM 骨干网络（CLIP 变体, ALIGN, AltCLIP）上的综合实验表明，该方法在最差组（WG）准确率和平均准确率方面均有持续提升。

实验结果
作者在标准的伪相关基准测试上评估了 DAT：

• Waterbirds： 在所有 CLIP 骨干网络中，DAT 取得了最高的最差组 (WG) 准确率，超越了最强的先前基线（TIE）约 4–14%，具体取决于骨干网络。例如，在使用 CLIP ViT-L/14 时，DAT 达到了 83.33% 的 WG 准确率，而 TIE 为 78.82%。
• CelebA： DAT 和 DAT* 在大多数指标上（尤其是 WG 准确率）表现最为强劲，通常优于 TIE 和 ROBOSHOT 等最先进的方法。
• 医学与多标签领域： 在 COVID-19 数据集（使用 BiomedCLIP）上，DAT 比最新的基线提高了 20% 以上的 WG 准确率。在复杂的 FMoW 数据集上，DAT 在显著缩小两者差距的同时，获得了最高的 WG 和平均准确率。
• 泛化能力： 该方法在包括 ALIGN 和 AltCLIP 在内的不同 VLM 中展现了鲁棒性，始终优于以往的去偏方法。

意义与主张
论文声称 DAT 提供了一种简单且有效的校准机制，用于实现可靠的零样本分类。其重要性在于解决了视觉-语言模型的几何局限性，且不损害零样本范式。通过显式建模各向异性和局部密度，DAT 减轻了标准基于相似度推理中存在的伪相关性放大问题。

作者将 DAT 定位为一种针对预训练多模态嵌入中固有几何偏差的后验校正，而非训练型去偏方法的替代品。他们总结道，未来的工作应探索对参考集选择和提示设计敏感度较低的自适应多模态密度估计方法，但强调当前的方法为提高组鲁棒性提供了一个强大的、无参数的基准。