💻 computer science

Birds of a Feather Flock Together: Background-Invariant Representations via Linear Structure in VLMs

本文提出了一种预训练方法，该方法利用视觉 - 语言模型嵌入空间的线性可加性，将场景表征分解为前景和背景组件，从而构建背景不变表征，在无需真实世界去偏数据的情况下，于 Waterbirds 数据集上实现了创纪录的最差组准确率。

原作者： Youssef Zaazou, Mark Thomas

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Youssef Zaazou, Mark Thomas

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创造性类比对论文《物以类聚》（Birds of a Feather Flock Together）的解释。

核心问题：“懒惰的侦探”

想象一下，你正在教一个机器人识别动物。你给它看一张北极熊站在冰面上的照片。机器人学会了：“白色皮毛 + 冰面 = 北极熊”。

现在，你给它看一张北极熊站在草地上的照片（也许是在动物园或电影布景中）。机器人困惑了。它想：“等等，没有冰！这一定是另一种动物！”

这就是当前人工智能模型（称为视觉 - 语言模型或 VLM）所发生的情况。它们就像懒惰的侦探，喜欢走捷径。它们不去研究物体（熊），而是研究背景（冰），因为在它们的训练数据中，熊和冰总是同时出现。这被称为虚假相关性。

该论文指出，这些模型太容易被背景景色所迷惑，导致它们在现实世界的场景变化中失败。

秘密超能力：“数学乐高”

研究人员发现了一个关于这些 AI 模型如何“思考”的有趣现象。他们发现，AI 对场景的内部表征就像是一叠透明的乐高积木。

积木 A：物体（鸟）。
积木 B：背景（沼泽或草地）。

在大多数 AI 模型中，这些积木以混乱、纠缠的方式粘在一起。但研究人员发现，在这些特定模型（如 CLIP 和 SigLIP 2）中，积木是完全线性的。这意味着 AI 对“沼泽中的鸟”的“想法”，仅仅是“鸟” + “沼泽”在数学上的完美总和。

因为它们是独立的积木，研究人员意识到可以把“沼泽”积木抽走，只留下“鸟”积木。

解决方案：“抗背景工作坊”

作者们创造了一种新的训练方法，称为BAP（背景不变锚点预训练）。把它想象成一个特殊的 workshop，AI 在这里学习忽略景色。

这个工作坊分两步运作：

第一步：创建“纯鸟”蓝图
研究人员取一张鸟的照片，将其粘贴到数百个不同、随机的背景上（海滩、森林、城市、沙漠）。

他们问 AI：“这只鸟长什么样？”
由于鸟是一样的，但背景每次都变，AI 对背景的回答会被“平均化”并相互抵消。
剩下的就是完美、纯净的鸟的蓝图，没有任何背景噪音。他们称之为锚点（Anchor）。

第二步：“多对一”训练
现在，他们再次让 AI 看同一只鸟，但这次是在新的随机背景上。

他们迫使 AI 将其回答与第一步中创建的纯鸟蓝图进行匹配。
这就像一名教官在喊：“无论背景看起来像什么，你的回答必须匹配这个特定的‘鸟’目标！”
如果 AI 试图利用背景作为线索，它就会受到“惩罚”，因为它与蓝图不匹配。
随着时间的推移，AI 学会了完全忽略背景，只专注于鸟。

结果：为何重要

该论文在一个名为Waterbirds的著名棘手数据集上测试了这种方法（在该数据集中，鸟通常位于陆地或水域，且背景完美匹配）。

旧方法：如果 AI 是在“每只水鸟都在水上”且“每只陆鸟都在陆地上”（100% 相关性）的数据上训练的，那么当测试一只在水上的陆鸟时，它会惨败。它几乎每次都会答错。
BAP 方法：即使 AI 是在100% 误导性线索（没有任何“错误”组合的示例）的数据上训练的，它仍然学会了忽略背景。
得分：新方法在最难的测试案例中实现了超过90% 的准确率，击败了所有先前的方法。

权衡：“专家 vs 通才”

该论文诚实地指出了一个缺点。通过如此严格地教导 AI 忽略背景，它变成了一名专家，但失去了一些通用知识。

之前：AI 可以识别一只鸟，并告诉你它在“森林”里。
之后：AI 在识别鸟方面表现出色，但如果你问它“这是什么地方？”（没有鸟），它可能会感到困惑。因为它被训练成将景色视为“噪音”，所以它忘记了如何识别景色。

作者表示，对于特定任务来说，这是一个很好的权衡。例如，如果你使用相机在野外寻找动物，你希望 AI 即使在不寻常的地方也能找到动物。你并不一定需要 AI 去描述森林。

总结

该论文介绍了一个巧妙的技巧：通过认识到 AI 关于物体和背景的“想法”在数学上是分离的，他们可以训练 AI 平均化背景并锁定物体。这创造了一个超级稳健的 AI，它不会被物体的位置所迷惑，即使在训练数据充满误导性线索的情况下，也能取得破纪录的准确率。

技术摘要：物以类聚

问题陈述

视觉 - 语言模型（VLM），如 CLIP 和 SigLIP 2，被广泛用于图像分类和作为特征提取器。然而，它们的视觉编码器仍然容易受到系统性偏差的影响，特别是背景虚假相关性。在这些情况下，模型依赖于前景物体与其背景之间的偶然联系（例如，将“水鸟”与“水”背景关联），而不是学习鲁棒的目标特征。这导致泛化能力差，并在最坏情况组别中发生灾难性失效，尤其是当训练数据中缺失少数组别示例（例如，陆地上的水鸟）时（100% 虚假相关性）。现有的缓解策略通常要求访问去偏的真实世界数据，或针对每个特定的下游任务进行重新优化，限制了其实用性。

方法论：背景不变锚点预训练（BAP）

作者提出了背景不变锚点预训练（BAP），这是一种两阶段预训练方法，利用了 VLM 嵌入空间中观察到的高线性可加性。核心假设是 VLM 场景表征表现为前景和背景成分的线性叠加（ $z \approx v_{fg} + v_{bg}$ ）。

第一阶段：锚点向量提取

该方法利用冻结的、对比预训练的教师模型（ $f^*_\theta$ ）构建仅包含前景的锚点向量字典：

合成： 将特定的前景物体实例（ $x_{fg}$ ）叠加到 $K$ 张多样化、随机采样的背景图像（ $b_k$ ）上。
平均： 对这些 $K$ 个合成图像的嵌入进行平均，生成均值向量 $\bar{z}$ 。
归一化： 通过对 $\bar{z}$ $\overset{z}{ˉ}$ 进行归一化得到锚点向量 $a$ $a$ 。
- 理论依据： 根据大数定律，随着 $K$ 的增加，背景成分平均为类无关的偏移量（ $\mu_{bg}$ ），而前景信号（ $v_{fg}$ ）得以保留。该过程有效地抑制了判别性背景信号，同时保留了物体的语义结构。

第二阶段：鲁棒对齐预训练

优化学生模型（ $f_\theta$ ）使其表征与预计算的锚点对齐：

输入生成： 将每个前景实例叠加到 $M$ 个新的随机背景上，生成 $M$ 个不同的输入。
目标： 模型最小化每个随机化输入的嵌入与其对应的不变锚点向量 $a$ $a$ 之间的余弦距离。
- 机制： 这强制执行严格的多对一映射，充当表征瓶颈（类似于 $\beta$ -VAE）。编码器被迫丢弃高方差、未共享的特征（背景），仅编码共享的、显著的因素（前景物体）。

主要贡献

新颖的预训练方法： 提出 BAP，利用 VLM 嵌入的线性可加性，在接触目标下游分布之前，使用合成数据提炼背景不变的表征。
最先进的鲁棒性： 在 Waterbirds 基准测试中，在完美（100%）虚假相关性条件下（即训练集和验证集中不存在少数组别示例），实现了超过**90%**的最坏组别准确率（WGA）。这代表了新的最先进水平。
超类泛化： 证明了 BAP 诱导的鲁棒性在超类级别（例如，“车辆”）具有泛化能力。该方法每个超类仅应用一次，生成的特征提取器可重复用于多个下游二分类任务（例如，汽车 vs. 卡车，自行车 vs. 摩托车），无需重新优化。
实用性与效率：
- 该方法仅需50 个分割好的前景物品即可实现接近峰值的鲁棒性。
- 它对不完美的分割掩码（例如，有噪声、腐蚀或粗糙的边界框）保持稳健。
- 它无需访问真实世界的去偏数据，仅依赖合成合成图像。

结果

作者在多个基准测试中评估了 BAP 在 CLIP（基于 Softmax）和 SigLIP 2（基于 Sigmoid）架构上的表现：

Waterbirds（合成）： 在 100% 虚假相关性下，BAP 实现了 92.1%（CLIP）和 92.7%（SigLIP 2）的 WGA，显著优于 DFR、AFR 和 ERM 等基线方法，后者在缺乏少数组别时往往完全失效。
COCO 性别分类： BAP 在 95% 和 100% 虚假相关性条件下保持了稳定的性能，而其他方法在从 95% 相关性过渡到 100% 相关性时显示出显著的性能下降。
CounterAnimal（真实世界模拟到真实）： BAP 成功将鲁棒性迁移到自然图像中，在涉及反语境动物的任务上，与原生预训练编码器相比，WGA 提高了 10 多个百分点。
NICO++（真实世界车辆）： BAP 在车辆分类任务中表现出主导性能，实现了两位数的 WGA 优势。值得注意的是，尽管“卡车”实例被排除在预训练物体池之外，它仍使“汽车 vs. 卡车”的性能提高了30 个百分点，证实了超类级别的不变性。
消融研究：
- 分割质量： 即使使用“有噪声”（膨胀）或“损坏”（腐蚀）的掩码，BAP 仍保持了高 WGA，并且即使使用粗糙的边界框也能显示出提升。
- 数据稀缺： 如果随机上下文数量（ $M$ ）足够高，仅使用 50 个不同的前景物品，性能即可恢复到接近峰值水平。
- 锚点必要性： 移除语义锚点提取（第一阶段）并使用随机正交目标，虽然保留了分布内鲁棒性，但在分布外（OOD）任务中导致了灾难性失效，验证了教师蒸馏语义锚点的必要性。

意义与局限性

论文声称，BAP 为高风险领域（例如医学成像）的实际部署提供了一种高度实用的解决方案，在这些领域中，背景伪影可能导致误分类。通过在微调之前在表征层面确保鲁棒性，它消除了训练期间对少数组别标注的需求。

然而，作者明确承认存在一种权衡：BAP 为了获得前景鲁棒性，有意牺牲了骨干网络在开放世界中的背景识别能力。在场景分类（Places365）上的零样本评估显示，在分类背景或上下文至关重要的物体（例如自动驾驶）时，其能力发生了“灾难性崩溃”。因此，作者将 BAP 定位为一种专用工具，最适合于将目标物体与其周围环境隔离作为主要目标的场景，而非适用于所有视觉任务的通用解决方案。