技术摘要：用于增强对伪造背景鲁棒性的自动化背景替换技术

问题陈述

深度神经网络（DNN）通常通过利用伪造相关性（spurious correlations）——即在训练数据中与目标标签相关但缺乏因果关系的视觉线索——来获得最先进的性能。在视觉领域，这些相关性经常表现为图像背景。例如，一个区分牛和骆驼的分类器可能会依赖于草地与沙地的存在，而非动物的形态特征。当这些背景相关性在推理阶段发生变化时（例如，出现在沙地上的牛），性能会发生灾难性下降。

现有的缓解策略，如分布鲁棒优化（DRO）或不变风险最小化（IRM），通常隐含地假设能够获取到打破伪造相关性的训练样本（即“少数群体”或反事实样本）。在实践中，收集此类样本通常极其昂贵或难以实现，特别是当某些目标-背景组合非常罕见或在物理上难以获取时。本文旨在解决如何在初始训练阶段无需访问这些打破相关性的样本的情况下，训练鲁棒分类器的问题。

方法论：AutoBackSwap

作者提出了自动化背景替换（AutoBack-Swap），这是一种数据增强框架，旨在将前景物体与其背景解耦并重新组合，从而打破伪造相关性。该方法由三个主要步骤组成：

1. 解耦（前景/背景检测）：
   训练一个辅助网络（检测器）来预测分离前景与背景的二值掩码。至关重要的是，该检测器是在一个小型辅助数据集（例如，几百个样本）上通过块级（patch-wise）标签进行训练的，而不需要整个训练集的密集分割掩码。该检测器在块级别（例如 $16 \times 16$ 像素块）上运行，以平衡标注成本与精度。

2. 背景填充：
   一旦前景被遮盖，剩余的背景区域就会变得不完整。生成模型（作者使用了 AOT-GAN）执行图像修复（inpainting），以合成完整的背景图像。论文指出，虽然先进的生成模型能产生最佳结果，但使用简单的策略（如像素打乱或常数填充）也能提供具有竞争力的性能，这表明填充质量并非决定鲁棒性的主导因素。

3. 随机重组：
   通过将一幅图像的前景粘贴到另一幅图像的填充背景上，从而创建新的训练样本。为了打破目标标签（$y$）与伪造属性（$a$）之间的相关性，背景是从所有可用背景（或属于特定属性的背景）中随机采样的，无论其原始标签为何。这一过程生成了一个其中前景决定类别、而背景与标签解耦的数据集。

最终的分类器使用该增强后的数据集通过标准的经验风险最小化（ERM）进行训练。

核心贡献

• 可扩展的数据增强： AutoBackSwap 提供了一种可扩展的方法，可以在不需要全量数据集真值分割掩码或无需访问反事实训练样本的情况下，减少对伪造背景的依赖。
• 低标注开销： 该方法证明了训练辅助检测器仅需几百个块级标注样本（在某些基准测试中约为训练数据规模的 5%），这使得它在密集标注成本高昂的领域中具有实用性。
• 挑战环境下的鲁棒性： 与许多在缺乏少数群体数据时失效的现有方法不同，即使在训练集仅包含多数群体（即伪造相关性完全成立）的情况下，AutoBackSwap 依然有效。
• 全面的评估： 作者在多种基准测试（Waterbirds, Spurious, 以及一个新的 Spurious Vehicles 数据集）和设置（一对一及多对多相关性）下评估了该方法，并将其与包括 GroupDRO、CORAL 和基础模型在内的最先进基准进行了对比。

实验结果

论文在三个数据集上进行了广泛的实验：

1. Waterbirds： 一个合成数据集，其中鸟类被放置在陆地或水面背景上。

   • 含有少数群体时： AutoBackSwap 实现了最高的最差组准确率（WGA）达 93.0%，超过了表现次优的基准方法（DFR 为 90.7%），并显著超越了标准的 ERM 基准。
   • 不含少数群体时： 在更具挑战性的设置下（即训练时仅有多数群体可用），AutoBackSwap 达到了 92.2% 的 WGA，大幅领先于所有其他基准方法（表现次优的 Chang 等人的方法降至 79.1%）。这突显了该方法在训练期间未观察到打破相关性的情况下仍能保持泛化能力的能力。

2. Spurious： 一个关于各种环境下犬类品种的数据集，包含一对一和多对多相关性设置。

   • AutoBackSwap 在 9/12 个实验条件下取得了最佳性能。
   • 它始终优于 GroupDRO 和 CORAL 等方法，特别是在相关性保持完好的“多对多”设置中，而这些方法在此时通常表现不佳。

3. Spurious Vehicles： 一个用于不同语境下车辆识别的新型合成基准。

   • 标准基准（ERM, GroupDRO, CORAL）几乎完全失败（WGA 接近 0-10%）。
   • AutoBackSwap 使用学习到的轻量级检测器达到了 87.2% 的 WGA，在使用真值分割时达到了 90.1%，证明了其在极具挑战性的场景下的有效性。

作者还指出，重度数据增强（Mixup, CutMix）往往无法提高鲁棒性，有时甚至会降低性能，这进一步证明了像 AutoBackSwap 这样针对性增强策略的必要性。

重要性与主张

论文声称 AutoBackSwap 为缓解视觉识别系统中对伪造背景的依赖提供了一个实用且有效的解决方案。其主要意义在于：

• 将训练需求与数据可用性解耦： 它消除了对昂贵的、能够打破伪造相关性的反事实数据集的需求，而这正是现有鲁棒性方法的常见瓶颈。
• 以极少的监督运行： 通过利用小型辅助数据集进行检测器训练，它降低了在无法获得平衡数据的现实环境中部署鲁棒分类器的门槛。
• 跨架构泛化： 该方法已被证明对 ResNet 和 Vision Transformer (ViT) 骨干网络均有效。

作者也谦虚地承认了局限性，指出该方法专门针对基于背景的伪造相关性，并不处理前景纠缠偏差或其他失效模式（如纹理偏差）。他们还提醒，重组过程可能会产生语义上不合理的图像，尽管实验表明这并不会损害平均准确率。这项工作将 AutoBackSwap 定位为一种专门用于提高针对背景诱导型伪造相关性鲁棒性的工具，而非解决所有分布偏移问题的通用良方。