🤖 machine learning

Mitigating Spurious Correlations with Memorization-Guided Dataset De-Biasing

本文提出了一种两阶段样本评分函数，通过解耦核心特征与伪特征的学习动态来识别并优先处理信息丰富的子集，使标准模型在无需组标签的情况下，仅使用原训练数据中低至 10% 的数据即可实现卓越的去偏性能。

原作者： Arda Fazla, Abolfazl Hashemi

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Arda Fazla, Abolfazl Hashemi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《通过记忆引导的数据集去偏实现缓解伪相关》（Mitigating Spurious Correlations with Memorization-Guided Dataset De-Biasing）的解释，采用了通俗易懂的语言和富有创意的类比。

问题所在：AI 的“作弊码”

想象一下，你正在教一个孩子识别鸟类。你给他看 100 张照片。

90 张照片显示啄木鸟站在树上。
10 张照片显示啄木鸟站在水面上（可能是在捕鱼）。

如果当你指着树上的啄木鸟问孩子：“这是什么鸟？”时，他很可能会说“啄木鸟”。但这里有一个陷阱：这个孩子并没有真正观察鸟的喙或羽毛（这些是核心特征），而是在观察树木（这是伪特征）。

因为树木在 90% 的啄木鸟照片中都出现了，所以孩子学会了一个“作弊码”：如果我看到树，那就是啄木鸟。

现在，给孩子看一张啄木鸟在湖边的照片。由于孩子依赖于这个“树木作弊码”，他会感到困惑，可能会说：“这不是啄木鸟！”或者猜错成别的鸟。

在 AI 世界中，这被称为伪相关（Spurious Correlation）。AI 学习的是容易、显眼的模式（背景），而不是困难、重要的模式（实际物体）。这导致 AI 在遇到打破模式的情况（比如水面上的鸟）时会失效。

旧方案 vs. 新问题

研究人员曾尝试通过丢弃“容易”的照片并保留“困难”的照片（例如水面上的鸟）来修复这个问题，从而强迫 AI 学习真实的特征。

然而，这里有一个难点：要做到这一点，你通常需要知道哪些照片是“困难”的，哪些是“容易”的。这需要人类为每一张照片贴上一个秘密标签（例如：“这是一只水边的鸟”）。但在现实世界中，我们很少拥有这类标签。

此外，该论文认为，我们通常用来寻找“困难”照片的工具是失效的。这些工具通过观察 AI 的错误来判断：“这张照片很难，因为 AI 答错了。”但如果 AI 已经在利用背景进行作弊，那么它只有在背景缺失时才会把“容易”的照片（树上的鸟）答错，而在背景存在时则可能靠运气答对“困难”的照片。旧工具会产生混乱，选错需要保留的照片。

新方案：“两阶段侦探”

作者提出了一种名为 TCSL-CS 的新方法。你可以把它想象成一个不需要人类标签就能找到“作弊者”的两步侦探过程。

第一步：“偏差侦探”（训练伪模型）

首先，他们训练一个特殊的 AI 模型，这个模型的设计目标是：对鸟类特征观察得很差，但对背景观察得非常好。

他们训练这个模型，并给它一个特殊的奖励：“如果你仅仅通过观察背景就答对了，你会获得加分。”
这迫使该模型尽可能快地学会“作弊码”（背景）。
一旦这个模型训练完成，他们就会观察照片。如果“偏差侦探”对某张照片非常有信心，说明这张照片具有很强的、明显的背景模式。如果侦探感到困惑，则说明背景很复杂或缺失。

第二步：“真相侦探”（训练核心模型）

接下来，他们训练第二个模型来学习真正的鸟类特征。

精妙之处在于：他们告诉这个第二模型，“忽略背景。事实上，我们已经知道背景长什么样了（来自第一步），所以我们会从你的任务中减去这些知识。”
这迫使第二个模型完全专注于鸟的喙和羽毛，因为背景的“噪音”已经被抵消了。

第三步：评分卡（TCSL）

现在，作者为每一张照片都有两个分数：

伪相关分数（Spurious Score）： 这张照片在多大程度上依赖于背景？（来自第一步）。
核心分数（Core Score）： 在忽略背景后，识别这只鸟有多难？（来自第二步）。

他们利用这些分数来构建一个新的、更小的训练集（Coreset/核心集）。他们挑选出符合以下条件的照片：

具有低伪相关分数（意味着背景不是作弊码）。
具有高核心分数（意味着鸟类本身很难识别，因此 AI 需要通过它来学好）。

结果：一个更小、更聪明的数据集

作者在多个数据集上进行了测试（例如识别陆地与水面的鸟，或不同环境下的猫与狗）。

神奇之处： 他们能够丢弃原数据集中 90% 的数据。
结果： 他们取剩余 10% 的“最佳”照片（由他们的“两阶段侦探”筛选），并用这些照片训练了一个标准的 AI。
胜利： 这个精选出的微型数据集使 AI 的表现优于那些需要人类标签的复杂、昂贵的 AI 方法。AI 不再通过背景作弊，而是开始真正识别物体，即使在困难的情况下也是如此。

总结类比

想象你正在准备一场历史考试。

旧方法： 你学习教科书上的每一页。你记住了“第 50 页有一张红旗的照片”，所以对于每个问题你都猜“红旗”。当问题涉及到蓝旗时，你就失败了。
本文的方法： 你请了一位导师，这位导师首先教你如何识破“红旗”这个套路（第一步）。然后，导师告诉你：“现在，忽略那些旗帜，去研究实际的日期和姓名吧”（第二步）。
结果： 导师给了你一份只有 10 个最重要、最难的问题组成的“速成笔记”（第三步）。你只学习这 10 个问题，然后你就高分通过了考试，因为你掌握的是真正的历史，而不只是图片。

该论文声称，通过使用这种“两阶段”方法来选择最好的 10% 数据，你可以构建一个鲁棒的 AI，而无需知道秘密标签或使用复杂的数学技巧。

技术摘要：通过记忆引导的数据集去偏实现缓解伪相关性

问题陈述

现实世界的数据集经常包含伪相关性（spurious correlations）——即在某一类别中高度一致，但与目标标签并无因果关系的特征。通过经验风险最小化（ERM）训练的深度学习模型通常表现出简单性偏差（simplicity bias），即在捕捉复杂的核特征（core features）之前，会优先学习这些较简单的伪特征。这导致在测试数据中伪相关性不再成立时，模型的**最差组准确率（worst-group accuracy, WGA）**表现不佳，特别是在伪属性与标签不一致的少数群体中。

虽然现有缓解此类偏差的方法通常通过复杂的优化技术或需要访问组标签（伪属性）来偏离标准的 ERM，但目前迫切需要能够减少对伪相关性依赖、同时保留标准 ERM 训练的方法。一个潜在的解决方案是核心集选择（coreset selection）——构建能够代表完整训练分布的高质量数据子集。然而，本文指出，广泛使用的样本评分函数（如 EL2N、SelfSup）和核心集选择算法在此背景下均会失效。由于简单性偏差的存在，这些评分函数会被伪特征所主导，将具有强伪相关性的样本误分类为“容易”样本，而将不具备伪相关性的样本误分类为“困难”样本。因此，标准的选择策略无法优先选取实现组鲁棒性所需的困难核特征。

方法论

作者提出了 TCSL-CS（两阶段累积样本损失引导的核心集选择），这是一个旨在无需组标签即可解耦核特征与伪特征学习动态的框架。

1. 理论基础

论文在神经切线核（NTK）机制和尖峰协方差模型下提供了理论分析。研究表明，在简单性偏差条件下（ $\beta_s(2\alpha - 1) > \beta_c$ ，其中 $\beta$ 代表特征强度， $\alpha$ 为多数组比例），伪特征在训练早期阶段的学习速度显著快于核特征。这种快速学习导致样本损失（以及标准的评分）被伪属性所主导，使得它们在识别具有困难核特征的样本时变得无效。

2. 两阶段模型训练

为了解耦这些动态过程，作者引入了一种两阶段训练方案（算法 1）：

第一阶段（伪模型， $f_s$ ）： 训练一个仅学习伪特征的有偏模型。这是通过在每个 epoch 增加具有最低损失样本的权重来实现的，从而有效地放大对伪属性与标签一致（ $a=y$ ）样本的学习。
第二阶段（核模型， $f_c$ ）： 冻结 $f_s$ 的权重。使用一种结合了伪模型 logit 作为负反馈机制的修正损失函数来训练核模型：
$L(B_t, W^c_t) = \sum_{i \in B_t} \lambda_i \ell\left(y_i, f_c(x_i; W^c_t) + \log(f_s(x_i))\right)$
这促使 $f_c$ 通过补偿有偏模型的预测来学习核特征。

3. 两阶段累积样本损失（TCSL）

基于训练好的模型，作者定义了一种新的评分指标 TCSL，它由两个部分组成：

$TCSL_s(x)$ ： 伪模型 $f_s$ 的累积损失。高分表示伪特征较弱或与标签不一致的样本。
$TCSL_c(x)$ ： 核模型 $f_c$ 的累积损失。该分数反映了核特征的难度，且独立于伪属性。

4. TCSL-CS 算法

核心集选择算法（算法 2）通过两个阶段构建鲁棒子集：

识别高伪属性样本： 利用 wKMeans 对 $TCSL_s$ 分数和损失曲线进行处理，算法识别出一组具有高伪属性难度（即缺乏强伪相关性的样本）的样本（ $G_{high}$ ）。从中选择一个子集以确保核心集包含具有挑战性的类少数群体样本。
填充剩余配额： 根据 $TCL_c$ $T C L_{c}$ 分数从多数组（ $G_{low}$ $G_{l o w}$ ）中填充剩余名额。
- 如果选择比例 $r$ 较高（ $r \geq \tau$ ），算法选择最低 $TCSL_c$ 分数的样本（最容易的核特征）以最大化平均准确率。
- 如果 $r$ 较低（ $r < \tau$ ），算法使用基于直方图的选择（SelectHist），从不同 $TCSL_c$ 难度的区间中进行采样，以确保核特征难度的多样性，防止排除掉困难的核特征。

核心贡献

TCSL 分数： 一种新型度量指标，能够分别量化核特征和伪特征的学习难度，解决了现有评分在简单性偏差下无法解耦这两个组件的问题。
TCSL-CS 算法： 一种无需访问组标签即可实现高最差组准确率的组鲁棒核心集选择方法。它利用 TCSL 分数来构建平衡平均准确率和最差组性能的核心集。
理论分析： 在 NTK 机制下的严谨分析证明了伪特征主导了早期学习动态，解释了为什么标准的基于损失的评分在伪相关场景下会失效。
经验优越性： 证明了在仅使用 10% 原始训练数据的情况下，基于 TCSL-CS 核心集训练的标准 ERM 模型性能优于现有的主流去偏技术（包括需要组标签的方法）。

实验结果

作者在四个已知存在伪相关性的数据集上评估了 TCSL-CS：Waterbirds、cMNIST、MetaShift 和 UrbanCars-B。

对比去偏基准性能： 在 Waterbirds 上，TCSL-CS 将标准 ERM 模型的 WGA 提升了 10.44%，超越了需要组标签的 GroupDRO 以及其他去偏方法（如 LC、DFR 和 JTT）。在 cMNIST（其伪相关性极强， $\alpha=0.995$ ）中，TCSL-CS 比次优方法高出超过 11%。
对比核心集选择基准性能： TCSL-CS 在所有数据集上都显著优于标准的核心集选择方法（EL2N、SelfSup、Random、D2）。例如，在 Waterbirds 上，基于 EL2N 的方法 WGA 分数低至 39.88%，而 TCSL-CS 达到了 91.91%。
数据效率： 该方法仅使用 10% 的训练数据就达到了最先进的性能。
消融研究： 实验证实了 $TCSL_s$ 和 $TCSL_c$ 成功解耦了伪特征和核特征的难度，显示出与仅在伪特征或核特征上训练的模型所得到的评分之间具有极高的余弦相似度。

意义与主张

本文声称 TCSL-CS 提供了一种可扩展且有原则的去偏方法。与许多需要复杂优化或组标签的现有方法不同，TCSL-CS：

保留了标准 ERM： 它允许在选定的核心集上使用标准 ERM 训练，避免了在最终训练阶段需要专门的损失函数或优化程序。
降低了计算成本： 通过选择一小部分数据（例如 10%），它显著减轻了训练大型模型的计算负担，因为昂贵的核集选择步骤只需执行一次，生成的子集可以重复使用。
泛化性： 所选的核心集具有架构无关性，在不同的模型骨干网络（ResNet、Inception、DenseNet）上均能产生一致的性能提升。

作者将其工作定位为第一个专门设计用于在缺乏组标签的情况下，同时实现高平均准确率和高最差组准确率的核心集选择算法，有效地缓解了简单性偏差对数据集选择的负面影响。