🤖 machine learning

FairSAM: Fair Classification on Corrupted Image Data Through Sharpness-Aware Minimization

该论文介绍了 FairSAM，这是一个将面向公平性的策略集成到锐度感知最小化（Sharpness-Aware Minimization）中的框架，旨在有效平衡在对受损图像数据进行分类时不同人口统计子群组之间的鲁棒性与公平性。

原作者： Yucong Dai, Jie Ji, Xiaolong Ma, Yongkai Wu

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Yucong Dai, Jie Ji, Xiaolong Ma, Yongkai Wu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你制造了一个非常聪明的机器人，它非常擅长识别照片中的人。你在一个光线完美、环境纯净的完美摄影棚里训练了它。但在现实世界中，照片很少是完美的。它们可能会模糊、被雪覆盖、带有静电噪点，或者因为手抖而拍摄得不稳。

当这个机器人看到这些“受损”的照片时，它不仅仅是表现变差了一点；它会感到困惑。而且可怕的是：它对不同的人表现出的困惑程度也不同。

例如，在有雪的照片中，它可能仍然能近乎完美地识别一名年轻男子，但面对同一张雪天照片中的一位老年女性时，它可能会完全无法识别。这造成了一种不公平的情况：机器人在某些群体面前表现出色，但在另一些群体面前却表现糟糕，从而放大了现有的偏见。

这篇题为 FairSAM 的论文介绍了一种全新的训练方法，旨在让这些机器人不仅变得更“强壮”（应对恶劣环境），而且要实现对每个人都同样强壮。

问题所在：“一刀切”的护盾并不奏效

作者解释说，以往的方法试图使用一种叫做 SAM（锐度感知最小化）的技术来让机器人对糟糕的照片具有“鲁棒性”（即抗干扰能力）。

类比： 想象一下，SAM 就像是在教一个学生如何在嘈杂的图书馆里学习。它能帮助学生忽略噪音并取得好成绩。
缺陷： 虽然学生的平均成绩提高了，但这种方法并没有检查该学生是否平等地帮助了他的学习伙伴。在现实世界中，这意味着机器人整体上变得更强了，但对于“弱势”群体（如老年人或特定性别）来说，当照片质量变差时，他们遭受的损失仍然远大于“优势”群体。机器人变得更强壮了，但并不公平。

解决方案：FairSAM（公平感知护盾）

作者提出了 FairSAM，这是一种结合了 SAM 的“抗噪能力”与公平性规则的新型训练方法。

把它想象成一位教练正在训练一支参加雨中比赛的运动队。

旧方法 (SAM)： 教练训练全队在雨中奔跑。全队的整体速度都提高了。但教练没有注意到，身材较矮的队员比高个子球员更容易滑倒。
FairSAM： 教练意识到身材较矮的队员正面临更大的困难。因此，教练调整了训练方式。他们在训练全队的同时，也给予了身材较矮的队员额外的关注和针对性的练习。他们要确保当大雨开始时，没有任何人比其他人滑倒得更严重。

它是如何运作的（用通俗易懂的语言解释其机制）

论文引入了一种衡量问题的新指标，称为**“受损退化差异” (Corrupted Degradation Disparity)**。

指标： 他们不再仅仅问：“机器人识别对了多少张照片？”，而是问：“与 A 组相比，机器人在 B 组的表现下降了多少？”
目标： 他们希望每个人的性能下降程度都是相同的。如果机器人在识别 A 组时性能下降了 10%，那么在识别 B 组时也应该只下降 10%。

为了实现这一目标，FairSAM 主要做了两件事：

权重分配（关注挣扎者）： 在训练过程中，它会特别关注那些“困难”的样本以及通常被忽视的群体。这就像是在考试中给那些挣扎中的学生额外的分数，以确保老师能够专注于解决他们的具体弱点。
批处理： 它高效地完成了这项工作。它不会逐一检查每一张照片（那会耗费大量时间），而是同时检查一组照片，计算整个组的“噪声”，从而保持训练速度。

他们的发现

研究人员在真实的图像数据集（如名人面部和医学 X 光片）上进行了测试，并加入了不同类型的“噪声”（雪、模糊、静电）。

结果： FairSAM 不仅让机器人变得更强壮，还让这种力量得到了均匀分布。
权衡： 通常情况下，让一个系统变得更公平会使其整体准确率略微下降。然而，FairSAM 成功地在保持高整体准确率的同时，大幅缩小了不同群体之间的表现差距。
证明： 在测试中，与其他所有方法相比，FairSAM 的“不公平得分”（受损退化差异）最低，这意味着当照片质量变差时，机器人的性能对所有人来说下降程度是相等的。

核心结论

论文指出，在数据往往是混乱的现实世界中，我们不能仅仅构建“强大”的 AI。我们必须构建对每个人都同样强大的 AI。FairSAM 是一个工具，它确保当“天气”变糟（数据受到损坏）时，AI 不会将某些群体留在寒冷的户外。它平衡了天平，让鲁棒性与公平性并行不悖。

技术摘要：FairSAM：通过锐度感知最小化实现受损图像数据的公平分类

问题陈述

在洁净数据上训练的深度神经网络在部署于受损测试数据（例如受脉冲噪声、高斯噪声、天气效应或运动模糊影响的图像）时，往往会出现剧烈的性能下降。近期的研究表明，这种性能下降并非均匀分布；它会对特定的统计群体产生不成比例的影响，从而放大算法偏见。虽然现有的鲁棒学习方法（如锐度感知最小化，SAM）可以提高整体泛化能力和对噪声的抵御能力，但它们无法解决不同人口统计学群体之间性能退化的不平等分布问题。相反，标准的公平性感知方法往往难以在数据受损的情况下保持鲁棒性。这在实现鲁棒性与确保受损环境下的公平性之间造成了一种内在的张力。

方法论：FairSAM

为了解决这一张力，作者提出了 FairSAM，一个将公平导向策略集成到 SAM 优化过程中的框架。该方法由三个核心组件组成：

1. 新型公平性指标：受损退化差异 ( $\Delta p$ )

作者通过引入一种专门量化性能退化公平性的指标来形式化该问题。

受损退化 ( $\Delta p_s$ )： 定义为特定人口统计学群体 $s$ 在洁净训练数据 ( $D_T$ ) 与受损测试数据 ( $D_C$ ) 之间性能指标的绝对差值： $\Delta p_s = |M(D_T^{s}, f) - M(D_C^{s}, f)|$ 。
受损退化差异 ( $\Delta p$ )： 特权群体 ( $s^+$ ) 与弱势群体 ( $s^-$ ) 之间退化程度的绝对差值： $\Delta p = |\Delta p_{s^+} - \Delta p_{s^-}|$ 。
较低的 $\Delta p$ 表示模型的鲁棒性在各子群体之间的分布更加公平。

2. 实例重加权 SAM

标准 SAM 旨在最小化参数邻域内的最大损失，但它对所有样本一视同仁，往往导致多数群体在优化过程中占据主导地位。FairSAM 引入了一种重加权机制来平衡梯度贡献：

群体约束： 该方法约束每个人口统计学群体内样本的权重之和为一个常数 $c$ ，从而确保无论群体规模如何，每个群体对目标的贡献都是相等的。
基于锐度的重加权： 在每个群体内部，具有更高单实例锐度（在扰动下具有更大最大损失）的样本会获得更高的权重。这在保持群体级平衡的同时，优先处理每个群体中的“困难”样本。

3. 高效的逐批次扰动

为了避免计算每个样本的个体对抗性扰动所带来的计算成本（这将导致每批次需要 $N$ 次前向传播），FairSAM 推导出了一个高效的近似方法：

它利用二阶泰勒展开来近似加权的单实例目标函数。
它构建了一个加权批次损失 $\ell_b(w) = \sum g_i \ell_i(w)$ ，其中权重 $g_i$ 结合了群体成员约束和实例锐度。
基于该加权批次损失的梯度，计算出一个单一的逐批次扰动 $\epsilon^*$ ，在维持 SAM 计算效率的同时强制执行公平性约束。

核心贡献

问题形式化： 本文识别并形式化了图像分类在数据受损情况下的“鲁棒性偏见”挑战，强调了标准的鲁棒性方法可能会无意中加剧公平性差异。
指标提出： 引入了受损退化差异，用于评估不同人口统计学群体间性能退化的公平性，这与一次性的公平性概念不同。
框架开发： 提出了 FairSAM，这是第一个将公平性策略集成到 SAM 中的框架。它利用实例重加权和逐批次扰动来同时促进鲁棒性和公平性。
实验验证： 通过在多种真实世界数据集（CelebA, FairFace, LFW, CheXpert）及各种损坏类型（雪、高斯噪声、模糊）和严重程度下的综合实验，证明了 FairSAM 的有效性。

实验结果

作者在多种真实世界数据集（CelebA, FairFace, LFW, CheXpert）以及各种损坏类型（雪、高斯噪声、模糊）和严重程度下评估了 FairSAM。

性能与公平性的权衡： 在不平衡（CelebA）和平衡（FairFace）数据集上，FairSAM 在所有基准模型（包括 Vanilla SAM, GroupSAM, FairReg 和 GroupDRO）中始终实现了最低的受损退化差异 ( $\Delta p$ )。
准确性保持： 与某些牺牲整体准确性的公平性方法不同，FairSAM 保持了极具竞争力的或更优的受损准确率。例如，在带有高斯噪声的 CelebA 数据集上，FairSAM 在实现最低 $\Delta p$ (0.0073) 的同时，达到了最高的受损准确率 (0.9291)。
对不对称性的鲁棒性： 在特权群体面临比弱势群体更严重噪声（非对称噪声）的实验中，FairSAM 在不同骨干网络（ResNet-18 和 DINOv3）下均保持了最低的退化差异。
分布外 (OOD) 泛化： 当在某一数据集（如 CelebA）上训练的模型在另一数据集（如 LFW）上进行测试时，FairSAM 展示了最低的 $\Delta p$ ，表明其相比于存在将优势群体转变为劣势群体风险的 GroupSAM，具有更好的公平泛化能力。
超参数敏感性： 该框架被发现对超参数选择具有鲁棒性，其中 $\rho=0.05$ （扰动半径）和 $c=1$ （群体权重预算）提供了最佳平衡。

意义与主张

本文声称 FairSAM 为存在数据损坏时的公平且鲁棒的图像分类提供了一个结构化解决方案。其主要意义在于解决了鲁棒性研究中的一个关键盲点：即假设整体鲁棒性的提升会惠及所有群体。

作者认为：

鲁棒性与公平性是相互关联的；鲁棒模型往往表现出差异化的性能退化，如果处理不当，可能会延续社会不平等。
训练期间的公平性感知优化可以在不显著牺牲整体准确性的情况下实现公平的结果。
这种方法的益处不仅限于不平衡数据集，也适用于平衡数据集，这表明性能退化是由算法偏见而非仅仅是数据分布问题驱动的。

这项工作旨在为高风险应用（如医疗保健、刑事司法）中安全 AI 的部署迈出一步，在这些应用中，系统必须在现实世界的噪声条件下保持公平性。作者承认了局限性，指出目前的研究重点是图像分类中的二元敏感属性，并建议未来的工作应探索交叉群体和其他领域。