🤖 machine learning

Fair Conformal Classification via Learning Representation-Based Groups

本文提出了一种公平共形分类框架，该框架通过非线性特征组合在自适应识别的子群上保证条件覆盖率，有效解决了算法偏差问题，从而生成可信且信息丰富的预测集。

原作者： Senrong Xu, Yanke Zhou, Yuhao Tan, Zenan Li, Yuan Yao, Taolue Chen, Feng Xu, Xiaoxing Ma

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Senrong Xu, Yanke Zhou, Yuhao Tan, Zenan Li, Yuan Yao, Taolue Chen, Feng Xu, Xiaoxing Ma

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位非常聪明的 AI 医生。它在平均意义上非常擅长诊断病人，但如果你仔细观察，会发现它有时会对特定类型的人群做出自信却错误的猜测——例如来自某个地区的年轻女性，或有特定职业史的老年男性。这就是“算法偏见”。

现在，想象你想为这位医生增加一个安全网。你希望 AI 说：“我不完全确定，所以这里有一份可能的诊断列表”，而不是只挑选一个。这被称为共形预测（Conformal Prediction）。它就像一份天气预报，说“有 90% 的概率会下雨”，并保证如果你检查 100 天，其中确实会有 90 天下雨。

问题所在：
标准的安全网对“平均”人群运作良好。但如果 AI 存在偏见，对于那些它不太理解的具体群体，安全网可能会失效。它可能会说：“我有 90% 的把握是下雨”，但对于受偏见影响的群体，实际上只有 50% 的把握。论文将这种情况称为公平性的失败。

旧方案（及其笨拙之处）：
以往的方法试图通过检查所有可能的特征组合来解决这个问题（例如，“是黑人女性吗？”“是黑人男性吗？”“是白人女性吗？”）。

类比： 这就像试图通过一根一根地检查每一根稻草，来在干草堆里找到一根特定的针。
缺陷： 组合太多了。此外，有些偏见很棘手。也许 AI 只在“白人女性或黑人男性”（一种奇怪的混合）上会出错。旧方法逐一查看特征，很难发现这种复杂的模式。它们就像只能照直线的探照灯；会错过角落里的阴影。

新方案：FAREG（基于表示群体的公平共形预测）
作者提出了一种名为FAREG的新方法。以下是其工作原理，使用简单的比喻：

1. “翻译器”（编码器 - 解码器）

FAREG 不使用原始数据（如“年龄：25，性别：女”），而是使用一个翻译器。

比喻： 想象 AI 正在试图理解一门外语。原始数据就是外语文本。翻译器（一个神经网络）将这段文本转换为一种“秘密代码”（潜在表示），这种代码捕捉了人的本质，包括人类可能忽略的特征之间的复杂关系。
为何有帮助： 这种秘密代码可以轻松发现“白人女性”和“黑人男性”之间存在某种隐藏的相似性，导致 AI 犯错，尽管他们在表面上看起来非常不同。这就像意识到两个来自不同国家的人都讲一种罕见的方言，使他们成为需要特别关注的一个特定群体。

2. “公平侦探”

一旦数据被翻译成这种秘密代码，FAREG 就充当侦探的角色。

比喻： 侦探查看秘密代码以找出“麻烦点”。它会问：“哪些人群得到的安全网最差？”
行动： 它不只是猜测；它会学习。它找出 AI 不公平的具体群体，并专门为这些群体创建一个更大、更特殊的安全网。如果 AI 对某个特定群体表现不稳，系统就会说：“好吧，对于这个群体，我们将提供一个更大的可能性列表以确保安全。”

3. “安全网构建者”

最后，系统构建预测集。

比喻： 这就像裁缝制作定制西装。对于普通人群，它制作标准西装（一个较小的预测列表）。但对于侦探发现“受到不公平对待”的群体，它会缝入额外的布料（一个更大的预测列表），以确保他们得到与所有人同等的保障。
结果： 每个人都获得 90% 的正确性保证。“平均”人群获得一个小型、高效的列表。而“受到不公平对待”的群体获得一个稍大的列表，但他们不再被抛在后面。

4. “新尺子”（WSC+）

论文还引入了一种衡量公平性的新方法，称为WSC+。

比喻： 旧的尺子是直棍。它们只能测量简单、直线的偏见。新的尺子（WSC+）是灵活且可弯曲的。它可以测量复杂、弯曲或扭曲的偏见（例如“白人女性或黑人男性”的例子）。
为何重要： 它证明了新方法确实发现了旧直尺所遗漏的隐藏不公平性。

结果总结
作者在模拟数据（模拟心理健康诊断）和真实世界数据（如幼儿园入学申请）上测试了该方法。

结果： FAREG 成功发现了那些受到不公平对待的隐藏、复杂群体。
权衡： 它成功修复了公平性问题，同时没有让预测列表变得大到毫无用处。它保持了列表的“紧凑”（信息丰富），同时确保每个人都有公平的机会获得正确的结果。

简而言之：
FAREG 是一个智能系统，它将复杂的人类数据翻译成秘密代码，以找出那些被 AI 不公平对待的隐藏人群。然后，它为这些特定群体定制 AI 的安全网，确保 AI 对每个人都是可靠的，而不仅仅是对“平均”人群。

技术摘要：基于表示学习的公平共形分类

1. 问题陈述

共形预测（CP）为机器学习模型提供统计上严格的边际覆盖率保证，确保真实标签以用户指定的概率（例如 $1-\alpha$ ）落入预测集合中。然而，标准 CP 方法仅能保证在整个总体上的平均覆盖率。这种边际保证未能考虑到算法偏见，即特定子群体（由种族或性别等敏感特征定义）可能会遭受不成比例的覆盖率不足。

虽然“均衡覆盖率”方法试图确保在预定义群体上实现有效的覆盖率，但它们面临显著局限性：

表达能力：现有方法（例如 Romano 等人，2020a）通常基于单一特征定义群体。它们难以捕捉特征之间复杂、非线性的交互作用（例如，由“白人女性异或黑人男性”定义的子群体）。
可扩展性与效率：穷举搜索所有可能的子群体在计算上是不可行的。先前的自适应方法（例如 Zhou & Sesia，2024）依赖于离散特征的贪心选择或朴素贝叶斯假设，这限制了它们处理连续特征和非线性群体定义的能力。

核心挑战在于开发一种共形推断框架，该框架能够自适应地识别由复杂、非线性特征组合定义的不公平对待子群体，同时保持计算效率并生成紧凑、信息丰富的预测集合。

2. 方法论：FAREG

作者提出了 FAREG（基于表示学习的公平共形预测），这是一个基于学习的框架，能够自适应地识别受偏见影响的群体，并调整预测集合以实现自适应的均衡覆盖率。

2.1 学习基于表示的群体

FAREG 不直接从原始输入特征 $X$ 中提取群体，而是通过映射 $Z = f(X)$ 将 $X$ 编码为潜在表示 $Z$ 。该方法采用**深度变分信息瓶颈（Deep VIB）**架构，基于 $Z$ 学习群体成员指示器 $S$ （其中 $S=1$ 表示属于不公平对待的群体 $\hat{G}$ ）。

优化目标是在最大化潜在表示 $Z$ 与群体成员 $S$ 及输入 $X$ 之间互信息的同时，最小化 $Z$ 与个体样本身份 $i$ 之间的互信息，以确保隐私和泛化能力。损失函数表述为：
$\mathcal{L} = \mathcal{L}_{CC} + \mathcal{L}_{MSE} - \beta \mathcal{L}_{KL}$
其中：

$\mathcal{L}_{CC}$ ：经验条件覆盖率损失，通过最小化该损失来识别覆盖率较差的群体。
$\mathcal{L}_{MSE}$ ：重构损失（均方误差），确保 $Z$ 保留足够的信息以重构 $X$ ，从而保持可解释性。
$\mathcal{L}_{KL}$ ：将 $Z$ 压缩为标准正态分布的 Kullback-Leibler 散度项。

群体选择受最小群体规模比例 $\delta$ 的约束。作者利用**投影梯度下降（PGD）**优化解码器参数，将预测的群体成员概率投影回可行集以满足规模约束。

2.2 构建自适应预测集合

一旦识别出不公平群体，FAREG 为测试实例构建最终预测集合 $C(X_{N+1})$ ：

使用完整校准集构建标准共形预测集合 $C_m(X_{N+1}, D)$ 。
模型从学习到的联合伯努利分布中采样 $T$ 个向量 $s_t$ ，每个向量定义一个特定群体 $\hat{G}_{s_t}$ 。
为每个采样群体构建单独的共形集合。
最终预测集合是标准集合与所有特定群体集合的并集：
$C(X_{N+1}) = C_m(X_{N+1}, D) \cup \bigcup_{t=1}^{T} C_m(X_{N+1}, \hat{G}_{s_t})$

2.3 增强评估指标：WSC+

为了评估识别非线性不公平群体的有效性，作者引入了 WSC+，这是加权平板覆盖率（WSC）指标的非线性扩展。虽然传统 WSC 评估线性平板（ $a \leq v^T X \leq b$ ）上的覆盖率，但 WSC+ 评估任意非线性函数 $\pi(X)$ （实验中具体为二次函数）上的覆盖率。这使得能够更精确地评估共形过程是否覆盖了由复杂特征交互定义的群体。

3. 主要贡献

FAREG 框架：一种新颖的共形预测方法，利用编码器 - 解码器架构自适应地识别由非线性特征组合定义的覆盖率较差的子群体，克服了线性或单一特征群体定义的局限性。
WSC+ 指标：一种新的非线性条件覆盖率指标，旨在更好地捕捉和评估共形过程在复杂、受不公平对待子群体上的性能。
理论保证：论文证明，在数据可交换的前提下，FAREG 在所选择的群体集上实现了自适应均衡覆盖率（公式 1）。通过 VC 维度的理论分析表明，FAREG 的候选群体空间是先前自适应方法（如 AFCP）的超集，提供了更强的表达能力。
效率：该方法保持了与标准共形预测相当的时间复杂度（ $O(N+M)$ ），显著优于最先进的 AFCP 方法的 $O(N \log N + NM)$ 复杂度。

4. 实验结果

作者在合成数据和真实世界数据集（Nursery, ACSIncome）上评估了 FAREG。

合成数据（精神疾病诊断场景）：
- 覆盖率：FAREG 是唯一一种在由特征间异或非（XNOR）关系定义的目标子群体上持续实现有效条件覆盖率（≥0.9）的方法，而基线方法（边际、部分、AFCP1、AFCP2）未能维持此覆盖率或需要显著更大的样本量。
- 效率：FAREG 保持了具有竞争力的平均预测集合大小，避免了 AFCP2 在尝试覆盖目标群体时观察到的集合过大问题。
- 特征选择：随着样本量增加，FAREG 成功识别出相关的非线性特征组合（X[0] 和 X[1]），其频率高于基线方法。
- 运行时间：与 AFCP 相比，FAREG 表现出显著更低的时间成本，训练时间随样本量线性扩展。
真实世界数据（Nursery 和 ACSIncome）：
- 在 Nursery 数据集上，FAREG 在群体覆盖率和 WSC+ 指标上持续优于所有基线，同时保持了有效的边际覆盖率。
- 在 ACSIncome 数据集上，FAREG 实现了有效的条件覆盖率（0.9），并在效率方面与 AFCP2 具有竞争力。
指标验证：实验证实，WSC+ 识别出的覆盖率较差的群体多于线性 WSC 指标，验证了其在检测非线性偏见方面的实用性。

5. 意义与主张

论文主张，FAREG 通过平衡共形预测的效率（小集合大小）与算法公平性需求（均衡覆盖率）之间的权衡，为构建可信机器学习提供了一条实用途径。

表达能力：通过学习潜在表示，FAREG 捕捉到了线性方法或单一特征方法所遗漏的复杂算法偏见。
可解释性：尽管使用了潜在表示，但编码器 - 解码器结构允许重构输入特征，缓解了“黑盒”担忧，并证明了学习到的群体反映了有意义的特征交互（例如 XNOR 关系）。
鲁棒性：该框架提供了一种灵活的方法，可适应不同的公平性概念，而无需预定义的群体结构。

作者承认一个局限性：基于表示的群体的增强表达能力可能会部分牺牲在显式特征上定义的群体的直接可解释性，尽管他们认为重构能力弥补了这一点。该工作将自己定位为现有自适应公平共形方法的进步，解决了群体识别中的表达能力差距。