FairTree: Subgroup Fairness Auditing of Machine Learning Models with Bias-Variance Decomposition

1. 研究背景与问题定义 (Problem)

在机器学习模型的评估中，传统的做法主要依赖基于损失函数的整体性能指标（如均方误差、准确率等）。然而，这种方法存在显著缺陷：

• 掩盖子群表现差异：整体指标可能掩盖模型在特定子群体（subgroups）中表现不佳或存在系统性偏差的情况。
• 现有工具的局限性：现有的审计工具（如 SliceFinder 和 SliceLine）虽然旨在检测表现不佳的数据切片（slices），但存在概念上的不足：
  • 通常要求将连续协变量（continuous covariates）进行离散化（discretization），这可能导致信息丢失或错误的切片划分。
  • 难以直接区分性能差异是源于系统性偏差（Bias）还是不稳定性/方差（Variance）。
  • SliceLine 等工具假设协变量是分类的，且缺乏对连续变量的原生处理能力。

核心目标：开发一种能够直接处理连续、分类和有序特征（无需离散化），并能将性能差异分解为偏差和方差两个维度的公平性审计算法。

2. 方法论 (Methodology)

作者提出了 FairTree，一种受心理测量学（Psychometrics）中的不变性检验（Invariance Testing）和广义 M-波动检验（Generalized M-fluctuation test）启发的递归分割算法。

2.1 核心假设与流程

• 零假设 ($H_0$)：机器学习模型的预期损失函数分布在所有协变量定义的子群中是**不变（Invariant）**的。
• 递归分割：如果零假设被拒绝，算法会将样本分割成更小的子样本，直到满足停止条件（如样本量过小或不再显著）。
• 可视化：结果以决策树形式呈现，直观展示模型在哪些特征组合下表现不稳定。

2.2 两种分裂准则 (Splitting Criteria)

论文提出了两种变体来检验不变性：

1. 基于置换的检验 (Permutation-based Approach)：

   • 类似于 SliceFinder 的概念。
   • 通过随机打乱组别成员并重新计算损失函数，构建参考分布。
   • 如果观测到的损失值在参考分布中处于极端位置，则拒绝零假设。
   • 缺点：计算成本高，特别是对于连续变量需要测试多个切点时。

2. 基于波动的检验 (Fluctuation Test)：

   • 源自计量经济学，用于参数稳定性检查。
   • 无需重采样，计算效率极高（$O(n \log n)$）。
   • 偏差检测 ($W_{bias}$)：基于中心残差的累积和（CUSUM）过程。利用功能性中心极限定理（FCLT），该过程收敛于标准布朗桥（Brownian Bridge），通过最大统计量判断显著性。
   • 方差检测 ($W_{var}$)：基于中心残差的平方序列进行类似的波动检验。
   • 优势：避免了连续变量切点选择的多重检验问题，且能同时处理连续和分类变量。

2.3 偏差与方差的分解 (Bias-Variance Decomposition)

FairTree 的核心创新在于不仅能发现“哪里”有问题，还能区分“是什么类型”的问题：

• 偏差 (Bias)：模型在特定群体中系统性地高估或低估（例如，对女性收入持续低估）。这通常对应校准（Calibration）问题。
• 方差 (Variance)：模型在特定群体中不一致或不可靠（例如，对非母语者的评分忽高忽低）。这对应可靠性（Reliability）问题。
• 判定机制：
  • 置换法：使用启发式规则（比较偏差和方差差异的相对大小，如 1.5 倍阈值）。
  • 波动法：分别对偏差和方差序列进行统计检验（使用 Bonferroni 校正），根据 $p$ 值判定是偏差、方差还是两者皆有。

3. 关键贡献 (Key Contributions)

1. 原生支持连续变量：FairTree 无需对连续协变量进行离散化，直接处理连续、有序和无序分类特征，避免了因离散化不当导致的性能切片遗漏。
2. 偏差 - 方差分解：首次将心理测量学中的参数稳定性检验引入机器学习公平性审计，明确区分系统性偏差（Bias）和模型不稳定性（Variance），为模型修复提供不同方向（如调整损失函数 vs. 收集更多数据）。
3. 两种高效算法变体：
   • 提供了概念上更接近现有方法的置换检验。
   • 提出了计算上更高效的波动检验，适合大规模数据和实时监测。
4. 广泛的适用性：适用于分类和回归任务，且在样本量相对较小的情况下也能保持统计效力。

4. 实验结果 (Results)

作者通过三个模拟研究和一个真实数据集（UCI Adult Census）进行了评估，并与 SliceLine 进行了对比。

4.1 模拟研究 I：I 类错误与统计效力

• I 类错误 (False Positives)：两种 FairTree 变体均将错误率控制在名义水平（0.05）附近。
• 统计效力 (Power)：
  • 波动检验在所有样本量和效应量下，其检测效力显著高于置换检验。
  • 在中等效应量下，置换检验效力接近零，而波动检验已能有效检测。
  • SliceLine：默认阈值下几乎无法检测任何效应；调优阈值后虽然能检测，但错误率大幅上升，且对阈值参数高度敏感。

4.2 模拟研究 II：偏差 - 方差分类准确性

• 分类能力：FairTree 能够准确区分纯偏差、纯方差、两者皆有或无差异的情况。
• 波动检验表现更佳：在混合偏差和方差的复杂场景下，波动检验的分类准确率显著高于基于启发式规则的置换检验。
• SliceLine 局限：SliceLine 无法区分偏差和方差类型，仅能检测“是否存在问题”。

4.3 模拟研究 III：现实场景

在混合协变量类型、交互效应、混淆变量和小样本少数群体等复杂场景下：

• 波动检验在绝大多数场景中表现出最高的检测率（Detection Rate）和正确检测率（Correct Detection Rate），特别是在连续变量和交互效应场景下优势明显。
• 置换检验在连续变量场景下效力较低。
• SliceLine 在默认设置下表现极差，调优后表现接近置换检验但低于波动检验。

4.4 实证案例 (UCI Adult Census)

• 数据：使用随机森林预测收入，并在测试集中人为注入偏差（年龄<25）和方差（工时>55）。
• 结果：
  • FairTree 成功检测到了注入的偏差和方差，以及自然存在的教育程度差异。
  • 计算效率：波动检验（21.6 毫秒）比置换检验（26.4 秒）快三个数量级。
  • 离散化危害：当强制将连续变量（年龄、工时）离散化为十年区间时，FairTree 无法准确定位断点，SliceLine 甚至完全漏检并错误识别了无关特征（性别）。这证明了直接处理连续数据的重要性。

5. 意义与结论 (Significance)

• 理论意义：将心理测量学中的严谨统计框架（如 Rasch 树、M-波动检验）成功迁移到机器学习公平性审计领域，提供了比现有黑盒或启发式方法更坚实的统计基础。
• 实践意义：
  • 可解释性：通过决策树直观展示模型在哪些子群失效。
  • 可行动性：通过区分偏差和方差，指导具体的修复策略（偏差需调整模型/损失函数，方差需增加数据/特征）。
  • 效率：波动检验的高效性使其适用于实时公平性监控（Real-time Fairness Monitoring）。
• 局限性：目前主要关注群体公平性，未直接解决个体公平性；在强混淆变量场景下，区分因果与相关仍具挑战。

总结：FairTree 提供了一种灵活、统计严谨且计算高效的框架，能够深入剖析机器学习模型在不同子群中的性能差异，特别是通过区分偏差和方差，为构建更公平、更可靠的 AI 系统提供了关键的工具。作者建议优先使用波动检验变体，除非在极小样本量下需要置换检验作为补充验证。