技术摘要：通过关联规则与公平分箱审计抵押贷款中的歧视模式

问题陈述

美国的抵押贷款领域存在持久的种族与性别差异。以往的研究主要集中在审计模型层面的偏差或构建公平分类器，而本文则调查了上游数据管理操作（特别是属性分箱）是否会放大这些差异。标准的等频分箱（Equal-frequency binning）处理数值属性（如收入）时，可能会产生人口统计构成倾斜的箱体，从而可能扭曲下游的模式挖掘。作者提出了一个问题：公平感知分箱是否会改变从贷款数据中挖掘出的歧视模式？

本研究利用了 HMDA 2023 数据集（《住房抵押贷款披露法》），这是一个包含每年超过 1000 万条记录的丰富公共来源，研究重点为芝加哥大都会区。

方法论

作者提出了一个三阶段流水线来审计歧视模式：

1. 数据清洗与分箱

• 数据源： 从全国 HMDA 2023 快照中筛选出的来自芝加哥-纳皮尔维尔-埃尔金大都会分区的 103,481 份经过清洗的抵押贷款申请。
• 预处理： 流水线筛选出已发放和被拒绝的贷款，移除缺失人口统计数据的记录，转换金融字段，并对收入异常值进行截断（第 0.5 至第 99.5 百分位数）。
• 分箱策略：
  • 标准等频分箱： 将数值属性（收入、贷款金额）分为 $k=5$ 个具有近似相等计数度的桶（Buckets）。
  • $\epsilon$-偏向公平分箱： 实现由 Asudeh 等人 [1] 提出的分而治之（Divide-and-Conquer, D&C）算法。该算法旨在将每个桶内的统计学偏差限制在最多 $\epsilon$ 以内。它最小化了“公平代价”（Price of Fairness, PoF），即各桶大小相对于等频分布的偏差。

2. 关联规则挖掘 (FP-Growth)

• 技术： 使用 FP-Growth 挖掘频繁项集和预测贷款拒绝的关联规则。
• 输入： 将申请转换为 11 个类别项（如种族、性别、收入区间、DTI 类别、结果）构成的事务（Transactions）。
• 目标： 对比标准分箱与公平分箱下生成的规则集，以识别公平性约束是否改变了显性的歧视模式（例如，以种族作为前件的规则）。
• 参数： 最小支持度为 0.10，最小置信度为 0.50，最小提升度（Lift）为 1.0。

3. 聚类与差异性影响审计

• 聚类： 应用 K-Means 聚类算法对四个金融特征（收入、贷款金额、DTI、综合贷款价值比）进行分组，以划分申请人的金融概况。排除利率是为了避免过滤掉被拒绝的贷款。
• 审计： 在每个聚类内部，针对人口统计群体（种族、族裔、性别）相对于参考组计算差异性影响比例（Disparate Impact Ratio, DIR）。
• 指标： DIR 低于 0.80（即“五分之四原则”）表示存在差异性影响。这种方法隔离了无法通过聚类中所捕获的合法金融风险因素来解释的歧视。

关键结果

1. 分箱偏差与可行性

• 标准分箱： 在收入离散化过程中产生了 9.63% 的种族偏差，这与先前的研究结果（8–10%）一致。
• 公平分箱的可行性： 针对七个种族组，$\epsilon$-偏向算法在严格阈值下是不可行的（$\epsilon=0.03$）。该算法仅在 $\epsilon=0.08$（收入）和 $\epsilon=0.06$（贷款金额）时才能成功。
• 公平代价 (PoF)： 在这些阈值下实现公平会付出高昂代价，表现为桶大小与等频分布显著偏离（收入的 PoF 为 29.4%，贷款金额的 PoF 为 23.5%）。

2. 关联规则挖掘 (FP-Growth)

• 主导预测因子： 高债务收入比（DTI）是拒绝贷款的主要预测因子（置信度 67.2%，提升度 2.81）。
• 规则一致性： 在标准分箱和公平分箱机制下，排名前列的拒绝规则是完全相同的。
• 缺乏显性偏差： 没有以种族、性别或族裔作为前件且满足 10% 支持度阈值的规则。作者指出，这并不意味着不存在偏差；相反，种族偏差是通过相关的金融特征（例如，黑人申请人的平均收入较低，使其处于更高风险的区间）间接发挥作用的。

3. 聚类与差异性影响

• 聚类概况： 识别出五个聚类，范围从债务过重的申请人（拒绝率 79%）到富裕申请人（拒绝率 11%）。
• 差异性影响发现： 虽然 FP-Growth 未发现显性的种族规则，但 K-Means + DIR 审计 标记了 45 个聚类-群体对中的 10 个 存在差异性影响（DIR < 0.80）。
• 具体发现：
  • 所有被标记的组合均涉及种族。
  • 在聚类 3（金融特征相似的群体：平均收入 $104K，DTI 34.5）中，黑人申请人的拒绝率为 44.8%，而白人申请人为 20.3%（DIR = 0.693）。
  • 基于种族的审计平均 DIR 为 0.814，而基于族裔和性别的审计则未显示出系统性的差异性影响（平均 DIR 分别为 0.932 和 1.094）。

贡献与意义

本文做出了以下贡献：

1. 验证了上游偏差： 本研究证实了标准数据预处理（分箱）会在 HMDA 数据中引入可衡量的种族偏差（9.63%），验证了无偏分箱问题在贷款背景下的相关性。
2. 多组公平性的可行性约束： 研究表明，虽然 $\epsilon$-偏向分箱适用于二元分组，但在应用于七个种族组时，其可行解集大幅减少并导致了高昂的公平代价，这暗示了数据离散化中多组公平性的实际局限性。
3. 互补的审计方法： 研究强调了 FP-Growth 与 聚类 具有互补的洞察力：
   • FP-Growth 识别了全人群中的主导拒绝因素（DTI），但由于支持度阈值的限制，可能会遗漏间接偏差。
   • 结合 DIR 审计的聚类方法揭示了即使在金融特征相似的申请人中依然存在的系统性差异性影响，从而发现了标准规则挖掘可能忽略的歧视现象。
4. 间接偏差的实证证据： 结果表明，抵押贷款中的种族偏差通常通过相关的金融分布（收入/DTI）间接体现，而非表现为涉及受保护属性的显性、高支持度规则。

局限性

作者承认存在以下局限性：

• 缺失信用评分： HMDA 数据缺乏信用评分这一主要的贷款因素，这意味着聚类无法完全将歧视从合法的风险因素中分离出来。
• 支持度阈值： FP-Growth 的 10% 支持度阈值可能过高，无法捕捉到少数群体模式；降低该阈值则可能带来伪结果。
• 地理范围： 分析仅限于芝加哥大都会区。
• 算法假设： K-Means 假设簇是大小相似的球形簇，这可能无法完美拟合数据的非对称性（聚类规模从 3,500 到 48,000 不等）。