🤖 machine learning

Auditing a Dutch Public Sector Risk Profiling Algorithm Using an Unsupervised Bias Detection Tool

本文通过与荷兰教育执行机构的合作，利用一种在缺乏人口统计数据的隐私限制下仍能检测偏见的无监督工具，对 2012 至 2023 年间涉及 25 万名学生的国家级高风险算法进行了审计，成功揭示了非欧洲移民背景学生与荷兰或欧洲移民背景学生之间已知的差异，并开源了该工具以辅助后续的人工评估。

原作者： Floris Holstege, Mackenzie Jorgensen, Kirtan Padh, Jurriaan Parie, Krsto Prorokovic, Joel Persson, Lukas Snoek

发布于 2026-02-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Floris Holstege, Mackenzie Jorgensen, Kirtan Padh, Jurriaan Parie, Krsto Prorokovic, Joel Persson, Lukas Snoek

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于**“如何在不看身份证的情况下，发现算法歧视”**的故事。

想象一下，你是一家大公司的审计员，老板让你检查一个自动化的“风险评分系统”。这个系统负责给成千上万的大学生打分，分数高的学生会被怀疑“骗助学金”，从而面临更严格的审查。

问题来了： 根据隐私法律，你不能看到这些学生的种族、国籍或移民背景等敏感信息（就像你不能看他们的身份证）。如果没有这些信息，你该怎么知道这个系统是不是在针对特定群体（比如非欧洲移民背景的学生）进行不公平的对待呢？

这篇论文的作者们开发并测试了一种**“盲眼侦探”**工具，成功解决了这个难题。

1. 背景：一个长达 10 年的“隐形”歧视

在荷兰，有一个名为 DUO 的机构，负责管理大学生的助学金。从 2012 年到 2023 年，他们使用一个简单的规则系统给学生打分。

规则很简单： 如果你上的是职业技校（MBO）、年纪比较小（15-18 岁或 25-50 岁），或者住得离父母家很近，系统就会给你打高分（意味着高风险）。
后果很严重： 高分学生会被重点审查，甚至被怀疑冒领助学金。
真相很残酷： 后来发现，这些规则虽然表面上是“中立”的（没提种族），但实际上，非欧洲移民背景的学生恰好更倾向于上技校、年纪较小且住在父母附近。结果，这个系统无意中成了针对移民背景学生的“歧视机器”，影响了超过 35 万名学生。

2. 核心挑战：没有“标签”怎么抓坏人？

通常，要检查算法是否歧视，你需要知道每个人的种族（比如：这是黑人，那是白人），然后看哪一组被系统“针对”了。这就像你要检查裁判是否偏心，必须知道每个运动员的国籍。

但在现实中，因为隐私法（如欧盟的 GDPR），审计员拿不到这些敏感数据。这就好比你要检查裁判是否偏心，但裁判把运动员的国籍牌都藏起来了。

3. 解决方案：用“聚类”当侦探（无监督偏见检测）

作者们没有直接看“种族”，而是用了一种叫**“无监督偏见检测”的方法。我们可以把它想象成“寻找行为模式”**：

传统方法（有监督）： 拿着名单，问：“这群白人里有多少人被标记为高风险？那群黑人里有多少？”（需要知道种族）。
新方法（无监督）： 不看种族，只看数据。系统会自动把学生分成几个**“小圈子”（聚类）**。
- 它发现：有一群学生，他们总是被系统标记为“高风险”。
- 它进一步分析这群人的特征：他们都上职业技校，都住得离父母近，都比较年轻。
- 关键一步： 虽然审计员不知道每个人的种族，但事后他们拿着这些“小圈子”的特征，去和官方发布的宏观统计数据（比如：上职业技校的学生中，有多少比例是移民背景？）进行比对。

比喻：
想象你在一个黑暗的房间里，有一群人在玩捉迷藏。你看不见他们的脸（种族），但你可以看到他们的鞋子（教育类型、住址、年龄）。

你发现有一群人，他们都穿着红色的运动鞋，而且都被裁判判定为“作弊者”。
虽然你不知道他们是谁，但你查了一下外面的公告牌，发现“穿红鞋的人”里，有 80% 都是来自 A 国的。
于是你得出结论：这个裁判虽然没明说，但他实际上是在针对 A 国人。

4. 论文做了什么？

复现了案件： 作者们拿到了 DUO 的真实数据（2014 年和 2019 年，涉及近 30 万学生）。
运行了工具： 他们使用了自己开发的开源工具，在不看种族数据的情况下，自动把学生分成了几个组。
发现了真相： 工具找出的那个“被针对最严重”的组（Cluster 3），其特征（职业技校、住得近、特定年龄段）与非欧洲移民背景学生高度重合。
验证了方法： 他们发现，这种“盲眼”方法找出的结果，和之前有人拿着种族数据做的“有监督”审计结果完全一致。

5. 为什么这很重要？

给审计员一把新钥匙： 以前，如果没有敏感数据，审计员可能束手无策。现在，他们可以用这个工具先找出“可疑的群体”，然后再去调查这些群体是否对应了法律保护的弱势群体。
开源工具： 作者把这个工具做成了免费的软件（Python 包和网页版），任何人都可以用它来检查自己的算法是否有偏见。
法律意义： 它证明了，即使没有直接收集种族数据，算法也可能通过其他特征（如学校类型、住址）进行“代理歧视”。

总结

这篇论文就像是在说：“即使我们被蒙上了眼睛（看不到种族数据），我们依然可以通过观察‘鞋子’（其他特征）和‘行为模式’，揪出那些暗中歧视特定群体的算法。”

这不仅揭露了荷兰 DUO 机构长达十年的错误，也为未来如何在保护隐私的同时，确保算法公平，提供了一套实用的“侦探指南”。

这篇论文《使用无监督偏见检测工具审计荷兰公共部门风险画像算法》（Auditing a Dutch Public Sector Risk Profiling Algorithm Using an Unsupervised Bias Detection Tool）由来自阿姆斯特丹大学、北安普顿大学、慕尼黑工业大学以及 Algorithm Audit 组织的作者共同撰写。文章主要探讨了在缺乏受保护人口统计特征数据（如种族、国籍）的情况下，如何利用无监督学习技术检测算法中的间接歧视。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

背景： 算法决策系统日益普及，但往往会对受法律保护的群体产生偏见。在荷兰，教育执行局（DUO）使用一个基于规则的风险画像算法（2012-2023 年），根据学生的教育类型、年龄和与父母的距离来分配风险评分，以检查学生是否不当领取了住校津贴。
核心问题： 该算法被证实对具有“非欧洲移民背景”的学生构成了间接歧视。然而，由于隐私法规（如欧盟 GDPR），审计人员通常无法获取个体的受保护属性数据（如种族、移民背景）。
挑战： 传统的偏见检测方法（监督学习）依赖于已知的人口统计标签。当这些标签不可用时，如何检测算法是否对特定群体产生了不成比例的负面影响（即间接歧视）？

2. 方法论 (Methodology)

作者提出并应用了一种无监督偏见检测工具，结合层次化偏见感知聚类（Hierarchical Bias-Aware Clustering, HBAC）算法。

核心算法 (HBAC)：
- 该算法不依赖预先定义的受保护群体标签。
- 它从将所有数据视为一个簇开始，迭代地将数据划分为更小的子簇。
- 在每次迭代中，算法识别出具有最高“偏见指标”标准差的簇，并将其一分为二。
- 改进： 作者对原始 HBAC 算法进行了方法论上的改进，包括支持 $k$ -modes（处理分类变量）和 $k$ -means，并引入了样本分割（Sample Splitting）和多重假设检验校正（Bonferroni correction），以减少假阳性率。
偏见指标 (Bias Metric)：
- 定义：不同群体被分类为“高风险”的概率相等（即人口统计parity）。
- 由于缺乏真实标签，研究使用算法输出的预测风险评分（ $f(x_i)$ ）作为指标，而非实际是否违规的标签（ $y_i$ ），因为后者数据量极小。
统计验证：
- 将数据集分为训练集（80%）和测试集（20%）。
- 在训练集上运行 HBAC 生成簇。
- 在测试集上检验不同簇之间的偏见指标差异是否具有统计显著性（使用 Pearson $\chi^2$ 检验）。
验证过程：
- 虽然无监督方法不依赖人口数据，但为了验证其有效性，作者利用荷兰统计局（CBS）提供的聚合统计数据（按出生国和原籍国分组的非欧洲移民背景比例），事后验证识别出的簇是否与受影响的群体（非欧洲移民背景学生）重合。

3. 实验设置 (Experiment Setup)

案例对象： 荷兰 DUO 的 CUB（非住校津贴控制）流程。
数据集： 2014 年和 2019 年的学生数据，共计约 29.8 万名学生。
- 2014 年数据： 包含所有教育类型（MBO, HBO, WO），样本量 $n=214,599$ （排除风险未知的学生）。
- 2019 年数据： 仅包含 MBO 学生（政策变更），样本量 $n=50,233$ 。
输入特征： 教育类型（MBO 1-2, MBO 3-4, HBO, WO）、年龄组、与父母地址的距离。

4. 主要结果 (Key Results)

簇的识别与特征：
- 在 2014 年数据中，工具识别出三个主要簇。
- 簇 3（偏见最高）： 50% 的学生被标记为“高风险”。其特征为：就读于职业教育（MBO）、年龄较小（15-18 岁）或较大（25-50 岁）、且居住在离父母较近的地方（通常<10km）。
- 簇 1（偏见最低）： 仅 3% 的学生被标记为“高风险”。其特征为：就读于大学（WO）、年龄 19-20 岁、居住在离父母较远的地方。
与人口统计数据的关联：
- 利用 CBS 的聚合数据估算，簇 3 中约 41% 的学生具有非欧洲移民背景，而簇 1 中仅为 10%。
- 分析表明，算法使用的特征（职业教育、年轻/特定年龄段、居住距离近）是“非欧洲移民背景”的强代理变量（Proxies）。
统计显著性：
- 簇 3 与其他簇在“高风险”分类概率上的差异具有极高的统计显著性（ $p < 10^{-16}$ ）。
- 2019 年的数据复现了类似结果，尽管只识别出两个簇，但高偏见簇中非欧洲移民背景的比例（36%）显著高于低偏见簇（14%）。
结论： 无监督工具成功识别出了与已知受歧视群体高度重合的数据子集，证明了即使没有个体层面的受保护属性数据，也能检测到间接歧视。

5. 主要贡献 (Key Contributions)

大规模现实世界审计： 对荷兰政府的高风险决策算法进行了大规模审计（覆盖 25 万+ 学生），展示了无监督方法在检测间接歧视方面的有效性，填补了缺乏人口统计标签时的审计空白。
开源工具发布：
- 发布了一个开源的 Python 库，实现了改进后的 HBAC 算法。
- 提供了一个 Web 应用程序，允许非技术用户应用该工具检测其数据集的潜在偏见。
- 方法论改进（样本分割、多重检验校正）显著降低了误报率。

6. 意义与影响 (Significance)

法律与合规： 该研究为在 GDPR 等隐私法规限制下，审计算法是否符合欧盟反歧视法（如《欧盟基本权利宪章》、《AI 法案》）提供了可行的技术路径。
方法论创新： 证明了无监督学习可以作为人类专家进行“审议性评估”（deliberative assessment）的起点。它不需要预先知道受保护群体是谁，而是通过数据驱动发现潜在的“不公平对待群体”，随后由专家结合法律背景进行定性分析。
政策警示： 揭示了简单的基于规则的算法（即使没有复杂的机器学习模型）同样可能嵌入严重的歧视，且这种歧视可能潜伏多年未被发现。
透明度提升： 通过开源工具，降低了算法审计的门槛，有助于监管机构、外部审计师和公众监督公共部门的算法决策。

总结

这篇论文通过一个真实的荷兰政府案例，有力地证明了无监督偏见检测工具在缺乏敏感人口数据的情况下，依然能够有效识别算法决策中的系统性偏见。它不仅揭示了 DUO 算法对非欧洲移民背景学生的间接歧视，还提供了一个可复用的开源框架，为未来在隐私保护前提下进行算法审计奠定了重要的技术和方法论基础。