🤖 machine learning

Model Multiplicity and Predictive Arbitrariness in Recidivism Risk Assessment

本文通过论证尽管存在多个准确度相似的模型，但它们的预测在实践中往往表现出显著的一致性，从而研究了再犯风险评估中的预测任意性，并提出了一项通过分配这些模型中最低风险分数的政策，作为缓解决策不一致性的有效解决方案。

原作者： Ashwin Singh, Carlos Castillo

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Ashwin Singh, Carlos Castillo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位正在决定是否应提前释放一名囚犯的法官。你有一个计算机程序，它会给囚犯一个“风险评分”，用来预测他们是否会再次犯罪。这是现实世界中正在发生的情况，该论文专门研究了名为 RisCanvi 的系统，该系统在西班牙加泰罗尼亚地区被使用。

以下是这篇论文的故事，通过简单的概念和类比进行了拆解。

1. 问题所在：“罗生门”效应

在电影《罗生门》中，四个不同的目击者对同一场犯罪讲述了四个完全不同的故事，但所有故事听起来都似乎合情合理。

作者发现，机器学习模型也面临同样的问题。当试图预测囚犯是否会再次犯罪时，并不存在唯一的“正确”数学公式。存在着许多不同的公式，它们在预测过去表现方面同样出色。

问题在于： 如果你有两个同样聪明的公式，但它们对同一个人给出了不同的答案（一个说“低风险”，另一个说“高风险”），那么决策就会变得武断。这感觉就像是在用掷骰子来决定一个人的未来。这被称为预测多样性（Predictive Multiplicity）。

2. 解决办法：先清洗数据

在构建更好的公式之前，作者意识到计算机正在学习的“教科书”非常混乱。

旧方法： 当前的系统（RisCanvi）是在不准确的数据上训练的，这些数据往往过时或标记错误，因为很难追踪某人在释放后是否真的实施了新犯罪（由于法律程序的延迟）。这就像是试图用 1990 年的地图来学习驾驶。
新方法： 作者与法律专家合作，编写了一个严格遵循复杂法律规则的计算机程序，以正确标记数据。他们创建了一个包含 17,500 名囚犯的大规模、干净的数据集。这就像是给了计算机一个全新的、高清晰度的 GPS 地图。

3. 构建更好的模型：“公平计分卡”

利用这些干净的数据，作者构建了新的模型。他们不仅希望模型准确，还希望它们公平且符合逻辑。

逻辑： 他们确保模型遵循常识：如果一名囚犯获得了学位或学习了一门手艺（康复/改造），他们的风险评分必须下降。如果他们有不良习惯，分数则上升。
公平性： 他们确保模型不会不公平地惩罚特定群体（例如，外国人对比本地人）而多于其他人。

4. 重大发现：“殊途同归”

这是论文中最令人惊讶的部分。作者收集了一大群这些“同样聪明、公平”的模型（一个“罗生门集合”），并问道：它们彼此之间是否意见不一？

答案是：不。

类比： 想象一群由 100 位专家导航员组成的团队，试图引导一艘船穿过浓雾弥漫的大海。你可能会预期他们会指向不同的方向。相反，作者发现，91% 的情况下，这 100 位导航员都对同一个方向达成了一致。
关键点： 他们只在那些处于“迷雾”边缘（决策边界）的少数案例中产生分歧。对于绝大多数囚犯来说，这些模型在意见上是完全一致的。
教训： 尽管存在许多不同的数学公式，但预测并不意味着是混乱的。所谓的“武断性”比理论上要小得多。

5. 解决方案：“疑罪从无”原则

那么，对于那小部分模型出现分歧的囚犯，该怎么办呢？
作者提出了一个简单的政策，称为**“最低风险政策”**（或 Favor Rei，即法律原则中的“有利于被告”）。

运作方式： 如果模型 A 说“高风险”，而模型 B 说“低风险”，你只需选择低风险评分。
为什么有效： 它起到了安全网的作用。它确保如果存在任何疑问，囚犯都能获得疑罪从无的待遇。
结果： 这个简单的规则实际上使系统比使用单个复杂的模型或将所有模型取平均值的结果更准确且更公平。它在减少误判高风险人员的同时，并没有让危险分子溜掉。

总结

该论文认为，我们不需要担心拥有许多不同的 AI 模型来预测犯罪。

先清洗你的数据（停止使用混乱、过时的地图）。
构建公平且符合逻辑的模型。
意识到，即使有许多不同的模型，它们通常也会对答案达成一致。
当它们产生分歧时，使用一个简单的规则：选择最安全、风险最低的选项。

这种方法将原本混乱的“武断”预测转变为司法系统中可靠、公平且逻辑严密的工具。

技术摘要：再犯风险评估中的模型多样性与预测任意性

问题陈述

本文探讨了高风险刑事再犯风险评估中预测多样性（通常被称为“拉肖罗效应”，Rashom Effect）所带来的挑战。在含有噪声的预测任务中，往往存在多个具有相近准确度的模型，但这些模型对同一名个体可能会产生截然不同的预测结果。这造成了预测任意性，引发了对司法决策公平性和一致性的担忧。

具体而言，作者研究了自2009年起在加泰罗尼亚使用的决策支持工具 RisCanvi。目前的系统面临以下几个关键问题：

数据质量： 依赖过时的训练数据以及复杂且易出错的人工标签处理（难以区分是因新罪行导致的重新入狱，还是因技术性违规或既有判决导致的重新入狱）。
性能差异： 现有的逻辑回归模型表现出高假阴性率，且在不同人口统计群体（如本国国民与外国人）之间存在显著的错误率差异。
缺乏单调性： 当前系统无法保证康复进展（动态特征）必然导致风险评分降低，而这是实现公平康复激励的要求。
任意性： 即便找到了一个“歧视性较小”的模型，由于“拉肖罗集”（Rashomon Set，即一组性能相似的模型）的存在，意味着不同的有效模型可能会为同一囚犯产生不同的风险评分，从而削弱了评估的可靠性。

研究方法

1. 数据集构建

作者开发了一种严谨的标注算法，构建了一个包含加泰罗尼亚监狱（2010–2019年）17,542名囚犯释放情况的高质量数据集。

标注过程： 他们将定义“刑罚性再犯”（因新罪行被判处监禁）的复杂法律规则转化为迭代算法。该算法通过与刑罚执行专家的协作进行了优化，直至其与人类专家标注保持一致。
特征： 数据集包含每名释放人员的43个特征（20个静态特征，如发病年龄；23个动态特征，如受教育程度），取自囚犯的最终评估。
划分： 使用了时间序列拆分（训练集：2010–2018；测试集：2019），以确保时间有效性。

2. 优化框架 (FairSLIM)

作者提出了一个两阶段的混合整数线性规划（MILP）框架：

第一步：带有单调性的 SLIM： 他们利用 SLIM（超稀疏线性整数模型）公式来学习一个线性整数评分系统。至关重要的是，他们通过限制特征系数为非负整数来强制执行单调性约束。这确保了不利的静态特征会增加风险，而积极的动态特征（康复进展）则会降低风险。
第二步：探索拉肖罗集： 基于 Langlade 等人 (2025) 的工作，他们在 $\epsilon$ -拉肖罗集（经验风险在最优值 $\epsilon$ $ϵ$ 范围内的模型集合）中寻找低歧视模型 (LDMs)。
- 他们将针对 $m > 2$ 个人口统计群体的搜索进行了泛化。
- 他们最小化了等化赔率违规度 ( $\Delta EO$ )，该指标定义为不同群体间假阳性率 (FPR) 和假阴性率 (FNR) 的最大成对差异。
- 他们通过追踪各群体的最小/最大 FPR/FNR，将公平性约束从 $O(m^2)$ 降低到 $O(m)$ 。

3. 分析预测多样性

为了量化任意性，作者将自一致性（Self-consistency，Cooper 等人, 2024）的概念扩展到了拉肖罗集：

定义： 对于有限的模型集 $P$ ，自一致性 $SCP(x) $是指从$ P $中随机均匀抽取两个模型，它们对实例$ x$ 的预测达成一致的概率。
理论界限： 他们基于模型池的平均 0-1 损失推导出了一个紧致下界（命题 1）。该界限代表了达成一致性的最坏情况。
政策评估： 他们评估了三种解决多样性的策略：
1. 集成 (Ensembling)： 平均化预测结果。
2. 随机选择 (Random Selection)： 为每个实例随机挑选一个模型。
3. 最低风险政策 (Lowest-Risk Policy, LRP)： 在模型池中为囚犯分配预测出的最低风险评分（符合 favor rei 原则）。

主要结果

1. 预测性能与公平性

优于基准模型： 所提出的模型（SLIM 和 FairSLIM）显著优于现行的 RisCanvi 模型。虽然 RisCanvi 通过预测多数类实现了高准确率，但它面临着高假阴性率（84.7%）和极低的平衡准确率（56.2%）的问题。
可解释模型： 新的线性整数模型实现了约 70–73% 的平衡准确率，并将假阴性率降低了 60% 以上。
公平性： 在寻找处于最优风险 1% 范围内的低歧视模型（ $\epsilon \le 0.01$ ）时，将子群体间的最大错误率差异 ( $\Delta EO$ ) 降低到了 5%。这一表现与复杂的 CatBoost 基准模型相当甚至更好，同时保持了可解释性。

2. 预测多样性与自一致性

高一致性： 尽管存在许多结构迥异的模型（其静态和动态特征的系数各不相同），但观测到的自一致性高达 91%。这显著高于 0.53 的理论最坏情况下界。
分歧位置： 预测分歧几乎完全集中在决策边界附近的实例（低边际实例）上。对于高边际实例，模型完全达成一致。
结构多样性 vs. 预测一致性： 研究表明，高结构多样性（不同的系数）并不一定会转化为严重的预测多样性。

3. 最低风险政策的有效性

最低风险政策 (FairSLIM-LRP) 为每位囚犯分配模型池中预测的最低风险评分。
性能： 在所有测试的解决机制（包括集成和随机选择）中，该政策实现了最高的平衡准确率 (71.2%)，同时保持了相当的错误率均衡。
启示： 通过在所有有效的模型中选择最有利的结果，该系统可以在不牺牲预测效用或公平性的情况下，减少预测的任意性。

意义与主张

本文声称对算法公平性和风险评估领域做出了以下贡献：

公平性约束的泛化： 它将拉肖罗集中寻找低歧视模型的过程泛化到了 $m > 2$ 个子群体，且仅增加了 $O(m)$ 的计算复杂度，这使得在复杂的人口统计划分下进行计算变得可行。
关于任意性的理论界限： 它为任何有限的二分类器集提供了一个紧致的预期自一致性下界，为衡量经验一致性提供了理论基准。
现实案例研究： 这是首个研究再犯风险评估中预测多样性的现实案例研究，超越了理论模拟，直接应用于部署系统 (RisCanvi)。
政策建议： 它提出并验证了最低风险政策作为解决预测任意性的有效机制。这种方法符合 favor rei（疑罪从轻）原则和反从属原则，通过主动选择最不具惩罚性的有效预测，来应对系统性偏差。
数据质量影响： 该研究强调，利用法律规则自动标注释放后的结果，可以获得比当前训练集规模大 17 倍的数据集，从而实质性地提升模型的性能和公平性。

作者得出结论：虽然模型多样性是一个理论上的担忧，但在实践中，由此产生的任意性通常仅限于决策边界附近的一小部分案例。因此，像“最低风险政策”这样简单且有原则的政策，可以有效地缓解任意性，同时保留探索多样化公平模型集的优势。