📊 statistics

The Likelihood Ratio Wall: Structural Limits on Accurate Risk Assessment for Rare Violence

本文认为，审前风险评估工具面临一个根本性的“似然比墙”，即暴力再犯的低发生率以及过度执法等结构性偏见在数学上阻碍了高置信度的个体化预测，致使现有工具倾向于产生高误报率，且无法通过重新校准加以修正。

原作者： Marco Pollanen

发布于 2026-05-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Marco Pollanen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名法官，正试图决定是否在审判前将被告继续关押在监狱中。你拥有一项新的“风险工具”，它可以扫描被告的历史记录，并给他们贴上标签：“暴力高风险”。

该工具本应告诉你：“如果我们释放这个人，他们很有可能实施暴力犯罪。”

本文认为，从数学角度来看，当该工具声称某人对于罕见的暴力犯罪属于“高风险”时，它几乎总是在对你撒谎。即使该工具在纸面上看起来令人印象深刻，现实情况是，大多数被标记为“危险”的人，如果获释，实际上本会保持和平。

以下是使用简单类比对此现象的解析。

1. “大海捞针”问题（基础比率）

暴力再逮捕非常罕见。在大多数地方，每 100 名获释被告中，只有约 2 到 5 人会犯下新的暴力犯罪。

想象你是一名拥有 10,000 名观众的巨大体育场的保安。你正在寻找一个秘密携带武器的人（即“暴力罪犯”）。

该“风险工具”就像一台金属探测器。
问题在于，金属探测器并不完美。它有时会因皮带扣或钥匙等无害物品而发出警报（误报）。

由于“坏人”如此罕见（万分之一），即使是非常好的金属探测器，为无辜者响起的次数也远多于为实际威胁响起的次数。本文将此称为似然比墙。

2. 你无法翻越的墙

作者证明了一条数学规则：若要50% 的时间是正确的（即，如果工具说“高风险”，那么此人确实具有危险性的概率只有五五开），该工具必须在识别“针”方面极其出色。

现实情况：目前的工具就像一台金属探测器，每发现一把真正的枪，就会因皮带扣发出 10 次警报。
要求：若要有一半的时间是正确的，该工具在识别枪支方面必须比识别皮带扣好 30 到 50 倍。

类比：想象试图在沙滩上找到一粒特定的沙子。如果你的“找沙器”每找到 1 粒金砂就会捡起 100 粒沙子，而金砂极其罕见，你最终会捧着一桶沙子，以为找到了金子。工具并没有“坏掉”；只是金子太稀少了，导致工具无法有效工作。

本文表明，目前的工具远不足以跨越这道墙。当它们将某人标记为“高风险”时，通常是错误的。

3. 为什么“微调”工具无济于事（重新校准）

你可能会想：“难道我们不能只是调整工具的设置以提高其准确性吗？”

作者回答不行。他们证明，改变数值（重新校准）就像重新粉刷金属探测器。你可以让它看起来更花哨，或者改变警报的音量，但你无法改变它仍会因皮带扣而响的事实。

如果底层数据（逮捕历史、前科指控等）不包含足够强的信号来区分暴力与非暴力，那么无论多少数学技巧都无法凭空创造出这种信号。“墙”是一个结构性限制，而不是软件漏洞。

4. “监控天花板”（为什么某些群体更频繁地被标记）

本文还指出了一个残酷的讽刺：过度执法会使某些群体的工具表现更差。

想象两个社区，A 社区和 B 社区。

A 社区按正常频率接受警务巡逻。
B 社区受到过度执法。警察无处不在，频繁检查每个人的口袋和记录。

即使 B 社区的人并不比 A 社区的人更具暴力性，他们也会仅仅因为受到更严密的监视而积累更多的“风险标记”（如之前的逮捕或未能出庭）。

类比：

在 A 社区，一个人只有在真正做错事时才会获得“风险标记”。
在 B 社区，一个人仅仅因为出现在错误的时间、错误的地点，或者因为 A 社区的警察会忽略的轻微违规行为，就会获得“风险标记”。

本文证明，由于 B 社区有更多的“虚假标记”（被系统标记的无辜者），该工具对他们的准确性更低。该工具达到了“监控天花板”，无论算法多么智能，它都无法做到精确。最终，它标记 B 社区无辜者的比率要高得多，使得“高风险”标签对他们的可信度更低。

5. “需拘留人数”（人力成本）

作者将这些数学问题转化为现实世界的成本：我们需要拘留多少人才能阻止一起暴力犯罪？

如果工具的正确率仅为 11%（根据当前性能水平的数学计算结果），这意味着你必须拘留9 人才能预防1 起暴力犯罪。
这意味着这 9 人中的8 人并未犯下未来的暴力罪行，却不必要地被剥夺了自由。

结论

本文得出结论，对于罕见的暴力犯罪，我们目前拥有的数据（犯罪记录、逮捕历史）不足以支持关于关押人员的高置信度决策。

当法官看到“暴力高风险”标签时，他们被告知此人很可能具有危险性。但数学表明，该标签实际上在 10 次中有 8 到 9 次是错误的。

建议：
作者建议，如果我们继续使用这些工具，必须诚实地面对不确定性。报告不应仅仅说“高风险”，而应改为：

“此人被标记为高风险，但根据当前数据，该标记正确的概率仅为 11%。为了预防一起暴力犯罪，我们可能会拘留 9 名本不会犯罪的人。”

本文认为，在我们拥有比现在好 30 到 50 倍的数据之前，我们不应将这些“高风险”标签视为某人具有危险性的证据。

以下是 Marco Pollanen 所著论文《似然比墙：罕见暴力准确风险评估的结构限制》的详细技术总结。

1. 问题陈述

本文探讨了算法审前风险评估工具（如 COMPAS、PSA）在预测罕见暴力再犯时面临的一个根本性统计障碍。尽管这些工具每年对数百万名被告进行分类，但由于暴力再犯的基准率极低（通常为 2–5%），其在做出高风险拘留决策时的效用受到损害。

核心问题在于**阳性预测值（PPV）**的不足。法官和政策制定者往往将“高风险”标记解读为意味着该个体实施暴力的概率很高。然而，本文指出，由于结果的罕见性，即使拥有令人满意的排序指标（如 AUC）的工具，其生成的“高风险”标记在大多数情况下也是错误的。本文旨在量化准确性的结构限制，并证明事后修正（如重新校准）无法克服这些限制。

2. 方法论

本文采用了理论推导、统计建模和实证验证相结合的方法：

贝叶斯推导：作者利用贝叶斯定理推导出了一个通用界限，将似然比（LR）、基准率（ $\pi$ ）和 PPV 联系起来。
理论证明：
- 重新校准不变性：证明了用于重新校准的风险分数的单调变换保留了似然比，因此无法改善真阳性与假阳性之间的分离。
- 监控上限模型：开发了一个“计数阈值”分类器（风险评估工具中常见）的简化模型，以展示不均衡的监控（过度警务）如何增加特定群体的假阳性率，从而在结构上降低这些群体的最大可实现 PPV，即使基准率相同。
实证验证：
- 荟萃分析：回顾有关 AUC 的现有文献，并将其转化为估计的似然比。
- 数据集分析：使用 ProPublica COMPAS 数据集（佛罗里达州布劳沃德县）计算暴力再犯的实际灵敏度、假阳性率和 LR。
- 分层分析：比较不同种族群体的性能指标，以检验“监控上限”假设。

3. 主要贡献

A. 似然比墙（定理 1）

本文形式化了一个通用精度界限。它证明，为了使分类器在给定的基准率（ $\pi$ ）下达到特定的 PPV（ $\alpha$ ），必须满足最小似然比：
$LR \geq \frac{\alpha}{1-\alpha} \cdot \frac{1-\pi}{\pi}$

含义：随着基准率（ $\pi$ ）的降低，所需的 LR 呈双曲线式增加。
示例：在 3% 的基准率下，要实现 50% 的 PPV（即“优势证据”标准），所需的 LR 为32.3。目前的工具通常仅能达到2–6的 LR。

B. 重新校准不变性（定理 3）

本文证明，将分数重新校准（例如 Platt 缩放、等渗回归）以匹配观察到的频率，会保留个体的排序。由于似然比仅取决于排序（灵敏度与假阳性率），而不取决于绝对概率值，因此重新校准无法解决 PPV 不足的问题。它可以改善概率校准，但无法提高工具的判别能力。

C. 监控上限（定理 4）

本文引入了一个形式化模型，表明过度警务会降低预测精度。

机制：在过度警务的社区中，由于监控增加，个人积累行政“风险标记”（如以前的逮捕记录、未出庭记录）的速率更高，即使他们并未犯罪（这膨胀了负类分布）。
结果：这不成比例地增加了假阳性率（FPR）。该定理证明，对于计数阈值分类器，与警务较少的群体相比，过度警务群体的最大可实现 LR（从而也是 PPV）在结构上更低，即使真实的潜在犯罪率相同。

D. 政策指标：需拘留人数（NND）

作者将统计发现转化为与政策相关的指标：NND = 1/PPV。这代表了为防止一起暴力犯罪而必须拘留的被告人数。

发现：在当前的性能水平下，NND 的范围为6 到 13，这意味着每防止一名暴力罪犯，就有 5 到 12 名无辜者被拘留。

4. 主要结果

"99 比 1 规则”：在 1% 的基准率下，工具必须将真阳性标记的可能性比假阳性标记高出约 99 倍，才能实现 50% 的 PPV。现有数据表明，犯罪记录中不存在这样的信号。
实证 LR 差距：对 COMPAS 数据集的分析显示，暴力再犯的 LR 为4.3。在 3% 的现实基准率下，这仅产生**12%**的 PPV（即“高风险”标记有 88% 的概率是错误的）。
监控差异：在 COMPAS 数据中，黑人被告的平均风险因素比白人被告多 1.8 倍，但其假阳性率却高出2.9 倍。这种超线性放大证实了监控上限机制。
AUC 的误导性：本文证明，工具可以在不同基准率下保持恒定的 AUC（例如 0.70），而“高风险”标记的实际 PPV 却会从（50% 基准率下的）约 70% 下降到（3% 基准率下的）约 10%。

5. 意义与影响

结构性不可能：当前工具无法支持高置信度的个性化拘留决策，这并非特定算法的缺陷，而是数据的结构性限制。现有特征（犯罪记录）不包含足够的信号来克服罕见暴力的基准率。
超越指标的公平性：本文认为，仅关注公平性指标（例如均衡不同群体的假阳性率）的辩论是不完整的。即使算法平等地对待各个群体，不均衡的监控也会造成“监控上限”，使得过度警务群体无法实现高精度预测。
政策建议：
1. 透明度：风险报告应明确披露不确定性（例如，“此标记仅在 9 次中有 1 次是正确的”）。
2. 指标转变：报告应从 AUC 转向 PPV、LR 和 NND。
3. 标签使用：当 PPV 低于 20% 时，“暴力高风险”标签不应被用于支持高置信度的拘留决策。
4. 数据警示：本文警告不要利用这些发现来证明更多侵入性数据收集的合理性，而是主张透明地披露当前数据的局限性。

总之，本文确立，对于罕见的暴力结果，“似然比墙”阻碍了当前风险评估工具提供剥夺自由决策所需的确定性水平，而系统性的监控差异加剧了这一问题，且目前没有任何算法调整能够解决这一问题。