The Likelihood Ratio Wall: Structural Limits on Accurate Risk Assessment for Rare Violence

마르코 폴라넨의 논문 "희귀 폭력에 대한 정확한 위험 평가의 구조적 한계: 우도비 벽"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

이 논문은 알고리즘적 재판 전 위험 평가 도구 (예: COMPAS, PSA) 를 사용하여 희귀한 재범 폭력을 예측하는 데 있어 근본적인 통계적 장벽을 다룹니다. 이러한 도구들이 매년 수백만 명의 피고인을 분류하지만, 폭력적 재범의 낮은 기저율 (일반적으로 2~5%) 로 인해 고위험 구금 결정과 같은 중대한 사안에서의 효용성이 훼손됩니다.

핵심 문제는 양성 예측도 (PPV) 의 결핍입니다. 판사와 정책 입안자들은 종종 '고위험' 플래그가 해당 개인이 폭력을 저지를 높은 확률을 의미한다고 해석합니다. 그러나 논문은 결과의 희소성으로 인해, AUC 와 같은 신뢰할 만한 순위 지표를 가진 도구조차도 대부분의 경우 잘못된 '고위험' 플래그를 생성한다고 주장합니다. 논문은 정확도의 구조적 한계를 정량화하고, 사후 수정 (재보정 등) 이 이러한 한계를 극복할 수 없음을 입증하고자 합니다.

2. 방법론

이 논문은 이론적 유도, 통계적 모델링, 실증적 검증을 결합하여 수행되었습니다:

• 베이즈 유도: 저자는 베이즈 정리를 사용하여 우도비 (LR), 기저율 ($\pi$), 그리고 양성 예측도 (PPV) 를 연결하는 보편적 상한을 유도합니다.
• 이론적 증명:
  • 재보정 불변성: 재보정에 사용되는 위험 점수의 단조 변환이 우도비를 보존하여 참 양성군과 거짓 양성군의 분리를 개선할 수 없음을 증명합니다.
  • 감시 천장 모델: 위험 도구에서 일반적으로 사용되는 '카운트 임계값' 분류기에 대한 스타일화된 모델을 개발하여, 불평등한 감시 (과잉 단속) 가 특정 집단의 거짓 양성률을 어떻게 부풀리는지, 그리고 기저율이 동일하더라도 해당 집단의 달성 가능한 최대 PPV 를 구조적으로 어떻게 낮추는지를 입증합니다.
• 실증적 검증:
  • 메타 분석: AUC 에 관한 기존 문헌을 검토하고 이를 추정된 우도비로 변환합니다.
  • 데이터셋 분석: 폭력적 재범에 대한 실제 민감도, 거짓 양성률, 그리고 LR 을 계산하기 위해 ProPublica COMPAS 데이터셋 (플로리다주 브라우어드 카운티) 을 사용합니다.
  • 층화 분석: '감시 천장' 가설을 검증하기 위해 인종 그룹 간 성능 지표를 비교합니다.

3. 주요 기여

A. 우도비 벽 (정리 1)

이 논문은 보편적인 정밀도 상한을 공식화합니다. 특정 기저율 ($\pi$) 에서 특정 PPV($\alpha$) 를 달성하기 위한 분류기는 최소 우도비를 만족해야 함을 증명합니다:
$$LR \geq \frac{\alpha}{1-\alpha} \cdot \frac{1-\pi}{\pi}$$

• 함의: 기저율 ($\pi$) 이 감소함에 따라 요구되는 LR 은 쌍곡선적으로 증가합니다.
• 예시: 3% 의 기저율에서 50% 의 PPV(증거의 우세 기준) 를 달성하려면 32.3의 LR 이 필요합니다. 현재 도구들은 일반적으로 2~6의 LR 만 달성합니다.

B. 재보정 불변성 (정리 3)

이 논문은 관찰된 빈도에 맞추기 위해 점수를 재보정하는 것 (예: 플랫 스케일링, 등분할 회귀) 이 개인의 순서를 보존함을 증명합니다. 우도비는 절대 확률 값이 아닌 순위 (민감도 대 거짓 양성률) 에만 의존하므로, 재보정은 PPV 결핍을 해결할 수 없습니다. 이는 확률 보정을 개선할 수는 있으나 도구의 판별력은 개선하지 못합니다.

C. 감시 천장 (정리 4)

이 논문은 과잉 단속이 예측 정밀도를 저하시킨다는 것을 보여주는 공식 모델을 도입합니다.

• 메커니즘: 과잉 단속이 이루어지는 지역사회에서는 범죄를 저지르지 않더라도 증가된 감시로 인해 개인들이 더 높은 비율로 행정적 '위험 표지' (예: 이전 체포, 출석 불이행) 를 축적합니다 (부정 클래스 분포를 부풀림).
• 결과: 이는 거짓 양성률 (FPR) 을 불균형적으로 증가시킵니다. 정리는 카운트 임계값 분류기의 경우, 실제 범죄 발생률이 동일하더라도 과잉 단속을 받는 그룹이 덜 단속받는 그룹에 비해 달성 가능한 최대 LR(따라서 PPV) 이 구조적으로 낮음을 증명합니다.

D. 정책 지표: 구금 필요 수 (NND)

저자는 통계적 발견을 정책 관련 지표인 NND = 1/PPV로 변환합니다. 이는 하나의 폭력 범죄를 예방하기 위해 구금해야 하는 피고인의 수를 나타냅니다.

• 발견: 현재 성능 수준에서 NND 는 6 에서 13사이이며, 이는 한 명의 폭력 범죄자를 예방하기 위해 5 명에서 12 명의 무고한 사람이 구금됨을 의미합니다.

4. 주요 결과

• "99 대 1 규칙": 1% 의 기저율에서 도구는 50% 의 PPV 를 달성하기 위해 거짓 양성보다 참 양성을 플래그할 확률이 약 99 배 더 높아야 합니다. 현재 데이터는 범죄 기록에 그러한 신호가 존재하지 않음을 시사합니다.
• 실증적 LR 격차: COMPAS 데이터셋 분석은 폭력적 재범에 대해 4.3의 LR 을 보여줍니다. 현실적인 3% 의 기저율에서 이는 **12%**의 PPV 만 산출합니다 (즉, '고위험' 플래그가 틀릴 확률이 88% 임).
• 감시 불평등: COMPAS 데이터에서 흑인 피고인은 백인 피고인보다 평균적으로 1.8 배 더 많은 위험 요인을 가지고 있었지만, 그들의 거짓 양성률은 2.9 배 더 높았습니다. 이러한 초선형 증폭은 감시 천장 메커니즘을 확인시켜 줍니다.
• AUC 의 오해: 논문은 도구가 다른 기저율에서도 일정한 AUC(예: 0.70) 를 유지할 수 있지만, '고위험' 플래그의 실제 PPV 는 기저율 50% 에서 약 70% 에서 기저율 3% 에서 약 10% 로 떨어진다는 것을 입증합니다.

5. 중요성 및 함의

• 구조적 불가능성: 현재 도구가 고신뢰도 개별화 구금 결정을 지원하지 못하는 것은 특정 알고리즘의 결함이 아니라 데이터의 구조적 한계입니다. 이용 가능한 특징 (범죄 기록) 은 희귀 폭력의 기저율을 극복할 만큼 충분한 신호를 포함하지 않습니다.
• 지표 너머의 공정성: 논문은 집단 간 거짓 양성률을 동일하게 하는 등 공정성 지표에만 초점을 맞춘 논쟁은 불완전하다고 주장합니다. 알고리즘이 집단을 동등하게 대우하더라도 불평등한 감시는 과잉 단속을 받는 집단에게 고정밀 예측을 불가능하게 만드는 '감시 천장'을 생성합니다.
• 정책 권고사항:
  1. 투명성: 위험 보고서는 불확실성을 명시적으로 공개해야 합니다 (예: "이 플래그는 9 번 중 1 번만 정확합니다").
  2. 지표 전환: 보고는 AUC 에서 PPV, LR, NND 로 전환되어야 합니다.
  3. 라벨링: PPV 가 20% 미만일 때, '폭력 고위험' 라벨은 고신뢰도 구금 결정을 지원하기 위해 사용되어서는 안 됩니다.
  4. 데이터에 대한 주의: 논문은 이러한 발견을 더 침습적인 데이터 수집을 정당화하는 데 사용하는 것을 경고하며, 대신 현재 데이터의 한계에 대한 투명성을 옹호합니다.

결론적으로, 이 논문은 희귀한 폭력 결과의 경우 '우도비 벽'이 자유를 박탈하는 결정에 필요한 확실성 수준을 현재 위험 평가 도구들이 제공할 수 없음을 확립하며, 이는 현재 알고리즘적 튜닝으로는 해결할 수 없는 체계적 감시 불평등에 의해 악화되고 있음을 보여줍니다.