A Comparative Simulation Study of the Fairness and Accuracy of Predictive Policing Systems in Baltimore City

기술 요약: 볼티모어시의 예측 치안 시스템의 공정성 및 정확도에 관한 비교 시뮬레이션 연구

문제 제기
전통적인 "핫스팟(hot spots)" 치안 유지보다 범죄 예측 정확도를 높이기 위해 설계된 예측 치안 시스템은 인종적 편향과 불공정성에 대한 비판을 받아왔다. 기존 연구(예: Lum 및 Isaac [41])는 이러한 시스템이 역사적으로 편향된 데이터로 학습될 때 피드백 루프를 통해 편향을 증폭할 수 있음을 입증했으나, 예측 치안을 전통적인 핫스팟 방식과 비교하여 평가하는 포괄적인 비교 연구는 부족한 실정이다. 특히, 예측 치안과 전통적 방식 간의 상대적 공정성과 정확도가 확립되지 않았는데, 메릴랜드주 볼티모어의 맥락에서 이것이 두드러진다. 볼티모어는 인종 격리 역사, 대량 투옥의 "뉴 짐 크로우(New Jim Crow)" 역학, 그리고 2018년경 예측 치안 기술의 조기 도입으로 인해 독특한 사례 연구 대상이 된다. 경찰의 존재가 흑인 공동체와 백인 공동체에 미치는 영향(예: 흑인 공동체에서의 경찰 존재는 안전 체감보다는 공포와 불안정을 유발함)의 구체적인 역학 관계는, 예측 모델이 기존의 격차를 강화하는지 아니면 더 공정한 대안을 제공하는지를 결정하기 위한 국지적 평가를 필요로 한다.

방법론
저자들은 2019~2022년 볼티모어 시 범죄 데이터를 사용하여 300일 동안 세 가지 치안 알고리즘의 장기적 공정성과 정확도를 평가하기 위해 에이전트 기반 시뮬레이션 프레임워크를 개발했다.

• 비교된 알고리즘:

  1. PredPol: 범죄를 자기 흥분형 점 프로세스(self-exciting point process)로 취급하는 에피데믹 유형 후속 사건 시퀀스(ETAS) 프레임워크에 기반한 대표적인 예측 치안 모델.
  2. 단기 KDE: 가장 최근 한 달간의 범죄 이력만을 사용하는 전통적인 핫스팟 치안을 나타내는 커널 밀도 추정(Kernel Density Estimation) 모델.
  3. 장기 KDE: PredPol과 데이터 양을 공정하게 비교하기 위해 1년 치 범죄 이력을 활용하는 KDE 모델.

• 시뮬레이션 메커니즘:

  • 데이터: 연구는 Open Baltimore의 207,447개 범죄 기록을 활용했다.
  • 탐지 및 보고: 시뮬레이션은 현실 세계의 치안 운영 한계를 모델링하기 위해 확률적 요소(stochasticity)를 도입했다. "Noisy-OR" 함수는 경찰관의 수($k$)와 탐지 확률($p=0.5$)을 바탕으로 범죄가 탐지되었는지 여부를 결정했다. 별도의 가중 확률(미국 법무부 통계 자료에서 도출된 0.4)을 가진 동전 던지기를 통해 탐지된 범죄가 보고되었는지 여부를 결정했다.
  • 피드백 루프: $t$일 차의 경찰 배치는 $t-1$일까지 탐지 및 보고된 범죄를 바탕으로 훈련된 모델에 의해 결정되었다. 이는 경찰의 존재가 탐지에 영향을 미치고, 이것이 다시 미래의 훈련 데이터에 영향을 주는 동적인 피드백 루프를 생성했다.
  3. 시나리오: 시뮬레이션은 경찰 인원수(40명 vs 400명), 범죄 보고 확률(0 vs 0.4), 범죄 유형(모든 범죄 vs 가중 폭행만 해당)을 변화시키는 8가지 구별된 설정에서 실행되었다.

• 지표:

  • 공정성: 인종적 공정성 격차(흑인 및 백인 지역 간의 평균 경찰 점유율 및 경찰 대비 범죄 비율의 절대 차이)와 이웃 수준 공정성(경찰 분포 및 경찰 대비 범죄 비율의 지니 계수)을 통해 측정되었다.
  • 정확도: 커버리지 정확도(전체 범죄 중 탐지된 범죄의 비율)로 측정되었다.

주요 기여

1. 맥락화된 시뮬레이션: 본 연구는 오클랜드나 로스앤젤레스에 주로 집중되었던 기존 문헌의 공백을 메우며, 특히 볼티모어 내에서 예측 치안을 체계적으로 분석한 최초의 시뮬레이션 분석을 제공한다.
2. 비교 프레임워크: 예측 치안(PredPol)을 전통적인 핫스팟 치안(KDE 변형)과 정확도 및 공정성 측면에서 비교할 수 있는 논리적 근거를 구축한다.
3. 편향 역학 분석: 연구는 편향이 시간이 지남에 따라 어떻게 진화하는지 조사하며, 단기적 성능과 피드백 루프에 의한 장기적 경향을 구분한다.
4. 데이터 주도형 vs 모델 주도형 편향: 연구는 편향의 결과가 알고리즘에 의해서만 결정되는 것이 아니라, 모델에 입력되는 특정 범죄 데이터(예: 가중 폭행 vs 모든 범죄)에 의해 크게 영향을 받는다는 것을 보여준다.

결과

• 정확도: PredPol은 일반적으로 가장 정확한 알고리즘이었으며, 87.5%의 시나리오에서 가장 높은 커버리지 정확도를 달립했다. 단기 KDE는 일관되게 가장 정확도가 낮았다.
• 단기 공정성: 단기적으로 PredPol은 두 가지 KDE 변형 모델보다 높은 인종적 및 이웃 수준 공정성을 보였다. 장기 KDE는 단기 KDE보다 정확도와 이웃 공정성 측면에서 개선되었으나, 인종적 공정성 지표에서는 더 낮은 성능을 보였다.
• 장기 편향 증폭: PredPol은 가장 공정한 모델로 시작했음에도 불구하고, 대부분의 시나리오에서 가장 빠른 속도로 편향을 증폭시켰다. 피드백 루프로 인해 PredPol의 공정성은 KDE 모델보다 더 빠르게 저하되었다.
• 역설적 편향 방향: 예측 치안이 흑인 지역에 편향될 것이라는 일반적인 가정과 달리, 볼티모어의 "모든 범죄 기록"을 사용한 시뮬레이션에서는 장기적으로 백인 지역(예: 다운타운, 마운트 버논, 캔턴)에 대한 과잉 치안(over-policing) 경향이 나타났다. 그러나 "가중 폭행" 기록만을 사용했을 때는 편향이 흑인 지역(예: 샌드타운-윈체스터, 블레어-에디슨)을 향했다.
• 상관관계: 이웃 수준의 공정성과 정확도 사이에는 상관관계가 관찰되었으나(높은 공정성 격차는 종종 낮은 정확도를 동반함), 인종적 공정성과 정확도 사이에는 그러한 상관관계가 존재하지 않았다.
• 변동성: 단기 KDE는 이웃 수준 공정성에서 가장 휘발성 있는 변화를 보였으며, PredPol은 가장 일관된(비록 급격히 악화되는 형태이지만) 편향 증폭 경향을 보였다.

의의 및 주장
본 논문은 예측 치안에 관한 편향 문제는 기존에 가정된 것보다 더 복잡하다는 점을 주장한다. 저자들은 다음과 같이 단언한다:

1. 전통적 방식이 반드시 더 공정한 것은 아니다: 핫스팟 치안(KDE)은 예측 치안과 유사한 편향 문제를 나타내며, 이는 단순한 모델이 안전한 대안이라는 생각을 반박한다.
2. 맥락이 중요하다: 편향의 방향(흑인 지역 또는 백인 지역을 향함)은 알고리즘 자체의 고유한 특성이 아니라, 사용되는 특정 범죄 데이터와 지역의 인구 통계적 지형에 따라 달라진다.
3. 트레이드오프(Trade-offs)가 존재한다: 예측 치안이 더 우수한 정확도와 초기 공정성을 제공할 수 있지만, 급격한 피드백 루프 증폭에 취약하다는 점은 잠재적으로 더 나쁜 장기적 결과를 초래할 수 있음을 시사한다.
4. 방법론적 필요성: 본 연구는 시뮬레이션 방법론을 정책 결정의 전제 조건으로 사용할 것을 옹호한다. 당국과 지역사회 이해관계자들은 예측 치안 도구를 도입하기 전, 복잡한 공정성 문제를 해결하기 위해 이러한 국지적 평가를 활용해야 한다. 사전 평가 없는 실제 구현은 불평등을 강화할 위험이 있다.

저자들은 300일간의 시뮬레이션 결과, 예측 치안이 평균적으로 핫스팟 치안보다 더 공정하고 정확했지만, 편향 증폭의 속도가 주의를 요한다는 결론을 내렸다. 그들은 볼티모어 및 유사한 맥락에서의 향후 배포가 잠재적인 장기적 경향과 불평등을 식별하기 위한 국지적 시뮬레이션 연구에 앞서 이루어져야 한다고 권고한다.