Cross-City Comparison of Crime-Prediction Models: A Scale Confound in Aggregate Poisson Likelihood, with a Four-City Demonstration

기술 요약: 범죄 예측 모델의 도시 간 비교

문제 정의
본 논문은 하위 시정 단위(sub-municipal) 범죄 예측 영역 내에서, 카운트 예측 모델(count-prediction models)의 교차 인구 집단 평가 시 발생하는 방법론적 공백을 다룬다. 사건 가중 뽀아송 예측 로그 가능도(event-weighted Poisson predictive log-likelihood, PLL)는 서로 다른 범죄 밀도를 가진 관할 구역 간의 모델 성능을 비교하는 데 널리 사용되지만, 저자들은 이 지표가 제로율(zero-rate) 구성에 의해 근본적으로 혼동(confounded)된다는 점을 입증한다. 구체적으로, 사건당 로그 가능도의 상한선은 수학적으로 예측 평균($\mu$)에 의존하며, $\mu$가 증가할수록 더 큰 음수 값을 갖게 된다. 결과적으로, 사건 밀도가 높은(따라서 제로율이 낮은) 인구 집단은 실제 모델의 품질과 관계없이 집계된 PLL 순위에서 체계적으로 불이익을 받게 된다. 이러한 혼동은 도시 간의 외견상 순위를 뒤바꿀 수 있으며, 오해의 소지가 있는 결론을 초래할 수 있다.

방법론
본 연구는 보스턴(미국), 리즈, 버밍엄, 런던(영국)의 범죄 발생 데이터를 적용한 통합 LightGBM 파이프라인을 사용하여 4개 도시의 실증적 시연을 수행한다.

• 데이터: 데이터셋은 월별 단위로 집계된 H3 해상도 9 수준의 공간 셀(약 0.105 km²)로 구성된다. 보스턴 데이터(2023년 1월2026년 4월)는 일 단위 해상도의 NIBRS 데이터이며, 영국 데이터(2023년 3월2026년 2월)는 월 단위의 Home Office 데이터이다.
• 모델: 각 도시 및 고유 범죄 유형별로 독립적인 Poisson 목적 함수를 가진 LightGBM 부스터(총 36개의 $(city, type)$ 셀)를 학습시킨다. 모델은 로그 인구, 시계열 래그(temporal lags), 이동 평균, 이웃 합계 등 14개의 피처 스택을 활용한다.
• 평가 프로토콜: 연구는 인터리브드(interleaved) 3년 분할 방식(24개의 훈련 빈, 짝수/홀수 빈을 검증 및 테스트용으로 교차 사용)을 사용한다. 지표는 홀드아웃(held-out) 테스트 세트에 대해 계산된다.
• 지표 분석: 저자들은 뽀아송 로그 가능도의 Stirling 근사 한계를 대수적으로 도출하여 $\mu$에 대한 의존성을 보여준다. 이들은 네 가지 요약 지표를 비교한다: 사건 가중 평균 PLL, nonzero_pll_mean ($y>0$인 경우의 평균 PLL), calibration_ratio (관측 평균/예측 평균), 그리고 zero_rate이다.
• 부정적 결과 목록(Negative Results Catalog): 본 논문은 절도(shoplifting) 사건에 대해 발산 탐지 진단(divergence-detection diagnostic, $\mu_{max} / \mu_{median} > 1000$으로 정의됨)에 대해 테스트된 네 가지 특정 그래디언트 공간 개입을 기록한다: Tweedie 손실 ($p=1.5$), 고정 분산 NB(Negative Binomial) 손실, 훈련 대상 윈저라이제이션(winsorization), 단일 유형 학습률 감소이다.

주요 기여

1. 규모 혼동(Scale Confound) 식별: 본 논문은 집계된 사건 가중 PLL이 서로 다른 제로율 구성을 가진 인구 집단 간에 비교 가능하지 않다는 것에 대한 대수적 증명과 실증적 근거를 모두 제공한다. 4개 도시 코퍼스에서, 세 가지 서로 다른 지표는 세 가지 서로 다른 순위 1위 도시를 산출했다(집계 PLL에서는 버밍엄, nonzero_plf_mean에서는 보스턴, calibration_ratio에서는 런던). 어떤 도시도 세 지표 모두에서 1위를 차지하지 못했다.
2. 제안된 지표 쌍: 저자들은 교차 인구 집단 평가를 위한 주요 쌍으로 nonzero_pll_mean과 calibration_ratio를 제안하며, zero_rate는 기술적 맥락으로서 함께 보고한다. 이 접근법은 사건 발생에 대한 모델 성능을 데이터 분포의 구조적 특성으로부터 분리한다.
3. 부정적 결과 목록: 논문은 테스트된 환경에서 예측 개선에 실패한 네 가지 구성별 개입을 명시적으로 보고한다. 결정적으로, 저자들은 해당 진단 자체가 예측 병리(predictive pathology)가 아닌 공간적 희소성(concentrated crime의 구조적 특성)을 측정하고 있었으며, 따라서 개입이 불필요하거나 역효과를 낼 수 있음을 발견했다.

결과

• 지표 불일치: 연구는 집계된 PLL 순위가 제로율 구성에 의해 주도됨을 확인한다. 예를 들어, 보스턴(74%)과 런던(61%) 사이의 13.5 퍼센트 포인트 제로율 차이는, 두 도시의 개별 사건당 성능이 유사함에도 불구하고 집계 PLL 격차의 대부분을 설명한다.
• 보정(Calibration) 개선: 보스턴의 보정 비율(초기 0.849 vs 영국 도시들의 ~0.93)에 대한 사례 연구는, 이러한 차이가 모델 아키텍처의 변경이 아니라 데이터 파이프라인의 수정(시간 감쇠 가중치 적용, 불완전한 월 단위 테스트 빈 제외, 계절적 효과 균형을 위한 인터리브드 분할 사용)을 통해 해결되었음을 밝혔다.
• 개입 결과:
  • Tweedie Loss ($p=1.5$): 발산 비율을 줄이는 데 실패했으며 다른 범죄 유형에서 훈련 병리를 유발했다.
  • Negative Binomial (고정 $\alpha$): 훈련된 모델이 Poisson 베이스라인에 비해 현저하게 과대 예측하였다(보정 비율 0.69–0.83).
  • Winsorization: 99.9 백분위수 클리핑은 다른 유형을 저하시키지 않으면서 발산 비율을 줄였으나, 근본적인 진단 대상이 잘못 설정되었기에 채택되지 않았다.
  • 학습률 감소: 절도 사건에 대해 학습률을 5배 감소시키면 발산 플래그는 해소되지만, 모델이 희소한 공간 구조를 학습하는 데 실패하여 예측 품질이 처참하게 저하되었다(보정 비율 $\approx 0.01$).

의의 및 범위
본 논문은 예측 치안 아키텍처의 일반화보다는 방법론적 노트로서 자리매김한다.

• 범위 제한: 저자들은 4개 도시 샘플($n=4$)이 유사한 치안 기관을 가진 고소득, OECD, 영어권, 영미법 관할 구역으로 구성되어 있음을 명시한다. 따라서 본 연구는 LightGBM 아키텍처나 특정 부정적 결과에 대한 교차 관할 구역 일반화를 주장하지 않는다.
• 주요 기여: 핵심적인 의의는 집계 PLL이 규모가 혼동된(scale-confounded) 지표라는 대수적 및 실증적 입증에 있다. 논문은 교차 인구 집단 비교 시 오해의 소지가 있는 순위를 피하기 위해 zero_rate와 함께 nonzero_pll_mean 및 calibration_ratio를 보고해야 한다고 주장한다.
• 절차적 권고: 교차 인구 집단 간 보정 불일치가 발생할 때, 모델 아키텍처나 손실 함수를 변경하기 전에 데이터 파이프라인의 무결성(예: 잘린 빈, 불일치하는 윈도우)을 조사할 것을 권고하는 것이 핵심적인 시사점이다.
• 부정적 결과: 보고된 특정 개입의 실패는 범주적인 기술 거부가 아니라, 꼬리가 두꺼운(heavy-tailed) 공간 집중형 카운트 데이터를 다루는 실무자들을 위한 구성별 관찰 결과이다(예: MLE로 추정된 $\alpha$를 사용하는 NB는 아직 테스트되지 않았다).

논문은 집계 PLL의 규모 혼동은 예측 치안의 윤리적 논쟁보다 앞선 측정의 문제이며, 비교 연구에서 성능 보고 방식의 변화가 필요하다고 결론짓는다.