Cross-City Comparison of Crime-Prediction Models: A Scale Confound in Aggregate Poisson Likelihood, with a Four-City Demonstration

技術要約：犯罪予測モデルの都市間比較

問題提起
本論文は、サブ・ミューニシパル（市区町村内）レベルの犯罪予測において、カウント予測モデルのクロス・ポピュレーション評価における方法論的な欠陥を取り上げている。事象重み付きのポアソン予測対数尤度（PLL）は、犯罪密度の異なる管轄区域間でモデルの性能を比較するために広く用いられているが、著者らはこの指標が「ゼロ率の組成（zero-rate composition）」によって根本的に混同されていることを示している。具体的には、事象ごとの対数尤度の天井値は、数学的に予測平均（$\mu$）に依存しており、$\mu$ が増加するにつれてより負の値へと大きくなる。その結果、事象密度が高い集団（したがってゼロ率が低い集団）は、実際のモデルの質に関わらず、集計されたPLLのランキングにおいて系統的にペナルティを受けることになる。この混同は、都市の見た目上のランキングを入れ替えてしまい、予測性能に関する誤解を招く可能性がある。

手法
本研究では、ボストン（米国）、リーズ、バーミンガミ、ロンドン（英国）の犯罪発生データに対し、統一されたLightGBMパイプラインを適用した4都市の実証実験を用いている。

• データ: データセットは、月単位で集計されたH3解像度9の空間セル（約0.105 km²）で構成される。ボストンのデータ（2023年1月〜2026年4月）は日次解像度のNIBRSデータであり、英国のデータ（2023年3月〜2026年2月）は月次のHome Officeデータである。
• モデル: 各都市および各固有の犯罪タイプに対して、ポアソン目的関数を用いた独立したLightGBMブースター（計36個の $(city, type)$ セル）を学習させる。モデルは、対数人口、時間的ラグ、ローリング平均、近隣合計を含む14個の特徴量スタックを利用する。
• 評価プロトコル: 研究では、インターリーブされた3年目のスプリット（24個のトレーニングビンを使用し、検証用とテスト用に偶数/奇数ビンを交互に配置）を採用している。指標は保持されたテストセット上で算出される。
• 指標分析: 著者らは、$\mu$ への依存性を示すために、スターリング近似を用いたポアソン対数尤度の極限を代数的に導出している。そして、4つの要約指標を比較している：事象重み付き平均PLL、nonzero_pll_mean（$y>0$ を条件とした平均PLL）、calibration_ratio（観測平均/予測平均）、および zero_rate である。
• 負の結果のカタログ: 本論文は、万引きイベントに対してテストされた、発散検出診断（$\mu_{max} / \mu_{median} > 1000$ と定義）に対する4つの具体的な勾配空間介入を記録している：Tweedie損失（$p=1.5$）、固定分散を用いた負の二項分布（NB）損失、学習ターゲットのウィンゾリゼーション（Winsorization）、および単一タイプの学習率低減である。

主要な貢献

1. スケールによる混同の特定: 本論文は、集計された事象重み付きPLLが、ゼロ率の組成が異なる集団間では比較不可能であることを、代数的な証明と実証的な証拠の両面から提示している。4都市のコーパスにおいて、3つの異なる指標がそれぞれ異なるランク1の都市を導き出した（集計PLLではバーミンガム、nonzero_pll_mean ではボストン、calibration_ratio ではロンドン）。すべての指標において共通の順位を保持した都市は存在しなかった。
2. 提案される指標ペア: 著者らは、クロス・ポピュレーション評価の主要なペアとして nonzero_pllet_mean と calibration_ratio を提案し、zero_rate を記述的な文脈として報告することを推奨している。このアプローチは、事象の発生に関するモデルの性能を、データの分布の構造的特性から分離するものである。
3. 負の結果のカタログ: 本論文は、テストされた領域において予測を改善することに失敗した、構成固有の4つの介入を明示的に報告している。決定的なのは、発散診断自体が、予測の病理ではなく空間的な疎性（集中した犯罪の構造的特性）を測定していたため、それらの介入は不要または逆効果であったという点である。

結果

• 指標の不一致: 本研究は、集計PLLのランキングがゼロ率の組成によって駆動されることを確認している。例えば、ボストン（74%）と英国の都市（61%）の間の13.5パーセントポイントのゼロ率の差は、事象ごとの性能が同等であるにもかかわらず、集計PLLの差の大部分を説明している。
• キャリブレーションの改善: ボストンのキャリブレーション比に関するケーススタディ（当初は0.849に対し、英国の都市は約0.93）では、その不一致がモデルアーキテクチャの変更ではなく、データパイプラインの修正（時間減衰重みの適用、不完全な月次テストビンの除外、季節効果をバランスさせるためのインターリーブ・スプリットの使用）によって解決されたことが明らかになった。
• 介入の結果:
  • Tweedie損失 ($p=1.5$): 発散比を減少させることはできず、他の犯罪タイプにおいて学習の病理を引き起こした。
  • 負の二項分布 (固定 $\alpha$): ポアソン・ベースラインと比較して、大幅な過剰予測（キャリブレーション比 0.69–0.83）を引き起こした。
  • ウィンゾリゼーション: 99.9パーセンタイルでのクリッピングは、他のタイプを劣化させることなく発散比を減少させたが、基礎となる診断が誤った対象に向けられていたため、採用は見送られた。
  • 学習率の低減: 万引きに対して学習率を5分の1に下げると、発散フラグは解消されたものの、予測の質が壊滅的に低下した（キャリブレーション比 $\approx 0.01$）。これは、モデルが疎な空間構造を学習できなかったためである。

意義と範囲
本論文は、予測警察（predictive policing）のアーキテクチャ全般の一般化ではなく、方法論的な注記として位置づけられている。

• 範囲の制限: 著者らは、4都市のサンプル（$n=4$）が高所得、OECD加盟国、英語圏、かつ同様の警察制度を持つ英米法圏の管轄区域で構成されていることを明示している。したがって、本研究はLightGBMアーキテクチャや特定の負の結果に関するクロス・管轄区域的な一般化を主張するものではない。
• 主要な貢献: 中核となる意義は、集計PLLがスケールによって混同される指標であるという代数的および実証的な提示にある。本論文は、クロス・ポピュレーションの比較を行う際には、誤解を招くランキングを避けるために、nonzero_pll_mean と calibration_ratio を zero_rate と併せて報告しなければならないと主張している。
• 手順上の推奨: 異なる集団間でのキャリブレーションの不一致が生じた場合、モデルのアーキテクチャや損失関数を変更する前に、データパイプラインの整合性（例：切り捨てられたビン、不一致のウィンドウ）を調査することを推奨している。
• 負の結果: 報告された特定の介入の失敗は、カテゴリー的な手法の拒絶（例：MLEで推定された $\alpha$ を用いるNBは未検証である）ではなく、ヘビーテイルで空間的に集中したカウントデータを扱う実務家に対する、構成固有の観察事項である。

本論文は、集計PLLにおけるスケールの混同は、予測警察の倫理に関する広範な議論よりも前段階の測定の問題であり、比較研究における報告方法の転換を必要としていると結論付けている。