Cross-City Comparison of Crime-Prediction Models: A Scale Confound in Aggregate Poisson Likelihood, with a Four-City Demonstration

Sintesi Tecnica: Confronto tra modelli di predizione del crimine tra diverse città

Definizione del problema
Il documento affronta una lacuna metodologica nella valutazione cross-popolazione dei modelli di predizione di conteggi, specificamente nel dominio della previsione del crimine sub-municipale. Sebbene la log-verosimiglianza predittiva (PLL) di Poisson pesata per evento aggregata sia ampiamente utilizzata per confrontare le prestazioni dei modelli tra giurisdizioni con diverse densità di criminalità, gli autori dimostrano che questa metrica è fondamentalmente confusa dalla composizione del tasso di zeri. Nello specifico, il limite della log-verosimiglianza per evento è matematicamente dipendente dalla media predetta ($\mu$), diventando più negativa all'aumentare di $\mu$. Di conseguenza, le popolazioni con densità di eventi più elevate (e quindi tassi di zeri inferiori) sono sistematicamente penalizzate nei ranking di PLL aggregata, indipendentemente dalla reale qualità del modello. Questo confondimento può rimescolare il ranking apparente delle città, portando a conclusioni fuorvianti sulla performance predittiva.

Metodologia
Lo studio impiega una dimostrazione empirica su quattro città utilizzando una pipeline unificata LightGBM applicata ai dati di incidenti criminali di Boston (USA), Leeds, Birmingham e Londra (UK).

• Dati: Il dataset comprende celle spaziali H3 a risoluzione 9 (circa 0,105 km²) aggregate a granularità mensile. I dati di Boston (gennaio 2023 – aprile 2026) sono dati NIBRS a risoluzione giornaliera, mentre i dati del Regno Unito (marzo 2023 – febbraio 2026) sono dati dell'Home Office mensili.
• Modello: Booster LightGBM indipendenti con un obiettivo di Poisson sono addestrati per ogni città e tipo di crimine nativo (36 celle $(city, type)$ totali). I modelli utilizzano uno stack di 14 feature che include log-popolazione, lag temporali, medie mobili e somme di vicinato.
• Protocollo di Valutazione: Lo studio utilizza una suddivisione intercalata dell'anno 3 (24 bin di addestramento, con bin pari/dispari alternati per validazione e test). Le metriche sono calcolate su set di test tenuti fuori dall'addestramento.
• Analisi delle Metriche: Gli autori derivano algebricamente il limite dell'approssimazione di Stirling per la log-verosimiglianza di Poisson per mostrare la dipendenza da $\mu$. Confrontano quattro metriche riassuntive: media della PLL pesata per evento, nonzero_pll_mean (media della PLL condizionata a $y>0$), calibration_ratio (media osservata/media predetta) e zero_rate.
• Catalogo dei Risultati Negativi: Il documento documenta quattro specifiche interazioni nello spazio del gradiente testate contro una diagnostica di rilevamento della divergenza (definita come $\mu_{max} / \mu_{median} > 1000$) per gli eventi di furto nei negozi: perdita Tweedie ($p=1.5$), perdita Binomiale Negativa (NB) con dispersione fissa, winsorizzazione del target di addestramento e riduzione del learning rate per singolo tipo.

Contributi Chiave

1. Identificazione del Confondimento di Scala: Il documento fornisce sia la prova algebrica che l'evidenza empirica che la PLL aggregata pesata per evento non è confrontabile tra popolazioni con diverse composizioni del tasso di zeri. Nel corpus delle quattro città, tre metriche differenti hanno prodotto tre diverse città al primo posto (Birmingham sulla PLL aggregata, Boston sulla nonzero_pll_mean, Londra sul calibration_ratio), senza che nessuna città detenesse il primo posto in tutte e tre le metriche.
2. Coppia di Metriche Proposta: Gli autori propongono la nonzero_pll_mean e il calibration_ratio come coppia primaria per la valutazione cross-popolazione, con lo zero_rate riportato come contesto descrittivo. Questo approccio isola la performance del modello sull'occorrenza degli eventi dalle proprietà strutturali della distribuzione dei dati.
3. Catalogo dei Risultati Negativi: Il documento riporta esplicitamente quattro interventi specifici di configurazione che non hanno migliorato le predizioni nel regime testato. Crucialmente, gli autori hanno scoperto che la diagnostica di divergenza stessa stava misurando la scarsità spaziale (una proprietà strutturale della concentrazione del crimine) piuttosto che una patologia predittiva, rendendo gli interventi non necessari o controproducenti.

Risultati

• Disaccordo tra le Metriche: Lo studio conferma che i ranking della PLL aggregata sono guidati dalla composizione del tasso di zeri. Ad esempio, la differenza di 13,5 punti percentuali nei tassi di zeri tra Boston (74%) e Londra (61%) spiega la maggior parte del divario della PLL aggregata, nonostante una performance per evento comparabile.
• Miglioramenti della Calibrazione: Un caso di studio sul rapporto di calibrazione di Boston (inizialmente 0,849 rispetto a circa 0,93 delle città del Regno Unito) ha rivelato che la discrepanza non è stata risolta modificando l'architettura del modello, ma attraverso correzioni della pipeline dei dati: applicando pesi di decadimento temporale, escludendo i bin di test di mesi parziali e utilizzando una suddivisione intercalata per bilanciare gli effetti stagionali.
• Esiti degli Interventi:
  • Perdita Tweedie ($p=1.5$): Non ha ridotto i rapporti di divergenza e ha causato patologie di addestramento in altri tipi di crimine.
  • Binomiale Negativa ( $\alpha$ fisso): I modelli convergente sovra-predicevano significativamente (rapporti di calibrazione 0,69–0,83) rispetto alla baseline di Poisson.
  • Winsorization: Il clipping al 99,9° percentile ha ridotto i rapporti di divergenza senza degradare altri tipi, ma non è stato adottato perché la diagnostica sottostante era errata.
  • Riduzione del Learning Rate: Ridurre il learning rate di un fattore 5 per il furto nei negozi ha eliminato il flag di divergenza ma ha degradato catastroficamente la qualità della predizione (rapporto di calibrazione $\approx 0,01$), poiché il modello non è riuscito a apprendere la struttura spaziale sparsa.

Significato e Ambito
Il documento si pone come una nota metodologica piuttosto che come una generalizzazione delle architetture di polizia predittiva.

• Limitazioni dell'Ambito: Gli autori dichiarano esplicitamente che il campione di quattro città ($n=4$) consiste in giurisdizioni ad alto reddito, OECD, anglofone e di common law con istituzioni di polizia simili. Pertanto, lo studio non pretende una generalizzazione cross-giurisdizionale per l'architettura LightGBM o per i risultati negativi specifici.
• Contributo Primario: La significatività principale risiede nella dimostrazione algebrica ed empirica che la PLL aggregata è una metrica confusa dalla scala. Il documento sostiene che i confronti tra popolazioni devono riportare la nonzero_pll_mean e il calibration_ratio insieme allo zero_rate per evitare ranking fuorvianti.
• Raccomandazione Procedurale: Una chiave di lettura fondamentale è la raccomandazione di investigare l'integrità della pipeline dei dati (ad esempio, bin troncati, finestre temporali disallineate) prima di alterare l'architettura del modello o le funzioni di perdita quando si verificano discrepanze di calibrazione tra popolazioni.
• Risultati Negativi: I fallimenti riportati di specifici interventi servono come osservazioni specifiche di configurazione per i professionisti che lavorano con dati di conteggio spazialmente concentrati e con code pesanti, piuttosto che come rifiuti categorici delle tecniche (ad esempio, la NB con $\alpha$ stimato tramite MLE rimane non testata).

Il documento conclude che il confondimento di scala nella PLL aggregata è un problema di misurazione a monte dei dibattiti più ampi sull'etica della polizia predittiva, rendendo necessaria una modifica nel modo in cui le performance vengono riportate negli studi comparativi.