Cross-City Comparison of Crime-Prediction Models: A Scale Confound in Aggregate Poisson Likelihood, with a Four-City Demonstration

Résumé Technique : Comparaison Inter-villes de Modèles de Prédiction de la Criminalité

Énoncé du Problème
L'article traite d'une lacune méthodologique dans l'évaluation trans-populationnelle des modèles de prédiction de comptages, spécifiquement dans le domaine de la prévision de la criminalité infra-municipale. Bien que la log-vraisemblance prédictive de Poisson (PLL) agrégée pondérée par les événements soit largement utilisée pour comparer les performances des modèles entre juridictions ayant des densités de criminalité différentes, les auteurs démontrent que cette métrique est fondamentalement confondue par la composition du taux de zéro. Plus précisément, le plafond de la log-vraisemblance par événement est mathématiquement dépendant de la moyenne prédite ($\mu$), devenant plus négatif à mesure que $\mu$ augmente. Par conséquent, les populations ayant des densités d'événements plus élevées (et donc des taux de zéro plus faibles) sont systématiquement pénalisées dans les classements de la PLL agrégée, indépendamment de la qualité réelle du modèle. Ce biais peut modifier le classement apparent des villes, menant à des conclusions trompeuses sur la performance prédictive.

Méthodologie
L'étude emploie une démonstration empirique sur quatre villes utilisant un pipeline LightGBM unifié appliqué aux données d'incidents criminels de Boston (États-Unis), Leeds, Birmingham et Londres (Royaume-Uni).

• Données : Le jeu de données comprend des cellules spatiales H3 de résolution 9 (environ 0,105 km²) agrégées à granularité mensuelle. Les données de Boston (janvier 2023 – avril 2026) sont des données NIBRS à résolution quotidienne, tandis que les données du Royaume-Uni (mars 2023 – février 2026) sont des données de l'Home Office mensuelles.
• Modèle : Des boosters LightGBM indépendants avec un objectif de Poisson sont entraînés pour chaque ville et chaque type de crime natif (3otal de 36 cellules (ville, type)). Les modèles utilisent une pile de 14 caractéristiques comprenant la log-population, les décalages temporels, les moyennes mobiles et les sommes de voisinage.
• Protocole d'Évaluation : L'étude utilise une division intercalée de l'année 3 (24 compartiments d'entraînement, alternant les compartiments pairs/impairs pour la validation et le test). Les métriques sont calculées sur des ensembles de test mis de côté.
• Analyse des Métriques : Les auteurs dérivent algébriquement la limite de l'approximation de Stirling pour la log-vraisemblance de Poisson afin de montrer la dépendance vis-à-vis de $\mu$. Ils comparent quatre métriques de synthèse : la moyenne de la PLL pondérée par les événements, la nonzero_pll_mean (moyenne de la PLL conditionnelle à $y>0$), le calibration_ratio (moyenne observée / moyenne prédite) et le zero_rate.
• Catalogue des Résultats Négatifs : L'article documente quatre interventions spécifiques dans l'espace des gradients testées contre un diagnostic de détection de divergence (définie par $\mu_{max} / \mu_{median} > 1000$) pour les événements de vol à l'étalage : la perte de Tweedie ($p=1.5$), la perte Binomiale Négative (NB) avec dispersion fixe, la winsorisation de la cible d'entraînement, et la réduction du taux d'apprentissage pour un type unique.

Contributions Clés

1. Identification du Biais d'Échelle : L'article fournit à la fois une preuve algébrique et empirique que la PLL agrégée pondérée par les événements n'est pas comparable entre des populations ayant des compositions de taux de zéro différentes. Dans le corpus des quatre villes, trois métriques différentes ont produit trois villes classées premières (Birmingham sur la PLL agrégée, Boston sur la nonzero_pll_mean, Londres sur le calibration_ratio), aucune ville ne conservant le premier rang sur les trois métriques.
2. Paire de Métriques Proposée : Les auteurs proposent la nonzero_pll_mean et le calibration_ratio comme paire primaire pour l'évaluation inter-populationnelle, le zero_rate étant rapporté comme contexte descriptif. Cette approche isole la performance du modèle sur l'occurrence des événements des propriétés structurelles de la distribution des données.
3. Catalogue des Résultats Négatifs : L'article rapporte explicitement quatre interventions de configuration spécifiques qui n'ont pas réussi à améliorer les prédictions dans le régime testé. Crucialement, les auteurs ont trouvé que le diagnostic de divergence mesurait elle-même la parcité spatiale (une propriété structurelle de la concentration de la criminalité) plutôt qu'une pathologie prédictive, rendant les interventions inutiles ou contre-productives.

Résultats

• Désaccord des Métriques : L'étude confirme que les classements de la PLL agrégée sont pilotés par la composition du taux de zéro. Par exemple, la différence de 13,5 points de pourcentage dans les taux de zéro entre Boston (74 %) et Londres (61 %) explique la majeure partie de l'écart de la PLL agrégée, malgré des performances par événement comparables.
• Améliorations de la Calibration : Une étude de cas sur le ratio de calibration de Boston (initialement 0,849 contre environ 0,93 pour les villes du Royaume-Uni) a révélé que la disparité était résolue non pas par des changements d'architecture de modèle, mais par des corrections du pipeline de données : application de poids de décroissance temporelle, exclusion des compartiments de test de mois partiels, et utilisation d'une division intercalée pour équilibrer les effets saisonniers.
• Résultats des Interventions :
  • Perte de Tweedie ($p=1.5$) : A échoué à réduire les ratios de divergence et a causé des pathologies d'entraînement pour d'autres types de crimes.
  • Binomiale Négative ( $\alpha$ fixe) : A entraîné des modèles sur-prédisant de manière significative (ratios de calibration 0,69–0,83) par rapport à la référence de Poisson.
  • Winsorisation : Le plafonnement au 99,9e percentile a réduit les ratios de divergence sans dégrader les autres types, mais n'a pas été adopté car le diagnostic sous-jacent était mal ciblé.
  • Réduction du Taux d'Apprentissage : Réduire le taux d'apprentissage par un facteur de 5 pour le vol à l'étalage a levé le drapeau de divergence mais a dégradé de manière catastrophique la qualité de la prédiction (ratio de calibration $\approx 0,01$), car le modèle n'a pas réussi à apprendre la structure spatiale parcimonieuse.

Signification et Portée
L'article se positionne comme une note méthodologique plutôt que comme une généralisation des architectures de police prédictive.

• Limites de Portée : Les auteurs déclarent explicitement que l'échantillon de quatre villes ($n=4$) est composé de juridictions à hauts revenus, de l'OCDE, de langue anglaise, avec des institutions policières similaires. Par conséquent, l'étude ne prétend pas à une généralisation inter-juridictionnelle pour l'architecture LightGBM ou pour les résultats négatifs spécifiques.
• Contribution Principale : La signification centrale réside dans la démonstration algébrique et empirique que la PLL agrégée est une métrique confondue par l'échelle. L'article soutient que les comparaisons inter-populations doivent rapporter la nonzero_pll_mean et le calibration_ratio aux côtés du zero_rate pour éviter des classements trompeurs.
• Recommandation Procédurale : Un point clé est la recommandation d'investiguer l'intégrité du pipeline de données (ex: compartiments tronqués, fenêtres discordantes) avant de modifier l'architecture du modèle ou les fonctions de perte lorsque des disparités de calibration inter-populations apparaissent.
• Résultats Négatifs : Les échecs rapportés de certaines interventions servent d'observations spécifiques à la configuration pour les praticiens travaillant avec des données de comptage spatialement concentrées et à queue lourde, plutôt que de rejets catégoriques de ces techniques (par exemple, la NB avec un $\alpha$ estimé par MLE reste non testée).

L'article conclut que le biais d'échelle dans la PLL agrégée est un problème de mesure en amont des débats plus larges sur l'éthique de la police prédictive, nécessitant un changement dans la manière dont la performance est rapportée dans les études comparatives.