Cross-City Comparison of Crime-Prediction Models: A Scale Confound in Aggregate Poisson Likelihood, with a Four-City Demonstration

Resumen Técnico: Comparación entre Ciudades de Modelos de Predicción de Delitos

Planteamiento del Problema
El artículo aborda una brecha metodológica en la evaluación de poblaciones cruzadas de modelos de predicción de conteos, específicamente dentro del dominio de la previsión de delitos submunicipales. Si bien el log-verosimilitud predictiva (PLL) de Poisson ponderado por eventos agregados se utiliza ampliamente para comparar el rendimiento de los modelos en distintas jurisdicciones con diferentes densidades de delitos, los autores demuestan que esta métrica está fundamentalmente confundida por la composición de la tasa de ceros. Específicamente, el techo de la log-verosimilitud por evento es matemáticamente dependiente de la media predicha ($\mu$), volviéndose más negativa a medida que $\mu$ aumenta. En consecuencia, las poblaciones con mayores densidades de eventos (y, por lo tanto, menores tasas de cero) son sistemáticamente penalizadas en los rankings de PLL agregado, independientemente de la calidad real del modelo. Este factor de confusión puede reordenar el ranking aparente de las ciudades, conduciendo a conclusiones erróneas sobre el rendimiento predictivo.

Metodología
El estudio emplea una demostración empírica de cuatro ciudades utilizando un flujo de trabajo (pipeline) unificado de LightGBM aplicado a datos de incidentes delictivos de Boston (EE. UU.), Leeds, Birmingham y Londres (Reino Unido).

• Datos: El conjunto de datos comprende celdas espaciales H3 de resolución 9 (aprox. 0.105 km²) agregadas con granularidad mensual. Los datos de Boston (enero 2023 – abril 2026) son datos NIBRS de resolución diaria, mientras que los datos del Reino Unido (marzo 2023 – febrero 2026) son datos mensuales de la Home Office.
• Modelo: Se entrenan impulsores (boosters) de LightGBM independientes para cada ciudad y tipo de delito nativo (36 celdas $(ciudad, tipo)$ en total). Los modelos utilizan un stack de 14 características que incluye log-población, rezagos temporales, medias móviles y sumas de vecindario.
• Protocolo de Evaluación: El estudio utiliza una división de año 3 intercalada (24 bins de entrenamiento, alternando bins pares/impares para validación y prueba). Las métricas se computan sobre conjuntos de prueba retenidos.
• Análisis de Métricas: Los autores derivan algebraicamente el límite de la aproximación de Stirling para la log-verosimilitud de Poisson para mostrar la dependencia de $\mu$. Comparan cuatro métricas de resumen: la media de PLL ponderada por eventos, nonzero_pll_mean (media de PLL condicional a $y>0$), calibration_ratio (media observada/media predicha) y zero_rate.
• Catálogo de Resultados Negativos: El artículo documenta cuatro intervenciones específicas en el espacio de gradiente probadas contra un diagnóstico de detección de divergencia (definido como $\mu_{max} / \mu_{median} > 1000$) para eventos de hurto en tiendas (shoplifting): pérdida de Tweedie ($p=1.5$), Distribución Binomial Negativa (NB) con dispersión fija, winsorización del objetivo de entrenamiento y reducción de la tasa de aprendizaje de tipo único.

Contribuciones Clave

1. Identificación del Confundido de Escala: El artículo proporciona tanto la prueba algebraica como la evidencia empírica de que el PLL ponderado por eventos agregado no es comparable entre poblaciones con diferentes composiciones de tasa de cero. En el corpus de cuatro ciudades, tres métricas diferentes produjeron tres ciudades distintas en el primer puesto: Birmingham en el PLL agregado, Boston en nonzero_pll_mean y Londres en calibration_ratio, sin que ninguna ciudad mantuviera el primer lugar en las tres métricas.
2. Par de Métricas Propuesto: Los autores proponen nonzero_pll_mean y calibration_ratio como el par principal para la evaluación de poblaciones cruzadas, reportando zero_rate como contexto descriptivo. Este enfoque aisla el rendimiento del modelo en la ocurrencia de eventos de las propiedades estructurales de la distribución de los datos.
3. Catálogo de Resultados Negativos: El artículo reporta explícitamente cuatro intervenciones de configuración específica que fallaron al intentar mejorar las predicciones en el régimen probado. Crucialmente, los autores encontraron que el propio diagnóstico de divergencia estaba midiendo la dispersión espacial (una propiedad estructural de la concentración del crimen) en lugar de una patología predictiva, lo que hacía que las intervenciones fueran innecesarias o contraproducentes.

Resultados

• Desacuerdo de Métricas: El estudio confirma que los rankings de PLL agregado están impulsados por la composición de la tasa de cero. Por ejemplo, la diferencia de 13.5 puntos porcentuales en las tasas de cero entre Boston (74%) y Londres (61%) explica la mayor parte de la brecha de PLL agregado, a pesar de tener un rendimiento por evento comparable.
• Mejoras en la Calibración: Un estudio de caso sobre el ratio de calibración de Boston (inicialmente 0.849 frente al ~0.93 de las ciudades del Reino Unido) reveló que la discrepancia no se resolvió mediante cambios en la arquitectura del modelo, sino mediante correcciones en el flujo de datos: aplicar pesos de decaimiento temporal, excluir bins de prueba de meses parciales y utilizar una división intercalada para equilibrar los efectos estacionales.
• Resultados de las Intervenciones:
  • Pérdida de Tweedie ($p=1.5$): No logró reducir los ratios de divergencia y causó patologías de entrenamiento en otros tipos de delitos.
  • Binomial Negativa ( $\alpha$ fijo): Los modelos convergentes sobrepredijeron significativamente (ratios de calibración 0.69–0.83) en comparación con la línea base de Poisson.
  • Winsorización: El recorte del percentil 99.9 redujo los ratios de divergencia sin degradar otros tipos, pero no fue adoptado porque el diagnóstico subyacente estaba mal dirigido.
  • Reducción de la Tasa de Aprendizaje: Reducir la tasa de aprendizaje por un factor de 5 para el hurto en tiendas eliminó la bandera de divergencia, pero degradó catastróficamente la calidad de la predicción (ratio de calibración $\approx 0.01$), ya que el modelo no logró aprender la estructura espacial dispersa.

Significancia y Alcance
El artículo se posiciona como una nota metodológica más que como una generalización de arquitecturas de vigilancia predictiva.

• Limitaciones de Alcance: Los autores declaran explícitamente que la muestra de cuatro ciudades ($n=4$) consiste en jurisdicciones de ingresos altos, de la OCDE, de habla inglesa y de derecho consuetudinario (common law) con instituciones policiales similares. Por lo tanto, el estudio no pretende la generalización transjurisdiccional de la arquitectura LightGBM ni de los resultados negativos específicos.
• Contribución Principal: La importancia central radica en la demostración algebraica y empírica de que el PLL agregado es una métrica confundida por la escala. El artículo argumenta que las comparaciones entre poblaciones deben reportar nonzero_pll_mean y calibration_ratio junto con zero_rate para evitar rankings engañosos.
• Recomendación de Procedimiento: Una conclusión clave es la recomendación de investigar la integridad del flujo de datos (por ejemplo, bins truncados, ventanas desajustadas) antes de alterar la arquitectura del modelo o las funciones de pérdida cuando surjan discrepancias de calibración entre poblaciones.
• Resultos Negativos: Los fallos reportados de intervenciones específicas sirven como observaciones de configuración específica para profesionales que trabajan con datos de conteo de cola pesada y espacialmente concentrados, en lugar de rechazos categóricos de las técnicas (por ejemplo, la NB con $\alpha$ estimado por MLE sigue sin ser probada).

El artículo concluye que el confundido de escala en el PLL agregado es un problema de medición aguas arriba de los debates más amplios sobre la ética de la vigilancia predictiva, lo que requiere un cambio en la forma en que se reporta el rendimiento en estudios comparativos.