Cross-City Comparison of Crime-Prediction Models: A Scale Confound in Aggregate Poisson Likelihood, with a Four-City Demonstration

Resumo Técnico: Comparação entre Cidades de Modelos de Predição de Crimes

Definição do Problema
O artigo aborda uma lacuna metodológica na avaliação cross-populacional de modelos de predição de contagem, especificamente no domínio da previsão de crimes submunicipais. Embora o log-verossimilhança preditiva (PLL) de Poisson ponderado por eventos agregados seja amplamente utilizado para comparar o desempenho de modelos entre jurisdições com diferentes densidades de crimes, os autores demonstram que esta métrica é fundamentalmente confundida pela composição de taxa de zero. Especificamente, o teto de log-verossimilhança por evento é matematicamente dependente da média prevista ($\mu$), tornando-se mais negativo à medida que $\mu$ aumenta. Consequentemente, populações com maiores densidades de eventos (e, portanto, menores taxas de zero) são sistematicamente penalizadas nos rankings de PLL agregado, independentemente da qualidade real do modelo. Este fator de confusão pode reordenar o ranking aparente das cidades, levando a conclusões enganosas sobre o desempenho preditivo.

Metodologia
O estudo emprega uma demonstração empírica em quatro cidades utilizando um pipeline unificado de LightGBM aplicado a dados de incidentes criminais de Boston (EUA), Leeds, Birmingham e Londres (Reino Unido).

• Dados: O conjunto de dados compreende células espaciais H3 de resolução 9 (aprox. 0,105 km²) agregadas em granularidade mensal. Os dados de Boston (jan/2023–abr/2026) são dados NIBRS de resolução diária, enquanto os dados do Reino Unido (mar/2023–fev/2026) são dados da Home Office mensais.
• Modelo: Boosters LightGBM independentes com um objetivo de Poisson são treinados para cada cidade e tipo de crime nativo (36 células $(cidade, tipo)$ no total). Os modelos utilizam um stack de 14 características, incluindo log-população, defasagens temporais, médias móveis e somas de vizinhança.
• Protocolo de Avaliação: O estudo utiliza uma divisão de ano-3 intercalada (24 bins de treinamento, alternando bins pares/ímpares para validação e teste). As métricas são computadas em conjuntos de teste retidos.
• Análise de Métricas: Os autores derivam algebricamente o limite da aproximação de Stirling para a log-verossimilhança de Poisson para mostrar a dependência de $\mu$. Eles comparam quatro métricas de resumo: média de PLL ponderada por eventos, nonzero_pll_mean (média de PLL condicional a $y>0$), calibration_ratio (média observada/média prevista) e zero_rate.
• Catálogo de Resultados Negativos: O artigo documenta quatro intervenções específicas no espaço de gradiente testadas contra um diagnóstico de detecção de divergência (definido como $\mu_{max} / \mu_{median} > 1000$) para eventos de furtos (shoplifting): perda de Tweedie ($p=1.5$), perda de Binomial Negativa (NB) com dispersão fixa, winsorização do alvo de treinamento e redução da taxa de aprendizado de tipo único.

Principais Contribuições

1. Identificação do Confundimento de Escala: O artigo fornece prova algébrica e evidência empírica de que o PLL agregado ponderado por eventos não é comparável entre populações com diferentes composições de taxa de zero. No corpus das quatro cidades, três métricas diferentes produziram três cidades diferentes no primeiro lugar (Birmingham no PLL agregado, Boston no nonzero_pll_mean, Londres no calibration_ratio), sem que nenhuma cidade mantivesse o primeiro lugar em todos os três.
2. Par de Métricas Proposto: Os autores propõem o nonzero_pll_mean e o calibration_ratio como o par primário para avaliação cross-populacional, com o zero_rate sendo relatado como contexto descritivo. Esta abordagem isola o desempenho do modelo na ocorrência de eventos das propriedades estruturais da distribuição dos dados.
3. Catálogo de Resultados Negativos: O artigo relata explicitamente quatro intervenções de configuração específica que falharam em melhorar as predições no regime testado. Crucialmente, os autores descobriram que o próprio diagnóstico de divergência estava medindo a esparsidade espacial (uma propriedade estrutural de crimes concentrados) em vez de uma patologia preditiva, tornando as intervenções desnecessárias ou contraproduativas.

Resultados

• Desacordo de Métricas: O estudo confirma que os rankings de PLL agregado são impulsionados pela composição da taxa de zero. Por exemplo, a diferença de 13,5 pontos percentuais nas taxas de zero entre Boston (74%) e Londres (61%) explica a maior parte da lacuna do PLL agregado, apesar de desempenhos por evento comparáveis.
• Melhorias de Calibração: Um estudo de caso sobre o calibration_ratio de Boston (inicialmente 0,849 vs. ~0,93 das cidades do Reino Unido) revelou que a discrepância foi resolvida não por mudanças na arquitetura do modelo, mas por correções no pipeline de dados: aplicação de pesos de decaimento temporal, exclusão de bins de teste de meses parciais e uso de uma divisão intercalada para equilibrar efeitos sazonais.
• Resultados das Intervenções:
  • Perda de Tweedie ($p=1.5$): Falhou em reduzir as razões de divergência e causou patologia de treinamento em outros tipos de crime.
  • Binomial Negativa ($\alpha$ fixo): Modelos convergentes superestimaram significamente (razões de calibração 0,69–0,83) em comparação com a linha de base de Poisson.
  • Winsorização: O corte no percentil 99,9 reduziu as razões de divergência sem degradar outros tipos, mas não foi adotado porque o diagnóstico subjacente estava mal direcionado.
  • Redução da Taxa de Aprendizado: Reduzir a taxa de aprendizado por um fator de 5 para furtos limpou a flag de divergência, mas degradou catastroficamente a qualidade da predição (razão de calibração $\approx 0,01$), pois o modelo falhou em aprender a estrutura espacial esparsa.

Significância e Escopo
O artigo posiciona-se como uma nota metodológica, em vez de uma generalização de arquiteturas de policiamento preditivo.

• Limitações de Escopo: Os autores declaram explicitamente que a amostra de quatro cidades ($n=4$) consiste em jurisdições de alta renda, OCDE, de língua inglesa e de common law com instituições policiais semelhantes. Portanto, o estudo não reivindica generalização cross-jurisdicional para a arquitetura LightGBM ou para os resultados negativos específicos.
• Contribuição Primária: A principal significância reside na demonstração algébrica e empírica de que o PLL agregado é uma métrica com confusão de escala. O artigo argumenta que comparações entre populações devem relatar o nonzero_pll_mean e o calibration_ratio juntamente com o zero_rate para evitar rankings enganosos.
• Recomendação Procedimental: Uma conclusão fundamental é a recomendação de investigar a integridade do pipeline de dados (ex: bins truncados, janelas incompatíveis) antes de alterar a arquitetura do modelo ou as funções de perda quando surgirem discrepâncias de calibração cross-populacional.
• Resultos Negativos: Os fracassos relatados de intervenções específicas servem como observações de configuração específica para profissionais que trabalham com dados de contagem espacialmente concentrados e de cauda pesada, em vez de rejeições categóricas das técnicas (ex: NB com $\alpha$ estimado por MLE permanece não testado).

O artigo conclui que o confundimento de escala no PLL agregado é um problema de medição a montante dos debates mais amplos sobre a ética do policiamento preditivo, exigindo uma mudança na forma como o desempenho é relatado em estudos comparativos.