A Comparative Simulation Study of the Fairness and Accuracy of Predictive Policing Systems in Baltimore City

Resumo Técnico: Um Estudo de Simulação Comparativa da Equidade e Precisão de Sistemas de Policiamento Preditivo na Cidade de Baltimore

Definição do Problema
Sistemas de policiamento preditivo, projetados para aumentar a precisão da previsão de crimes em relação ao policiamento tradicional de "pontos quentes" (hot spots), têm enfrentado escrutínio quanto ao viés racial e à injustiça. Embora pesquisas anteriores (ex.: Lum e Isaac [41]) tenham demonstrado que esses sistemas podem amplificar o viés por meio de ciclos de retroalimentação (feedback loops) quando treinados em dados historicamente enviesados, há uma carência de estudos comparativos abrangentes avaliando o policiamento preditivo contra os métodos tradicionais de pontos quentes. Crucialmente, a equidade e a precisão relativas dessas abordagens não foram estabelecidas, particularmente no contexto de Baltimore, Maryland. Baltimore apresenta um estudo de caso único devido à sua história de segregação racial, as dinâmicas do "Novo Jim Crow" da encarceramento em massa e sua adoção precoce de tecnologias de policiamento preditivo por volta de 2018. As dinâmicas específicas de como a presença policial afeta bairros negros versus brancos — onde a presença em comunidades negras muitas vezes induz medo e instabilidade em vez de segurança percebida — tornam necessária uma avaliação localizada para determinar se os modelos preditivos reforçam as disparidades existentes ou oferecem uma alternativa mais justa.

Metodologia
Os autores desenvolveram uma estrutura de simulação baseada em agentes para avaliar a equidade e a precisidade de longo prazo de três algoritmos de policiamento ao longo de um período de 300 dias, utilizando dados de crimes da Cidade de Baltimore de 2019–2022.

• Algoritmos Comparados:

  1. PredPol: Um modelo de policiamento preditivo representativo baseado na estrutura de Sequência de Choque de Epidemia do Tipo Após o Choque (ETAS), que trata o crime como um processo de ponto autoexcitável.
  2. KDE de Curto Prazo: Um modelo de Estimativa de Densidade de Kernel que representa o policiamento tradicional de pontos quentes, utilizando apenas o histórico de crimes do último mês.
  3. KDE de Longo Prazo: Um modelo KDE utilizando um ano de histórico de crimes para garantir uma comparação justa de volume de dados com o PredPol.

• Mecânicas da Simulação:

  • Dados: O estudo utilizou 207.447 registros de crimes do Open Baltimore.
  • Detecção e Notificação: A simulação introduziu estocasticidade para modelar as limitações do mundo real no policiamento. Uma função "Noisy-OR" determinou se um crime foi detectado com base no número de policiais presentes ($k$) e uma probabilidade de detecção ($p=0,5$). Um lançamento de moeda separado com uma probabilidade ponderada (0,4, derivada de dados do Bureau of Justice Statistics) determinou se um crime detectado foi notificado.
  • Ciclo de Retroalimentação (Feedback Loop): A alocação policial para o dia $t$ foi determinada pelo modelo treinado nos crimes detectados e notificados até o dia $t-1$. Isso criou um ciclo de retroalimentação dinâmica onde a presença policial influenciou a detecção, que, por sua vez, influenciou os dados de treinamento futuros.
  • Cenários: A simulação rodou em 8 configurações distintas variando o número de policiais (40 vs. 400), a probabilidade de notificação de crimes (0 vs. 0,4) e o tipo de crime (todos os crimes vs. apenas agressão agravada).

• Métricas:

  • Equidade (Fairness): Medida via Lacunas de Equidade Racial (diferença absoluta na média de participação policial e na razão polícia-crime entre bairros negros e brancos) e Equidade ao Nível do Bairro (coeficientes de Gini da distribuição policial e das razões polícia-crime).
  • Precisão (Accuracy): Medida como Precisão de Cobertura (a proporção do total de crimes detectados).

Principais Contribuições

1. Simulação Contextualizada: O estudo fornece a primeira análise sistemática de simulação de policiamento preditivo especificamente dentro de Baltimore, abordando uma lacuna na literatura que tem focado majoritariamente em cidades como Oakland ou Los Angeles.
2. Estrutura Comparativa: Estabelece uma base lógica para comparar o policiamento preditivo (PredPol) contra variantes de policiamento de pontos quentes (KDE) em termos de precisão e equidade ao longo do tempo.
3. Análise de Dinâmica de Viés: O trabalho investiga como o viés evolui ao longo do tempo, distinguindo entre o desempenho de curto prazo e as tendências de longo prazo impulsionadas por ciclos de retroalimentação.
4. Viés Impulsionado por Dados vs. Modelo: O estudo demonstra que os resultados de viés não são determinados unicamente pelo algoritmo, mas são significativamente influenciados pelos dados de crime específicos inseridos no modelo (ex.: agressão agravada vs. todos os crimes).

Resultos

• Precisão: O PredPol foi geralmente o algoritmo mais preciso, alcançando a maior precisão de cobertura em 87,5% dos cenários. O KDE de curto prazo foi consistentemente o menos preciso.
• Equidade de Curto Prazo: No curto prazo, o PredPol exibiu maior equidade racial e de nível de bairro em comparação com ambas as variantes de KDE. O KDE de longo prazo melhorou a precisão e a equidade de nível de bairro em relação ao KDE de curto prazo, mas teve um desempenho inferior nas métricas de equidade racial.
• Amplificação de Viés de Longo Prazo: Embora o PredPol tenha começado como o modelo mais justo, ele demonstrou a taxa mais rápida de amplificação de viés na maioria dos cenários. O ciclo de retroalimentação fez com que a equidade do PredPol se degradasse mais rapidamente do que os modelos KDE.
• Direção Contraintuitiva do Viés: Contrariando a suposição predominante de que o policiamento preditivo é enviesado contra bairros negros, a simulação utilizando "todos os registros de crimes" em Baltimore mostrou uma tendência de excesso de policiamento em bairros brancos (ex.: Downtown, Mount Vernon, Canton) a longo prazo. No entanto, ao utilizar apenas registros de "agressão agravada", o viés tendeu para bairros negros (ex.: Sandtown-Winchester, Blair-Edison).
• Correlação: Observou-se uma correlação entre a equidade de nível de bairro e a precisão (maiores lacunas de equidade frequentemente acompanhavam menor precisão), mas não houve tal correlação entre a equidade racial e a precisão.
• Volatilidade: O KDE de curto prazo mostrou as mudanças mais voláteis na equidade de nível de bairro, enquanto o PredPol mostrou as tendências de amplificação de viés mais consistentes (embora de rápida deterioração).

Significância e Alegações
O artigo alega que a situação referente ao viés no policiamento preditivo é mais complexa do que anteriormente assumido. Os autores afirmam que:

1. Métodos tradicionais não são inerentemente mais justos: O policiamento de pontos quentes (KDE) exibe problemas de viés semelhantes ao policiamento preditivo, desafiando a noção de que modelos mais simples são uma alternativa segura.
2. O contexto importa: A direção do viés (em direção a bairros negros ou brancos) é contingente aos dados de crime específicos usados e ao cenário demográfico local, em vez de ser uma propriedade intrínseca do algoritmo isoladamente.
3. Existem compensações (trade-offs): Embora o policiamento preditivo possa oferecer precisão e equidade inicial superiores, sua suscetibilidade à rápida amplificação por ciclos de retroalimentação sugere o potencial para um comportamento de longo prazo pior.
4. Necessidade Metodológica: O estudo defende o uso de metodologias de simulação como um pré-requisito para decisões de políticas públicas. Autoridades e partes interessadas da comunidade devem utilizar tais avaliações localizadas para navegar pelas complexidades da equidade antes de implementar ferramentas de policiamento preditivo, pois a implementação no mundo real sem pré-avaliação corre o risco de reforçar inequidades.

Os autores concluem que, embora o policiamento preditivo tenha sido, em média, mais justo e preciso que o policiamento de pontos quentes em sua simulação de 300 dias, a velocidade da amplificação do viés exige cautela. Eles recomendam que futuras implementações em Baltimore e contextos similares sejam precedidas por estudos de simulação localizados para identificar potenciais tendências de longo prazo e inequidades.