A Comparative Simulation Study of the Fairness and Accuracy of Predictive Policing Systems in Baltimore City

Resumen Técnico: Un estudio de simulación comparativo de la equidad y la precisión de los sistemas de vigilancia predictiva en la ciudad de Baltimore

Planteamiento del problema
Los sistemas de vigilancia predictiva, diseñados para mejorar la precisión de la predicción del crimen sobre el patrullaje tradicional de "puntos calientes" (hot spots), han sido objeto de escrutinio debido al sesgo racial y la falta de equidad. Si bien investigaciones previas (por ejemplo, Lum e Isaac [41]) han demostrado que estos sistemas pueden amplificar el sesgo a través de bucles de retroalimentación cuando se entrenan con datos históricamente sesgados, existe una falta de estudios comparativos exhaustivos que evalúen la vigilancia predictiva frente a los métodos tradicionales de puntos calientes. Crucialmente, la equidad y la precisión relativa de estos enfoques no se han establecido, particularmente en el contexto de Baltimore, Maryland. Baltimore presenta un caso de estudio único debido a su historia de segregación racial, las dinámicas del "Nuevo Jim Crow" de encarcelamiento masivo y su temprana adopción de tecnologías de vigilancia predictiva alrededor de 2018. Las dinámicas específicas de cómo la presencia policial afecta a los vecindarios negros frente a los blancos —donde la presencia en comunidades negras suele inducir miedo e inestabilidad en lugar de una percepción de seguridad— requieren una evaluación localizada para determinar si los modelos predictivos refuerzan las disparidades existentes o si ofrecen una alternativa más justa.

Metodología
Los autores desarrollaron un marco de simulación basado en agentes para evaluar la equidad y la precisión a largo plazo de tres algoritmos de vigilancia durante un período de 300 días utilizando datos de criminalidad de la ciudad de Baltimore de 2019–2022.

• Algoritmos comparados:

  1. PredPol: Un modelo de vigilancia predictiva representativo basado en el marco de Secuencia de Eventos de Tipo Epidémico (ETAS, por sus siglas en inglés), que trata el crimen como un proceso de puntos autoexcitables.
  2. KDE de corto plazo: Un modelo de Estimación de Densidad de Kernel que representa el patrullaje tradicional de puntos calientes, utilizando únicamente el historial de criminalidad del mes más reciente.
  3. KDE de largo plazo: Un modelo de KDE que utiliza un año de historial de criminalidad para asegurar una comparación justa de volumen de datos con PredPol.

• Mecánica de la simulación:

  • Datos: El estudio utilizó 207,447 registros de delitos de Open Baltimore.
  • Detección y reporte: La simulación introdujo estocasticidad para modelar las limitaciones del mundo real en la labor policial. Una función "Noisy-OR" determinó si un delito fue detectado basándose en el número de oficiales presentes ($k$) y una probabilidad de detección ($p=0.5$). Un lanzamiento de moneda separado con una probabilidad ponderada (0.4, derivada de los datos de la Oficina de Estadísticas de Justicia) determinó si un delito detectado fue reportado.
  • Bucle de retroalimentación: La asignación policial para el día $t$ se determinó mediante el modelo entrenado con los delitos detectados y reportados hasta el día $t-1$. Esto creó un bucle de retroalimentación dinámica donde la presencia policial influyó en la detección, lo que a su vez influyó en los datos de entrenamiento futuros.
  • Escenarios: La simulación se ejecutó a través de 8 configuraciones distintas que variaban el número de oficiales (40 vs. 400), la probabilidad de reporte de delitos (0 vs. 0.4) y el tipo de delito (todos los delitos vs. solo agresiones agravadas).

• Métricas:

  • Equidad: Medida a través de Brechas de Equidad Racial (diferencia absoluta en la participación policial promedio y la relación policía-crimen entre vecindarios negros y blancos) y Equidad a Nivel de Vecindario (coeficientes de Gini de la distribución policial y de las relaciones policía-crimen).
  • Precisión: Medida como Precisión de Cobertura (la proporción de delitos totales detectados).

Contribuciones clave

1. Simulación contextualizada: El estudio proporciona el primer análisis sistemático de simulación de la vigilancia predictiva específicamente dentro de Baltimore, abordando un vacío en la literatura que se ha centrado principalmente en ciudades como Oakland o Los Ángeles.
2. Marco comparativo: Establece una base lógica para comparar la vigilancia predictiva (PredPol) contra la vigilancia de puntos caláticos tradicional (variantes de KDE) tanto en términos de precisión como de equidad a lo largo del tiempo.
3. Análisis de la dinámica del sesgo: El trabajo investiga cómo evoluciona el sesgo con el tiempo, distinguiendo entre el rendimiento a corto plazo y las tendencias a largo plazo impulsadas por los bucles de retroalimentación.
4. Sesgo impulsado por datos vs. impulsado por modelos: El estudio demuestra que los resultados del sesgo no están determinados únicamente por el algoritmo, sino que están significativamente influenciados por los datos de criminalidad específicos introducidos en el modelo (por ejemplo, agresiones agravadas frente a todos los delitos).

Resultos

• Precisión: PredPol fue generalmente el algoritmo más preciso, logrando la mayor precisión de cobertura en el 87.5% de los escenarios. El KDE de corto plazo fue consistentemente el menos preciso.
• Equidad a corto plazo: En el corto plazo, PredPol exhibió una mayor equidad racial y a nivel de vecindario en comparación con ambas variantes de KDE. El KDE de largo plazo mejoró respecto al KDE de corto plazo en precisión y equidad de vecindario, pero tuvo un desempeño inferior en las métricas de equidad racial.
• Amplificación del sesgo a largo plazo: Aunque PredPol comenzó como el modelo más justo, demostró la tasa más rápida de amplificación de sesgo en la mayoría de los escenarios. El bucle de retroalimentación causó que la equidad de PredPol se degradara más rápidamente que la de los modelos KDE.
• Dirección contraintuitiva del sesgo: Contrario a la suposición predominante de que la vigilancia predictiva sesga contra los vecindarios negros, la simulación utilizando "todos los registros de delitos" en Baltimore mostró una tendencia hacia la sobrevigilancia de los vecindarios blancos (por ejemplo, Downtown, Mount Vernon, Canton) a largo plazo. Sin embargo, al utilizar únicamente los registros de "agresiones agravadas", la tendencia del sesgo se dirigió hacia los vecindarios negros (por ejemplo, Sandtown-Winchester, Blair-Edison).
• Correlación: Se observó una correlación entre la equidad a nivel de vecindario y la precisión (brechas de equidad más altas a menudo acompañaron a una menor precisión), pero no existió tal correlación entre la equidad racial y la precisión.
• Volatilidad: El KDE de corto plazo mostró los cambios más volátiles en la equidad a nivel de vecindario, mientras que PredPol mostró las tendencias de amplificación de sesgo más consistentes (aunque de rápido empeoramiento).

Significancia y afirmaciones
El artículo afirma que la situación respecto al sesgo en la vigilancia predictiva es más compleja de lo que se suponía anteriormente. Los autores sostienen que:

1. Los métodos tradicionales no son inherentemente más justos: El patrullaje de puntos calientes (KDE) exhibe problemas de sesgo similares a la vigilancia predictiva, desafiando la noción de que los modelos más simples son una alternativa segura.
2. El contexto importa: La dirección del sesgo (hacia vecindarios negros o blancos) depende de los datos de criminalidad específicos utilizados y del panorama demográfico local, en lugar de ser una propiedad intrínseca del algoritmo por sí solo.
3. Existen compensaciones (trade-offs): Si bien la vigilancia predictiva puede ofrecer una precisión y una equidad inicial superiores, su susceptibilidad a una rápida amplificación por el bucle de retroalimentación sugiere el potencial de un comportamiento peor a largo plazo.
4. Necesidad metodológica: El estudio aboga por el uso de metodologías de simulación como un prerrequisito para las decisiones de política pública. Las autoridades y las partes interesadas de la comunidad deben utilizar tales evaluaciones localizadas para navegar las complejidades de la equidad antes de desplegar herramientas de vigilancia predictiva, ya que la implementación en el mundo real sin preevaluación corre el riesgo de reforzar las inequidades.

Los autores concluyen que, si bien la vigilancia predictiva fue, en promedio, más justa y precisa que el patrullaje de puntos calientes en su simulación de 300 días, la velocidad de la amplificación del sesgo exige cautela. Recomiendan que los futuros despliegues en Baltimore y contextos similares sean precedidos por estudios de simulación localizados para identificar posibles tendencias y desiguales a largo plazo.