🤖 AI

A Comparative Simulation Study of the Fairness and Accuracy of Predictive Policing Systems in Baltimore City

Diese Arbeit präsentiert eine umfassende Simulationsstudie in Baltimore City, die zeigt, dass prädiktive Polizeisysteme zwar kurzfristig genauer und gerechter als die herkömmliche Hot-Spot-Polizei sein können, beide Ansätze jedoch unter ähnlichen Verzerrungen und Rückkopplungsschleifen leiden, wobei prädiktive Systeme Ungleichheiten auf lange Sicht potenziell verstärken können.

Ursprüngliche Autoren: Samin Semsar, Kiran Laxmikant Prabhu, Gabriella Waters, James Foulds

Veröffentlicht 2026-02-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Samin Semsar, Kiran Laxmikant Prabhu, Gabriella Waters, James Foulds

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich Baltimore als einen riesigen, komplexen Garten vor. Einige Teile des Gartens sind voller Unkraut (Kriminalität), während andere sauber sind. Die Polizeikräfte der Stadt sind die Gartenpflege-Mannschaft, und ihre Aufgabe ist es zu entscheiden, wohin sie die Unkrautmäher schicken.

Lange Zeit nutzte die Mannschaft eine einfache Methode namens „Hot Spots Policing“. Es ist so, als würde man den Garten von gestern betrachten und sagen: „Wow, gestern gab es hier viel Unkraut, also schicke ich die Crew heute wieder dorthin.“ Es ist ein reaktiver Ansatz, der auf der jüngsten Vergangenheit basiert.

Dann gab die Technologie ihnen ein neues Werkzeug: „Predictive Policing“. Dies ist wie eine schicke Wettervorhersage für Unkraut. Es nutzt komplexe Mathematik, um Muster über einen längeren Zeitraum zu analysieren und sagt genau voraus, wo morgen Unkrauts wachsen wird, in der Hoffnung, sie abzufangen, bevor sie sich ausbreiten.

Die große Frage, die sich alle stellten, war: Ist dieses neue, hochtechnologische Werkzeug fairer als die alte Methode? Behandelt es alle Stadtteile gleich oder zielt es unfair auf bestimmte Gruppen von Menschen ab?

Dieses Paper ist wie eine riesige, 300-tägige Videospiel-Simulation, in der die Forscher die Rolle der Polizei in Baltimore spielten, um zu sehen, was passiert. Sie haben nicht nur geraten; sie bauten einen digitalen Zwilling der Stadt und ließen die Simulation 20 Mal laufen, um zu sehen, wie die „Unkrautmäher“ (die Polizei) im Laufe der Zeit verteilt wurden.

Hier ist das, was sie herausgefunden haben, einfach erklärt:

1. Die „Kurzzeit-“ vs. „Langzeit-Falle“

Die Forscher testeten drei verschiedene „Gartenpflege-Strategien“:

Short-Term KDE: Betrachtet nur das Unkraut des letzten Monats.
Long-Term KDE: Betrachtet das Unkraut des letzten Jahres.
PredPol (Predictive Policing): Der schicke Algorithmus, der lernt und vorhersagt.

Die Überraschung: Das schicke neue Werkzeug (PredPol) war tatsächlich am besten darin, das Unkraut zu finden (Genauigkeit) und war im Allgemeinen am fairsten zu Beginn. Es verteilte die Polizeibeamten gleichmäßiger als die alte Methode des „Blickens auf den letzten Monat“.

2. Die „Feedbackschleife“ (Der Teufelskreis)

Hier ist der knifflige Teil. Das Paper beschreibt eine Feedbackschleife wie einen Schneeball, der einen Hügel hinunterrollt.

Wenn man mehr Polizei in ein Viertel schickt, findet man dort mehr Verbrechen (weil man intensiver sucht).
Der Computer sieht: „Mehr Verbrechen gefunden!“ und schickt beim nächsten Mal noch mehr Polizei dorthin.
Dies erzeugt einen Zyklus, in dem die Polizei immer wieder an denselben Stellen anhäuft, unabhängig davon, ob dort tatsächlich die meisten Verbrechen stattfinden.

Der Haken: Obwohl das schicke neue Werkzeug (PredPol) am Anfang fairer war, rollte es den Hügel schneller hinunter. Es verstärkte die Voreingenommenheit (Bias) schneller als die älteren Methoden. Wenn man die Simulation über einen sehr langen Zeitraum laufen lässt, kann das schicke Werkzeug am unfairsten sein, weil es so schnell in diesen Zyklus gerät.

3. Der „Baltimore-Twist“ (Es geht nicht immer um Rasse)

Die meisten Menschen nehmen an, dass diese Systeme immer schwarze Viertel unfair angreifen. Die Forscher fanden etwas Überraschendes in Baltimore heraus:

Wenn sie Daten über alle Arten von Verbrechen verwendeten, zeigte die Simulation, dass die Polizei im Laufe der Zeit tatsächlich mehr in weiße Viertel (wie Downtown) geschickt wurde.
Wenn sie jedoch nur nach schweren Körperverletzungen (Aggravated Assaults) suchten, wurde die Polizei mehr in schwarze Viertel geschickt.

Die Analogie: Denken Sie an den Algorithmus wie an ein GPS. Wenn Sie dem GPS sagen: „Finde mir die belebtesten Straßen“, führt es Sie vielleicht in einen wohlhabenden Vorort. Wenn Sie es sagen: „Finde mir die gefährlichsten Kreuzungen“, führt es Sie vielleicht in einen anderen Teil der Stadt. Das Werkzeug ist nicht von Natur aus „böse“; es folgt einfach der Karte, die man ihm gibt. In Baltimore änderte die Karte das Ziel.

4. Der „Fairness vs. Genauigkeit“-Trade-off

Das Paper fand heraus, dass „genau“ zu sein (die meisten Verbrechen zu finden) nicht automatisch bedeutet, dass man auch „fair“ ist.

Manchmal kann ein System sehr gut darin sein, Verbrechen zu finden, aber gleichzeitig sehr unfair in der Art und Weise, wie es Stadtteile behandelt.
Manchmal kann ein System gleichzeitig fair und genau sein.
Die Lektion: Man kann nicht nur auf eine Zahl schauen. Man muss sowohl die „Verbrechensfang-Punktzahl“ als auch die „Fairness-Punktzahl“ separat prüfen.

5. Die wichtigste Erkenntnis

Die Forscher sagen: „Kaufen Sie nicht einfach das glänzende neue Werkzeug und hoffen Sie auf das Beste.“

Bevor eine Stadt wie Baltimore (oder irgendeine Stadt) diese prädiktiven Systeme im echten Leben einsetzt, sollte sie zuerst ihre eigenen Simulationen durchführen. Genau wie man keine Brücke baut, ohne die Baupläne zu testen, sollte man keinen Polizei-Algorithmus einsetzen, ohne zu testen, wie er sich in der spezifischen Geschichte und Demografie Ihrer Stadt verhält.

Zusammenfassend: Die neuen prädiktiven Werkzeuge sind mächtig und können fairer sein als die alten Wege, aber sie haben eine „Schnellwahl“ für Unfairness. Wenn man sie nicht genau beobachtet, können sie versehentlich einen Zyklus erschaffen, in dem sie dieselben Viertel immer und immer wieder bestrafen. Die Lösung besteht nicht darin, die Werkzeuge wegzuwerfen, sondern sie in einem „Übungsgarten“ sorgfältig zu testen, bevor man sie in der realen Welt pflanzt.

Technisches Resümee: Eine vergleichende Simulationsstudie zur Fairness und Genauigkeit von prädiktiven Polizeisystemen in Baltimore City

Problemstellung
Prädiktive Polizeisysteme, die darauf ausgelegt sind, die Genauigkeit der Kriminalitätsprognose gegenüber traditioneller „Hot Spots“-Polizeiarbeit zu verbessern, stehen aufgrund von rassistischer Voreingenommenheit und Unfairness in der Kritik. Während frühere Forschungsarbeiten (z. B. Lum und Isaac [41]) gezeigt haben, dass diese Systeme durch Rückkopplungsschleifen durch das Training mit historisch voreingenommenen Daten Bias verstärken können, mangelt es an umfassenden Vergleichsstudien, die prädiktive Polizeiarbeit gegenüber traditionellen Hot-Spots-Methoden evaluieren. Entscheidend ist, dass die relative Fairness und Genauigkeit dieser Ansätze, insbesondere im Kontext von Baltimore, Maryland, bisher nicht etabliert wurden. Baltimore stellt eine einzigartige Fallstudie dar, da die Stadt eine Geschichte der rassistischen Segregation, die Dynamiken des „New Jim Crow“ der Masseninhaftierung und eine frühe Einführung prädiktiver Polizeitechnologien um das Jahr 2018 aufweist. Die spezifischen Dynamiken der Frage, wie die Polizeipräsenz schwarze gegenüber weißen Nachbarschaften beeinflusst – wobei die Präsenz in schwarzen Gemeinschaften oft eher Angst und Instabilität als wahrgenommene Sicherheit erzeugt –, erfordern eine lokalisierte Evaluierung, um zu bestimmen, ob prädiktive Modelle bestehende Disparitäten verstärken oder eine fairere Alternative bieten.

Methodik
Die Autoren entwickelten ein agentenbasiertes Simulationsframework, um die langfristige Fairness und Genauigkeit von drei Polizeialgorithmen über einen Zeitraum von 300 Tagen unter Verwendung von Baltimore City-Kriminalitätsdaten aus den Jahren 2019–2022 zu evaluieren.

Verglichene Algorithmen:
1. PredPol: Ein repräsentatives Modell der prädiktiven Polizeiarbeit basierend auf dem Epidemic-Type Aftershock Sequence (ETAS)-Framework, welches Kriminalität als einen selbst-erregenden Punktprozess behandelt.
2. Short-term KDE: Ein Kernel Density Estimation-Modell, das traditionelle Hot-Spots-Polizeiarbeit repräsentiert und dabei nur die Kriminalitätsgeschichte des letzten Monats nutzt.
3. Long-term KDE: Ein KDE-Modell, das ein Jahr Kriminalitätsgeschichte nutzt, um einen fairen Vergleich des Datenvolumens mit PredPol zu gewährleisten.
Simulationsmechanik:
- Daten: Die Studie nutzte 207.447 Kriminalitätsdatensätze aus Open Baltimore.
- Detektion und Meldung: Die Simulation führte Stochastizität ein, um reale Einschränkungen der Polizeiarbeit abzubilden. Eine „Noisy-OR“-Funktion bestimmte, ob ein Verbrechen detektiert wurde, basierend auf der Anzahl der anwesenden Beamten ( $k$ ) und einer Detektionswahrscheinlichkeit ( $p=0,5$ ). Ein separater Münzwurf mit einer gewichteten Wahrscheinlichkeit (0,4, abgeleitet aus Daten des Bureau of Justice Statistics) bestimmte, ob ein detektiertes Verbrechen auch gemeldet wurde.
- Rückkopplungsschleife: Die Polizeizuweisung für Tag $t$ wurde durch das Modell bestimmt, das auf den bis Tag $t-1$ detektierten und gemeldeten Verbrechen basiert. Dies schuf eine dynamische Rückkopplungsschleife, in der die Polizeipräsenz die Detektion beeinflusste, was wiederum die zukünftigen Trainingsdaten beeinflusste.
- Szenarien: Die Simulation lief über 8 distinkte Einstellungen, die variierten: Anzahl der Beamten (40 vs. 400), Meldewahrscheinlichkeit von Verbrechen (0 vs. 0,4) und Kriminalitätsart (alle Verbrechen vs. nur schwere Körperverletzung/aggravated assault).
Metriken:
- Fairness: Gemessen über Racial Fairness Gaps (absolute Differenz im durchschnittlichen Polizeiteil und im Polizei-zu-Kriminalitäts-Verhältnis zwischen schwarzen und weißen Nachbarschaften) sowie Neighborhood-Level Fairness (Gini-Koeffizienten der Polizeiverteilung und der Polizei-zu-Kriminalitäts-Verhältnisse).
- Genauigkeit: Gemessen als Coverage Accuracy (der Anteil der insgesamt detektierten Verbrechen).

Wesentliche Beiträge

Kontextualisierte Simulation: Die Studie liefert die erste systematische Simulationsanalyse prädiktiver Polizeiarbeit spezifisch innerhalb von Baltimore und adresst damit eine Lücke in der Literatur, die sich primlich auf Städte wie Oakland oder Los Angeles konzentriert hat.
Vergleichbares Framework: Sie etabliert eine logische Basis für den Vergleich von prädiktiver Polizeiarbeit (PredPol) gegenüber traditioneller Hot-Spots-Polizeiarbeit (KDE-Varianten) hinsichtlich sowohl Genauigkeit als auch Fairness über die Zeit.
Analyse der Bias-Dynamik: Die Arbeit untersucht, wie sich Bias über die Zeit entwickelt, und unterscheidet zwischen kurzfristiger Performance und langfristigen Tendenzen, die durch Rückkopplungsschleifen getrieben werden.
Datengetriebener vs. Modellgetriebener Bias: Die Studie zeigt, dass Bias-Ergebnisse nicht allein durch den Algorithmus bestimmt werden, sondern signifikant durch die spezifischen Kriminalitätsdaten beeinflusst werden (z. B. schwere Körperverletzung vs. alle Verbrechen).

Ergebnisse

Genauigkeit: PredPol war im Allgemeinen der genaueste Algorithmus und erreichte in 87,5 % der Szenarien die höchste Coverage Accuracy. Short-term KDE war konsistent der am wenigsten genaue Algorithmus.
Kurzfristige Fairness: In der Kurzfristigkeit wies PredPol eine höhere rassische und nachbarschaftliche Fairness auf als beide KDE-Varianten. Long-term KDE verbesserte die Genauigkeit und die nachbarschaftliche Fairness gegenüber Short-term KDE, schnitt jedoch bei den Metriken der rassischen Fairness schlechter ab.
Langfristige Bias-Verstärkung: Obwohl PredPol als das fairste Modell begann, zeigte es in den meisten Szenarien die schnellste Rate der Bias-Verstärkung. Die Rückkopplungsschleife führte dazu, dass die Fairness von PredPol schneller degradierte als die der KDE-Modelle.
Kontraintuitive Bias-Richtung: Entgegen der gängigen Annahme, dass prädiktive Polizeiarbeit gegen schwarze Nachbarschaften voreingenommen ist, zeigte die Simulation unter Verwendung von „allen Kriminalitätsdatensätzen“ in Baltimore einen Trend zur Überpolizeilichkeit in weißen Nachbarschaften (z. B. Downtown, Mount Vernon, Canton) auf lange Sicht. Wenn jedoch nur Datensätze zu „schweren Körperverletzungen“ verwendet wurden, tendierte der Bias zu schwarzen Nachbarschaften (z. B. Sandtown-Winchester, Blair-Edison).
Korrelation: Es wurde eine Korrelation zwischen der nachbarschaftlichen Fairness und der Genauigkeit beobachtet (höhere Fairness-Gaps gingen oft mit geringerer Genauigkeit einher), jedoch bestand keine solche Korrelation zwischen der rassischen Fairness und der Genauigkeit.
Volatilität: Short-term KDE zeigte die volatilsten Änderungen in der nachbarschaftlichen Fairness, während PredPol die konsistentesten (wenn auch rapide sich verschlechternden) Bias-Verstärkungstendenzen aufwies.

Bedeutung und Behauptungen
Das Paper behauptet, dass die Situation bezüglich der Voreingenommenheit in der prädiktiven Polizeiarbeit komplexer ist als bisher angenommen. Die Autoren stellen fest:

Traditionelle Methoden sind nicht inhärent fairer: Hot-Spots-Polizeiarbeit (KDE) weist ähnliche Bias-Probleme auf wie prädiktive Polizeiarbeit, was die Vorstellung infrage stellt, dass einfachere Modelle eine sichere Alternative seien.
Der Kontext zählt: Die Richtung des Bias (hin zu schwarzen oder weißen Nachbarschaften) ist abhängig von den spezifischen Kriminalitätsdaten, die verwendet werden, und der lokalen demografischen Landschaft, und ist keine rein intrinsische Eigenschaft des Algorithmus allein.
Es existieren Trade-offs: Während prädiktive Polizeiarbeit möglicherweise eine überlegene Genauigkeit und anfängliche Fairness bietet, deutet ihre Anfälligkeit für eine schnelle Verstärkung durch Rückkopplungsschleifen auf das Potenzial für ein schlechteres Langzeitverhalten hin.
Methodische Notwendigkeit: Die Studie plädiert für die Nutzung von Simulationsmethoden als Voraussetzung für politische Entscheidungen. Behörden und Interessengruppen sollten solche lokalisierten Evaluierungen nutzen, um die Komplexität der Fairness vor dem Einsatz prädiktiver Polizeiwerkzeuge zu navigieren, da eine reale Implementierung ohne Vorab-Evaluierung das Risiko birgt, Ungleichheiten zu verstärken.

Die Autoren kommen zu dem Schluss, dass prädiktive Polizeiarbeit in ihrer 300-tägigen Simulation zwar im Durchschnitt fairer und genauer als Hot-Spots-Polizeiarbeit war, die Geschwindigkeit der Bias-Verstärkung jedoch zur Vorsicht mahnt. Sie empfehlen, dass künftige Einsätze in Baltimore und ähnlichen Kontexten von lokalisierten Simulationsstudien begleitet werden sollten, um potenzielle langfristige Tendenzen und Ungerechtigkeiten zu identifizieren.