Before Prediction Becomes Punishment: Governing AI in Bangladesh's Criminal Justice System

Stellen Sie sich eine Welt vor, in der ein Computerprogramm mitentscheidet, wer verhaftet wird, wer vor seinem Prozess im Gefängnis bleibt und wie lange jemand eine Strafe absitzt. Dies ist keine Science-Fiction; es ist die aufkommende Realität der Strafjustiz an vielen Orten, einschließlich Bangladesch. Die Kernidee hinter diesen Systemen ist „Predictive Policing“ oder „Risiko-Scoring“. Anstatt dass ein Polizeibeamter oder ein Richter sich allein auf sein Gedächtnis oder eine einzelne Akte verlässt, nutzen sie Software, die riesige Datenmengen scannt – vergangene Verhaftungen, den Wohnort, das Alter oder die Familiengeschichte –, um zu erraten, wer in Zukunft ein Verbrechen begehen könnte oder wer wahrscheinlich fliehen würde, wenn er entlassen wird. Das Versprechen ist Effizienz: kriminelle Akteure schneller zu fassen und alle gleich zu behandeln. Doch die Gefahr ist ebenso real. Wenn der Computer aus vergangenen Fehlern lernt, etwa von einer Polizeikraft, die nur in armen Vierteln patrouilliert hat, wird er die Polizei schlichtweg anweisen, erneut in denselben Vierteln zu patrouillieren, was einen Kreislauf schafft, in dem die Armen häufiger bestraft werden – nicht weil sie schlimmer sind, sondern weil sie genauer beobachtet wurden. Die Frage, vor der Nationen heute stehen, ist nicht, ob sie diese Werkzeuge nutzen, sondern wie sie sie nutzen, ohne historische Ungerechtigkeit in automatisierte Bestrafung zu verwandlichen.

Eine Forscherin namens Shanjida Israt Jahan Efat, die von der Notre Dame University Bangladesh schreibt, hat genau diesen Moment für ihr Land untersucht. Bangladesch baut derzeit das digitale Fundament für ein solches System auf. Die Regierung hat tragbare Geräte eingeführt, die den Fingerabdruck einer Person scannen und sofort deren Identität, Reisepass und kriminelle Vorgeschichte abrufen können. Neue Gesetze erlauben es nun, digitale Aufzeichnungen als Beweismittel vor Gericht zu verwenden, und ein Entwurf für eine nationale Strategie wird vorbereitet, um zu leiten, wie Künstliche Intelligenz von 2026 bis 2030 eingesetzt werden soll. Das Land verfügt jedoch noch nicht über klare Regeln darüber, wann die Vermutung eines Computers stark genug ist, um den Entzug der Freiheit einer Person zu rechtfertigen. Efats Arbeit ist ein Fahrplan, der darauf abzielt, zu verhindern, dass das Land einen kritischen Fehler begeht: eine Technologie einzuführen, die modern aussieht, aber tatsächlich alte Ungleichheiten vertieft.

Das Papier beginnt damit, genau aufzuzeigen, wo diese Computersysteme in den Justizprozess eingreifen könnten, vom Moment der Polizeipatrouillen bis zum Tag der Entlassung eines Gefangenen. Die Forscherin identifiziert sieben Schlüsselphasen, in denen Dinge schiefgehen könnten. Wenn beispielsweise die Polizei Software nutzt, um vorherzusagen, wo Verbrechen geschehen könnten, könnte das System einfach mehr Beamte in Gebiete schicken, die bereits intensiv kontrolliert werden. Dies schafft einen Kreislauf, in dem mehr Beamte mehr geringfügige Vergehen finden, welche der Computer dann als Beweis dafür nutzt, dass das Gebiet gefährlich sei, was wiederum mehr Beamte rechtfertigt. Dies ist keine neutrale Beobachtung von Kriminalität; es ist eine selbsterfüllende Prophezeiung. Ähnlich verhält es sich, wenn Software zur Identifizierung von Verdächtigen durch Gesichtserkennung oder Fingerabdrücke eingesetzt wird; ein Fehler im System kann zu einer falschen Verhaftung führen. Das Papier stellt fest, dass diese Systeme oft Schwierigkeiten mit der Genauigkeit bei bestimmten Gruppen haben, wie etwa Frauen mit dunklerer Hautfarbe oder Menschen mit religiöser Kleidung, was zu einer höheren Fehlerquote für diejenigen führt, die ohnehin schon vulnerabel sind.

Efat argumenttiert, dass die derzeitigen Gesetze in Bangladesch nicht ausreichen, um diese Probleme zu verhindern. Zwar gibt es neue Regeln zum Schutz personenbezogener Daten, doch diese Regeln weisen eine große Lücke auf, die es der Polizei erlaubt, den Schutz der Privatsphäre zu umgehen, wenn sie behauptet, eine Straftat zu untersuchen. Das Gesetz schützt die Daten selbst, erklärt aber nicht, wie ein Richter eine Vorhersage eines Computers behandeln soll, wenn er darüber entscheidet, ob jemand im Gefängnis bleiben muss. Die Forscherin weist darauf darauf hin, dass es nicht ausreicht, einfach einen Menschen „im Prozess“ zu haben – das heißt, ein Mensch betrachtet die Antwort des Computers, bevor eine Entscheidung getroffen wird. Wenn ein Richter oder Polizeibeamter sich unter Druck gesetzt fühlt, dem Computer zu vertrauen, oder wenn er nicht versteht, wie die Maschine zu ihrem Schluss gekommen ist, behebt seine Anwesenheit das Problem nicht. Ein Mensch, der lediglich ein Ergebnis abzeichnet, ohne dessen Grenzen zu verstehen, bietet keine echte Aufsicht; er ist nur ein Stempelautomat.

Um dies zu lösen, schlägt das Papier ein strenges fünfstufiges Testverfahren vor, oder die „fünf Tore“, die jedes neue System passieren muss, bevor es Entscheidungen über die Freiheit von Menschen treffen darf. Das erste Tor fordert ein klares Gesetz. Die Regierung muss eine spezifische schriftliche Regel haben, die genau festlegt, was der Computer tun darf, wer ihn nutzen darf und welche Daten er einsehen kann. Ein allgemeiner Wunsch, „Verbrechen zu bekämpfen“, reicht nicht aus, um Massenüberwachung zu rechtfertigen. Das zweite Tor verlangt einen Nachweis der Notwendigkeit. Die Behörden müssen nachweisen, dass sie ein echtes Problem haben, das nicht durch einfachere, weniger tiefgreifende Methoden gelöst werden kann, und dass der Nutzen des neuen Systems die Risiken aufwiegt.

Das dritte Tor ist vielleicht das kritischste: die lokale Validität. Ein System, das in einem Land oder gar in einer Stadt gut funktioniert, kann in einem anderen völlig versagen. Das Papier besteht darauf, dass jedes Werkzeug, das in Bangladesch eingesetzt wird, an echten Menschen aus Bangladesch, unter lokalen Bedingungen, mit lokalen Sprachen und lokalen Daten getestet werden muss. Man kann nicht einfach ein System aus dem Ausland kaufen und davon ausgehen, dass es funktionieren wird. Das vierte Tor konzentriert sich auf die Fairness. Das System muss überprüft werden, um festzustellen, ob es bei bestimmten Gruppen von Menschen – wie den Armen, Frauen oder ethnischen Minderheiten – mehr Fehler macht. Wenn der Computer wahrscheinlicher eine bestimmte Gruppe fälschlicherweise beschuldigt, darf er nicht verwendet werden. Das letzte Tor betrifft das Recht auf Anfechtung. Wenn das Ergebnis eines Computers für eine Verhaftung oder Verurteilung verwendet wird, muss dieser Person mitgeteilt werden, wie die Entscheidung zustande kam, sie muss die Möglichkeit erhalten, die Daten einzusehen, und sie muss das Recht haben, eine menschliche Überprüfung des Ergebnisses zu verlangen. Wenn das System ein geheimes „Black Box“-System ist, das niemand hinterfragen kann, scheitert es an diesem Tor.

Die Forscherin ist sich klar darüber, was nicht passieren darf. Das Papier spricht sich gegen den Einsatz von Computern aus, um das zukünftige Verhalten einer Person allein basierend auf ihrer Persönlichkeit oder ihrem Hintergrund vorherzusagen. Es spricht sich auch gegen die Nutzung dieser Werkzeuge, um die endgültige Entscheidung über Verhaftung, Inhaftierung oder Strafmaß ohne eine starke, unabhängige menschliche Überprüfung zu treffen. Das Papier behauptet nicht, dass Künstliche Intelligenz keinen Platz in der Justiz hat. Tatsächlich deutet es darauf hin, dass diese Werkzeuge für nicht-zwanghafte Aufgaben sehr hilfreich sein könnten, wie etwa beim Auffinden vermisster Personen, der Erkennung von Betrug oder der Organisation riesiger Mengen an Beweismitteln, um Dokumente zu finden, die die Unschuld eines Menschen beweisen. Das Ziel ist es, Technologie zu nutzen, um das System besser zu machen, statt zuzulassen, dass die Technologie das Urteil über Richtig und Falsch übernimmt.

Das Papier schließt mit einem praktischen Plan für den weiteren Weg Bangladeschs ab. Es schlägt vor, dass die Regierung zuerst ein Inventar aller Systeme erstellen sollte, die sie bereits besitzt oder die sie planen zu kaufen. Sie sollten jeglichen Einsatz von Technologie einfrieren, der gegen die fünf Tore verstößt. Dann sollten sie eine öffentliche Liste aller Algorithmen erstellen, die von der Polizei und den Gerichten verwendet werden, damit die Bürger wissen, was eingesetzt wird. Schließlich müssen sie eine unabhängige Expertengruppe bilden – bestehend aus Richtern, Anwälten und Vertretern der Gemeinschaft –, um diese Werkzeuge zu überwachen und sie zu stoppen, falls sie beginnen, Schaden anzurichten. Die Botschaft ist eine des vorsichtigen Optimismus. Bangladesch hat die Chance, ein Justizsystem aufzubauen, das sowohl modern als auch gerecht ist, aber nur, wenn es klare Regeln festlegt, bevor die Technologie zu tief verwurzelt ist, um sie wieder zu ändern. Die Zukunft der Strafjustiz sollte keine Wahl zwischen ineffizienten Institutionen und automatisierter Ungerechtigkeit sein; es gibt einen dritten Weg, auf dem die Technologie dem Gesetz dient, anstatt es zu ersetzen.