Confronting Label Indeterminacy in Automated Bail Decisions
Diese Arbeit untersucht die kritische Herausforderung der Label-Unbestimmtheit bei automatisierten Entscheidungen über Kautionen – bei denen kontrafaktische Ergebnisse für abgelehnte Angeklagte unbeobachtet bleiben –, indem sie fünf Methoden zur Bewältigung dieser Datenbeschränkung in Fallstudien aus Pennsylvania evaluiert und nachweist, dass der gewählte Umgang mit der Label-Unbestimmtheit das Modellverhalten und die interne Entscheidungsfindung stärker beeinflusst als die Modellarchitektur selbst, und bewertet zugleich die rechtliche Legitimität dieser nicht überprüfbaren Annahmen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen einem Computer beizubringen, vorherzusagen, ob eine Person zu ihrem Gerichtstermin erscheint. Sie möchten einen „intelligenten Haftassistenz"-Assistenten entwickeln, der Richtern hilft zu entscheiden, wer vor seinem Prozess nach Hause gehen darf und wer im Gefängnis bleiben muss.
Um diesen Computer zu unterrichten, benötigen Sie ein Geschichtsbuch vergangener Fälle. Doch hier liegt das Problem: Das Geschichtsbuch hat fehlende Seiten.
Das Problem der fehlenden Seiten (Label-Indeterminiertheit)
In der realen Welt wird eine Person, wenn ein Richter sagt: „Sie müssen bis zu Ihrem Prozess im Gefängnis bleiben", tatsächlich vor Gericht erscheinen. Warum? Weil sie eingesperrt ist. Sie hat keine Wahl.
Wenn der Richter jedoch sagt: „Sie können nach Hause gehen", und die Person erscheint, ist das eine Entscheidung. Wenn sie nicht erscheint, ist das ebenfalls eine Entscheidung.
Die Studie weist auf einen massiven Blindfleck hin: Wir wissen nicht, was passiert wäre, wenn die im Gefängnis sitzende Person entlassen worden wäre.
- Ist die im Gefängnis sitzende Person erschienen, weil sie eine verantwortungsbewusste Bürgerin ist?
- Oder ist sie nur erschienen, weil sie dazu gezwungen wurde?
Wenn Sie diese Daten einem Computer zuführen, geben Sie ihm „indeterminierte Labels". Es ist, als würde man versuchen, einem Schüler beizubringen, das Wetter vorherzusagen, indem man nur Tage betrachtet, an denen es regnete, weil jemand einen Sprinkler eingeschaltet hat. Der Computer gerät in Verwirrung darüber, was natürlich ist und was erzwungen.
Die fünf Möglichkeiten, die fehlenden Seiten zu erraten
Da die Daten fehlen, versuchten die Forscher fünf verschiedene Wege, die „Lücken zu füllen" (die Labels zu imputieren), um zu sehen, wie sich dies auf das „Gehirn" des Computers auswirkt. Sie verwendeten einen Datensatz mit über 90.000 Fällen aus Pennsylvania.
Hier sind die fünf getesteten „Erratungsstrategien", erklärt mit einfachen Analogien:
Die Methode „So nehmen, wie es ist" (Korrekte Labels):
- Die Logik: „Wenn die Person erschienen ist, ist sie erschienen. Es spielt keine Rolle, ob sie im Gefängnis war."
- Der Fehler: Dies geht davon aus, dass im Gefängnis zu sein dasselbe ist wie eine verantwortungsbewusste Person zu sein, die ohnehin erschienen wäre. Es behandelt erzwungene Compliance als freiwilliges gutes Verhalten.
Die Methode „Schuldig bis zum Beweis der Unschuld" (Haft als Misserfolg):
- Die Logik: „Wenn der Richter sie ins Gefängnis gesteckt hat, muss er gedacht haben, sie sei riskant. Also tun wir so, als wären sie davongelaufen, wenn wir sie gehen ließen."
- Der Fehler: Dies geht davon aus, dass der Richter immer recht hatte bezüglich des Risikos. Es schafft eine „selbsterfüllende Prophezeiung", bei der der Computer lernt, dass „Menschen, die ins Gefängnis kommen, schlecht sind", was die Idee verstärkt, dass Haft die einzige sichere Option ist.
Die Methode „Nur auf die Leichten schauen" (Nur Beobachtete):
- Die Logik: „Wir werfen einfach alle Fälle weg, in denen Menschen ins Gefängnis kamen. Wir unterrichten den Computer nur an Menschen, die entlassen wurden."
- Der Fehler: Dies ist, als würde ein Lehrer nur Schüler benoten, die die Prüfung bestanden haben, und die, die durchgefallen sind, ignorieren. Es ignoriert die Tatsache, dass Richter die „riskanten" Menschen möglicherweise von vornherein ins Gefängnis gesteckt haben, sodass der Computer nie lernt, wie diese Menschen aussehen.
Die Methode „Statistische Magie" (Beobachtete + IP):
- Die Logik: „Wir schauen uns die entlassenen Menschen an, aber wir geben denen, die den im Gefängnis sitzenden Menschen ähneln, ein höheres Gewicht, in der Hoffnung, die fehlenden Daten mathematisch zu korrigieren."
- Der Fehler: Sie verlässt sich auf eine komplexe mathematische Formel, die davon ausgeht, dass wir alles darüber wissen, warum Richter ihre Entscheidungen getroffen haben. Wenn die Formel ein winziges Detail übersieht, ist die gesamte Schätzung falsch.
Die Methode „Einen Zwilling finden" (Nächster Nachbar):
- Die Logik: „Wenn ein Mann im Gefängnis genau wie ein Mann aussieht, der entlassen wurde, gehen wir davon aus, dass der Mann im Gefängnis sich genauso verhalten hätte wie der entlassene Mann."
- Der Fehler: Sie geht davon aus, dass man die „Ähnlichkeit" zwischen zwei Menschen perfekt messen kann, was unglaublich schwer zu tun ist.
Was passierte, als sie diese testeten?
Die Forscher führten diese fünf Strategien durch drei verschiedene Computermodelle (Logistische Regression, Random Forest und XGBoost).
- Die Strategie ist wichtiger als das Gehirn: Das überraschendste Ergebnis war, dass wie man die fehlenden Lücken füllt, wichtiger ist als welches Computermodell man verwendet. Das Ändern der „Erratungsstrategie" veränderte die Vorhersagen des Computers mehr als das Ändern des Algorithmus des Computers.
- Das „Gehirn" des Computers veränderte sich: Mit einem Tool namens „Erklärbare KI" blickten sie in die Entscheidungsfindung des Computers hinein. Sie stellten fest, dass verschiedene Erratungsstrategien den Computer dazu brachten, sich auf unterschiedliche Hinweise zu konzentrieren. Beispielsweise könnte eine Strategie den Computer dazu bringen, sich hauptsächlich auf die Art des Anwalts eines Angeklagten zu konzentrieren, während eine andere ihn dazu bringt, sich auf das Verbrechen selbst zu konzentrieren.
- Die Ergebnisse waren völlig unterschiedlich: Je nachdem, welche Methode verwendet wurde, konnte der Computer vorhersagen, dass eine bestimmte Person mit 10-prozentiger Wahrscheinlichkeit fliehen würde, oder mit 90-prozentiger Wahrscheinlichkeit.
Die rechtliche und moralische Wendung
Die Studie argumentiert, dass dies nicht nur ein mathematisches Problem ist; es ist ein philosophisches Problem.
Jedes Mal, wenn ein Entwickler eine dieser fünf Methoden wählt, trifft er eine versteckte moralische Entscheidung:
- Wenn Sie die Methode „So nehmen, wie es ist" wählen, sagen Sie implizit: „Haft ist ein guter Weg, um sicherzustellen, dass Menschen erscheinen", was Richter möglicherweise dazu ermutigt, mehr Menschen ins Gefängnis zu stecken.
- Wenn Sie die Methode „Schuldig bis zum Beweis der Unschuld" wählen, sagen Sie implizit: „Wenn ein Richter jemanden ins Gefängnis steckt, ist er wahrscheinlich eine Fluchtgefahr", was den Computer möglicherweise gegen bestimmte Gruppen voreingenommen macht.
Die Studie kommt zu dem Schluss, dass es keine „perfekte" Möglichkeit gibt, diese fehlenden Daten zu beheben. Jede Methode beruht auf einer Annahme, die wir nicht beweisen können. Daher erfordert der Aufbau dieser Haftsysteme, dass wir zugeben, dass wir Vermutungen anstellen, und dass diese Vermutungen ein hohes rechtliches und ethisches Gewicht tragen. Wir können nicht einfach sagen: „Der Computer hat entschieden", denn der Computer entscheidet nur basierend darauf, wie wir ihm gesagt haben, mit den fehlenden Teilen des Puzzles umzugehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.