Model Multiplicity and Predictive Arbitrariness in Recidivism Risk Assessment
Diese Arbeit untersucht die prädiktive Arbitrarität bei der Bewertung des Rückfallrisikos, indem sie aufzeigt, dass die Vorhersagen mehrerer ähnlich genauer Modelle in der Praxis trotz ihrer Existenz oft eine erhebliche Übereinstimmung aufweisen, und schlägt eine Richtlinie vor, bei der der niedrigste Risikowert unter diesen Modellen zugewiesen wird, als eine effektive Lösung zur Milderung von Inkonsistenzen in der Entscheidungsfindung.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Richter, der entscheiden muss, ob ein Gefangener vorzeitig entlassen werden soll. Sie haben ein Computerprogramm, das dem Gefangenen einen „Risiko-Score“ gibt, um vorherzusagen, ob er erneut eine Straftat begehen wird. Dies ist die reale Situation, die die Arbeit behandelt, wobei sie speziell ein System untersucht, das in Katalonien, Spanien, namens RisCanvi eingesetzt wird.
Hier ist die Geschichte der Arbeit, aufgeteilt in einfache Konzepte und Analogien.
1. Das Problem: Der „Rashomon“-Effekt
In dem Film Rashomon erzählen vier verschiedene Zeugen vier völlig unterschiedliche Geschichten über denselbe Verbrechen, doch alle Geschichten erscheinen plausibel.
Die Autoren fanden heraus, dass maschinelle Lernmodelle unter demselben Problem leiden. Wenn man vorhersagen will, ob ein Gefangener rückfällig wird, gibt es nicht nur eine einzige „korrekte“ mathematische Formel. Es gibt viele verschiedene Formeln, die alle gleichermaßen gut darin sind, die Vergangenheit vorherzusagen.
- Das Problem: Wenn Sie zwei gleichermaßen intelligente Formeln haben, die aber für dieselbe Person unterschiedliche Antworten geben (die eine sagt „Niedriges Risiko“, die andere sagt „Hohes Risiko“), dann wird die Entscheidung willkürlich. Es fühlt sich an, als würde man würfeln, um über die Zukunft eines Menschen zu entscheiden. Dies wird als Prädiktive Multiplizität bezeichnet.
2. Die Lösung: Zuerst die Daten bereinigen
Bevor sie bessere Formeln entwickelten, erkannten die Autoren, dass das „Lehrbuch“, das der Computer studierte, unordentlich war.
- Der alte Weg: Das aktuelle System (RisCanvi) wurde mit Daten trainiert, die oft veraltet oder falsch etikettiert waren, weil es schwierig war zu verfolgen, ob jemand nach der Entlassung tatsächlich eine neue Straftat begangen hatte (aufgrund rechtlicher Verzögerungen). Es war, als würde man versuchen, Autofahren zu lernen, indem man eine Landkarte von 1990 benutzt.
- Der neue Weg: Die Autoren arbeiteten mit Rechtsexperten zusammen, um ein Computerprogramm zu schreiben, das die komplexen rechtlichen Regeln strikt befolgt, um die Daten korrekt zu etikettieren. Sie erstellten einen riesigen, sauberen Datensatz von 17.500 Gefangenen. Dies ist, als würde man dem Computer eine brandneue, hochauflösende GPS-Karte geben.
3. Bessere Modelle bauen: Die „faire Scorecard“
Unter Verwendung dieser sauberen Daten bauten die Autoren neue Modelle. Sie wollten nicht nur, dass die Modelle genau sind, sondern auch fair und logisch.
- Logik: Sie stellten sicher, dass das Modell dem gesunden Menschenverstand folgt: Wenn ein Gefangener einen Abschluss macht oder einen Handwerksberuf lernt (Rehabilitation), muss sein Risiko-Score sinken. Wenn er schlechte Gewohnheiten hat, steigt er.
- Fairness: Sie stellisierten sicher, dass das Modell bestimmte Gruppen (wie Ausländer gegenüber Einheimischen) nicht ungerechtfertigt stärker bestraft als andere.
4. Die große Entdeckung: „Viele Wege, ein Ziel“
Dies ist der überraschendste Teil der Arbeit. Die Autoren versammelten eine große Gruppe dieser „gleichermaßen intelligenten, fairen“ Modelle (ein „Rashomon-Set“) und fragten: Sind sie sich alle uneinig?
Die Antwort: Nein.
- Die Analogie: Stellen Sie sich eine Gruppe von 100 Experten-Navigatoren vor, die versuchen, ein Schiff durch ein nebliges Meer zu führen. Man würde erwarten, dass sie alle in unterschiedliche Richtungen zeigen. Stattdessen fanden die Autoren heraus, dass in 91 % der Fälle alle 100 Navigatoren exakt in dieselbe Richtung zeigten.
- Der Haken: Sie waren sich nur in den wenigen Fällen uneinig, die direkt an der Grenze des „Nebels“ (der Entscheidungsgrenze) lagen. Für die große Mehrheit der Gefangenen waren die Modelle in völligem Einklang.
- Die Lehre: Nur weil es viele verschiedene mathematische Formeln gibt, bedeutet das nicht, dass die Vorhersagen chaotisch sind. Die „Willkür“ ist viel geringer, als die Theorie vermuten lässt.
5. Die Lösung: Die Regel des „Zweifels an der Schuld“
Was also tun Sie für die kleine Gruppe von Gefangenen, bei denen sich die Modelle tatsächlich uneinig sind?
Die Autoren schlagen eine einfache Richtlinie vor, die die „Lowest-Risk Policy“ (oder Favor Rei, ein Rechtsprinzip, das bedeutet „im Zweifel zugunsten des Angeklagten“).
- Wie es funktioniert: Wenn Modell A „Hohes Risiko“ sagt und Modell B „Niedriges Risiko“ sagt, wählen Sie einfach den Niedrigen Risiko-Wert.
- Warum es funktioniert: Es fungiert wie ein Sicherheitsnetz. Es stellt sicher, dass im Falle eines Zweifels der Gefangene den Nutzen des Zweifels erhält.
- Das Ergebnis: Diese einfache Regel machte das System tatsächlich genauer und fairer als die Verwendung eines einzelnen komplexen Modells oder das Mitteln aller Modelle zusammen. Sie reduzierte die Anzahl der Menschen, die fälschlicherweise als Hochrisiko-Gefährten eingestuft wurden, ohne gefährliche Personen durchzuwinken.
Zusammenfassung
Die Arbeit argumentt, dass wir nicht befürchten müssen, viele verschiedene KI-Modelle für die Vorhersage von Verbrechen zu haben.
- Bereinigen Sie zuerst Ihre Daten (hören Sie auf, unordentliche, alte Karten zu benutzen).
- Bauen Sie Modelle, die fair und logisch sind.
- Erkennen Sie, dass selbst mit vielen verschiedenen Modellen meistens Einigkeit herrscht.
- Wenn sie sich uneinig sind, nutzen Sie eine einfache Regel: Wählen Sie die sicherste, risikoärmste Option.
Dieser Ansatz verwandelt ein verwirrendes Chaos aus „willkürlichen“ Vorhersagen in ein zuverlässiges, faires und logisches Werkzeug für das Justizsystem.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.