Co-constructing sociotechnical AI governance: participatory system mapping using algorithm registers
Dieses Paper kritisiert die Unzulänglichkeiten aktueller Algorithmenregister bei der Erfassung der vollen Komplexität soziotechnischer Systeme und zeigt auf, wie partizipative Systemkartierung mit vielfältigen Stakeholdern die Sicherheitsanalyse und Rechenschaftspflicht verbessern kann, indem sie verborgene Gefahren wie die Verweigerung von Leistungsansprüchen und Barrieren bei der Anfechtbarkeit durch eine Fallstudie eines niederländischen kommunalen Wohlfahrtstools offenlegt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben gerade einen neuen, hochmodernen Saugroboter gekauft. Er soll Ihr Haus perfekt reinigen, aber manchmal stößt er gegen Ihre Katze oder lässt eine ganze Ecke des Teppichs aus. Sie wollen wissen: Wie entscheidet er, wohin er fährt? Was passiert, wenn er verwirrt ist? Und wen ruft man an, wenn er Ihren Lieblingsschuh frisst? In der realen Welt nutzen Regierungen ähnliche „Roboter“ – aber anstatt Böden zu reinigen, nutzen sie komplexe Computerprogramme (Algorithmen), um zu entscheiden, wer Sozialhilfe erhält, wer einen Kredit bekommt oder wer eine Genehmigung erhält. Diese Programme sind die unsichtbaren Hände, die unsere öffentlichen Dienste steuern.
Das große Problem ist, dass diese „Roboter“ oft Black Boxes sind. Wir können nicht in sie hineinsehen, also wissen wir nicht, warum sie die Entscheidungen treffen, die sie treffen. Um dies zu beheben, haben einige Städte begonnen, „Algorithmen-Register“ einzuführen. Denken Sie an diese Register wie an eine öffentliche Speisekarte oder eine Bedienungsanleitung, die an der Wand hängt. Sie sollen auflisten, welche Algorithmen verwendet werden, welche Daten sie „fressen“ und wie sie funktionieren, damit die Bürger dem System vertrauen können. Aber hier ist der Haken: Genau wie eine Speisekarte, die in einem Geheimcode geschrieben ist, listet ein Register vielleicht die Zutaten auf, sagt Ihnen aber nicht, ob der Koch das Essen tatsächlich korrekt zubereitet oder ob die Küche brennt. Dieses Papier untersucht, ob diese Register tatsächlich hilfreich sind oder nur eine schicke Art zu sagen: „Vertrau uns einfach“.
Die Forscher dieser Studie beschlossen, diese Idee zu testen, indem sie einen realen „Roboter“ untersuchten, der von einer niederländischen Stadt eingesetzt wird, um zu entscheiden, wer Sozialleistungen erhält. Sie haben nicht nur das Register gelesen; sie luden eine Gruppe von Menschen ein, ein Spiel wie „Punkt-zu-Punkt-Verbinden“ zu spielen. Sie brachten Stadtangestellte, Bürgerrechtsgruppen und öffentliche Vermittler (Ombudsleute) zusammen, um eine Karte davon zu zeichnen, wie das System tatsächlich funktioniert, basierend auf dem, was sie wussten und was sie vermuteten.
Dies ist das Ergebnis: Das offizielle Register war wie eine verschwommene, unvollständige Skizze. Es listete die Hauptteile des Systems auf, übersah aber die chaotischen, menschlichen Verbindungen, die den Prozess eigentlich ausmachen oder zerstören. Als die vielfältige Expertengruppe ihre eigene Karte zeichnete, deckte sie verborgene Gefahren auf, die das Register völlig ignorierte. Zum Beispiel fanden sie heraus, dass das System zwar als bloßer „Helfer“ für menschliche Mitarbeiter gedacht war, die Mitarbeiter sich jedoch unter Druck gesetzt fühlten, den Vorschlägen des Roboters blind zu vertrauen, was dazu führte, dass Menschen fälschlicherweise Geldleistungen verweigert wurden. Sie entdeckten auch, dass es, falls ein Fehler auftrat, der Weg zur Behebung so verwirrend und voller fehlender Unterlagen war, dass es für eine normale Person fast unmöglich war, erfolgreich Beschwerde einzulegen.
Die Studie legt nahe, dass diese Register zwar ein guter erster Schritt sind, aber allein nicht ausreichen. Sie verbergen oft die realen Risiken, weil sie sich zu sehr auf technische Details konzentrieren und nicht genug auf die menschliche Geschichte. Die Forscher fanden heraus, dass man verschiedene Arten von Menschen braucht – insbesondere diejenigen, die nicht die Ersteller des Systems sind –, um dabei zu helfen, die Karte zu zeichnen. Nur durch die Kombination der technischen Daten der Stadt mit den realen Erfahrungen von Bürgern und Wächtern können wir das vollständige Bild sehen und sicherstellen, dass die „Roboter“ tatsächlich sicher und fair für alle sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.