Co-constructing sociotechnical AI governance: participatory system mapping using algorithm registers
Dit artikel bekritiseert de beperkingen van huidige algoritmeregisters bij het vastleggen van de volledige complexiteit van sociotechnische systemen en demonstreert hoe participatieve systeemmapping met diverse belanghebbenden de veiligheidsanalyse en verantwoording kan verbeteren door verborgen gevaren zoals weigeringen van rechtmatigheid en barrières voor betwistbaarheid te onthullen via een casestudy van een Nederlandse gemeentelijke welzijnsinstrument.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je net een nieuwe, hoogtechnologische robotstofzuiger hebt gekocht. Hij zou je huis perfect schoon moeten maken, maar soms botst hij tegen je kat aan of mist hij een heel hoekje van het tapijt. Je wilt weten: Hoe beslist hij waar hij naartoe gaat? Wat gebeurt er als hij in de war raakt? En wie bel je als hij je favoriete schoen opeet? In de echte wereld gebruiken overheden soortgelijke "robots" — maar in plaats van vloeren schoon te maken, gebruiken ze complexe computerprogramma's (algoritmen) om te beslissen wie recht heeft op uitkeringen, wie een lening krijgt of wie een vergunning ontvangt. Deze programma's zijn de onzichtbare handen die onze publieke diensten aansturen.
Het grote probleem is dat deze "robots" vaak zwarte dozen zijn. We kunnen niet in hen kijken, dus we weten niet waarom ze de keuzes maken die ze maken. Om dit op te lossen, zijn sommige steden begonnen met het bijhouden van "Algoritmeregisters". Denk aan deze registers als een openbaar menu of een gebruikershandleiding die op de muur hangt. Ze zijn bedoeld om te vermelden welke algoritmen worden gebruikt, welke data ze "eten" en hoe ze werken, zodat burgers het systeem kunnen vertrouwen. Maar hier zit de crux: net zoals een menu geschreven in een geheime code, kan een register wel de ingrediënten opsommen, maar vertelt het je niet of de chef het eten eigenlijk wel goed bereidt, of dat de keuken in brand staat. Dit artikel onderzoekt of deze registers daadwerkelijk nuttig zijn of gewoon een chique manier om te zeggen: "vertrouw ons".
De onderzoekers in deze studie besloten dit idee te testen door te kijken naar een echte-levense "robot" die door een Nederlandse gemeente wordt gebruikt om te beslissen wie recht heeft op sociale voorzieningen. Ze hebben niet alleen het register gelezen; ze hebben een groep mensen uitgenodigd om een spelletje "punten verbinden" te spelen. Ze brachten stadswerkers, burgerrechtenorganisaties en publieke bemiddelaars (ombudsmannen) samen om een kaart te tekenen van hoe het systeem echt werkt, gebaseerd op wat zij wisten en wat zij vermoedden.
Dit is wat zij vonden: het officiële register was als een wazige, onvolledige schets. Het somde de belangrijkste onderdelen van het systeem op, maar miste de rommelige, menselijke verbindingen die het proces daadwerkelijk maken of breken. Wanneer de diverse groep experts hun eigen kaart tekende, legden zij verborgen gevaren bloot die het register volledig negeerde. Zo ontdekten ze bijvoorbeeld dat, hoewel het systeem bedoeld was als slechts een "helper" voor menselijke werkers, de werkers zich onder druk gezet voelden om de suggesties van de robot blindelings te vertrouwen, wat leidde tot het onterecht weigeren van geld aan mensen. Ze ontdekten ook dat als er een fout werd gemaakt, de weg naar herstel zo verwarrend en vol ontbrekende papierwerk was dat het voor een gewone burger bijna onmogelijk was om succesvol een klacht in te dienen.
De studie suggereert dat deze registers een goede eerste stap zijn, maar dat ze op zichzelf niet genoeg zijn. Ze verbergen vaak de echte risico's omdat ze te veel focussen op technische details en te weinig op het menselijke verhaal. De onderzoekers kwamen tot de conclusie dat je verschillende soorten mensen nodig hebt — vooral degenen die niet degene zijn die het systeem bouwen — om de kaart te helpen tekenen. Alleen door de technische gegevens van de stad te combineren met de echte ervaringen van burgers en waakhonden, kunnen we het volledige plaatje zien en ervoor zorgen dat de "robots" daadwerkelijk veilig en eerlijk zijn voor iedereen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.