Opening the Black Box or Responding to Demands? Rethinking and Reconstructing the European Standard of Algorithmic Explanation

In de moderne wereld nemen computers ontelbare beslissingen die ons dagelijks leven vormgeven, van het bepalen of we een lening krijgen tot het beslissen welke nieuwsberichten we te zien krijgen. Decennialang was het heersende idee dat als een computer een keuze maakt, we haar werk moeten kunnen laten zien, net zoals een leerling zijn huiswerk moet laten zien om te bewijzen dat het antwoord juist is. Dit concept staat bekend als algoritmische uitlegbaarheid, en het is een hoeksteen van de privacywetgeving in de Europese Unie en andere regio's. De wet gaat ervan uit dat als een persoon wordt beïnvloed door een geautomatiseerde beslissing, zij het recht hebben om de logica erachter te begrijpen. Er is echter een aanzienlijk probleem ontstaan: de computers die deze beslissingen nemen, zijn veranderd. De oude systemen volgden duidelijke, stapsgewijze regels die gemakkelijk te volgen waren. De huidige krachtige systemen, vaak neurale netwerken genoemd, leren van enorme hoeveelheden data op manieren die zo complex en onderling verbonden zijn dat zelfs hun makers niet elke interne stap volledig in kaart kunnen brengen. Dit creëert een "black box"-situatie waarbij de input naar binnen gaat en er een beslissing uitkomt, maar het pad daartussen verborgen blijft. Wanneer de wet eist de binnenkant van een doos te zien die de technologie niet volledig kan openen, loopt het systeem vast, wat leidt tot verwarring, juridische ontwijking en een verlies aan vertrouwen.

Een onderzoeker genaamd Feng Zhi, werkzaam aan de School of Artificial Intelligence and Law in Chongqing, China, heeft een nieuwe manier voorgesteld om deze patstelling op te lossen. In plaats van te proberen een black box die niet geopend kan worden met geweld open te breken, suggereert de studie dat we moeten stoppen met vragen om de interne mechanica te zien en moeten beginnen met het stellen van vragen die aansluiten bij wat de mensen die de leiding hebben, daadwerkelijk kunnen beantwoorden. De kernbevinding van dit werk is dat we de vraag om een uitleg moeten splitsen in twee verschillende momenten in de tijd, gebaseerd op wie de controle over het computersysteem heeft. Het eerste moment is wanneer het systeem wordt gebouwd en opgezet; het tweede moment is wanneer het systeem daadwerkelijk een beslissing neemt voor een specifiek persoon. Door deze twee fasen te scheiden, betoogt de auteur dat we de onmogelijke eis om de code te zien kunnen vervangen door praktische eisen die even effectief zijn in het beschermen van de rechten van mensen.

Het artikel betoogt dat de huidige aanpak, die probeert verschillende niveaus van detail te bieden afhankelijk van wie er vraagt, faalt omdat het nog steeds dezelfde onmogelijke technische prestatie vereist: het in de kijk in de black box. Of een gebruiker nu een eenvoudige vraag stelt of een complexe vraag, de computer moet nog steeds zijn interne logica onthullen om te kunnen antwoorden, wat het vaak niet kan zonder nauwkeurigheid te verliezen of bedrijfsgeheimen prijs te geven. Een ander gangbaar idee is om het systeem simpelweg te vertrouwen als het veilig lijkt of als de mensen die het gebouwd hebben gekwalificeerd zijn. De auteur verwerpt dit ook, met de opmerking dat een systeem gebouwd kan worden door goede mensen en later toch slechte beslissingen kan nemen, of dat het vertrouwen in de bouwer niet uitlegt waarom een specifiek persoon een lening is geweigerd. De studie suggereert dat het simpelweg controleren of het eindresultaat achteraf kan worden aangevochten ook onvoldoende is, omdat de schade tegen die tijd al is aangericht en onmogelijk ongedaan te maken is.

Om dit op te lossen, introduceert het artikel een raamwerk gebaseerd op "temporele knooppunten", wat simpelweg de specifieke momenten in de tijd zijn waarop verschillende mensen de teugels in handen hebben. De eerste fase is de "gedragsfase". Dit gebeurt voordat het systeem ooit door het publiek wordt gebruikt. Tijdens deze tijd hebben de ontwikkelaars en de bedrijven die het systeem inzetten de volledige controle. Zij beslissen welke data worden gebruikt, hoe het model wordt getraind en welke veiligheidsmaatregelen worden getroffen. Omdat zij de controle hebben, moet de vraag om een uitleg in deze fase niet gaan over de uiteindelijke beslissing, maar over het risico. De studie stelt voor dat deze actoren, in plaats van de code te tonen, verplicht zouden moeten worden om gedetailleerde verklaringen in te dienen over hoe zij de risico's hebben beoordeeld en welke stappen zij hebben ondernomen om schade te voorkomen. Zij moeten ook een verslag bijhouden van de activiteitsprotocollen van het systeem. Dit verschuift de focus van "hoe werkt de wiskunde?" naar "hebt u uw werk gedaan om te zorgen dat dit veilig is?". Als er later een probleem optreedt, stellen deze verslagen toezichthouders in staat om terug te traceren en te zien of de makers zich aan de regels hebben gehouden, waardoor verantwoordelijkheid effectief wordt toegewezen zonder de onverklaarbare wiskunde te hoeven begrijpen.

De tweede fase is de "uitkomstfase". Dit is wanneer het systeem draait en beslissingen neemt die echte mensen beïnvloeden. Op dit punt hebben de ontwikkelaars de controle verloren; het systeem reageert in realtime op nieuwe data. Hier verandert de vraag om uitleg. Het doel is niet langer om de risicocontroles te controleren, maar om vertrouwen te kweken in het resultaat. Het artikel suggereert dat mensen niet de complexe interne logica hoeven te begrijpen om een beslissing te vertrouwen; ze moeten weten of de beslissing logisch is op basis van de algemene menselijke ervaring. Als bijvoorbeeld een kredietbeoordelingssysteem een lening weigert, hoeft de gebruiker niet de gewichten van het neurale netwerk te zien; de gebruiker moet weten of de beslissing overeenkomt met wat de samenleving over het algemeen als eerlijk beschouwt, zoals inkomensniveaus of schuldratio's. De studie stelt voor dat bedrijven deze algemene sociale regels moeten publiceren zodat mensen de beslissing hiermee kunnen vergelijken. Als een beslissing afwijkt van wat het gezond verstand zou suggereren, moet het systeem een menselijke controle triggeren. Een echt persoon moet dan naar de casus kijken en een duidelijke, weloverwogen uitleg geven voor waarom de ongebruikelijke beslissing is genomen.

Deze aanpak vraagt niet om minder bescherming; het vraagt om een andere vorm van bescherming die daadwerkelijk leverbaar is. Door de eis om de interne code te zien te vervangen door een eis voor risicoverklaringen en een eis voor consistentie met het gezonde verstand, kan het systeem functioneren zonder vast te lopen. De auteur merkt op dat dit geen nieuwe uitvinding is, maar een reorganisatie van bestaande juridische instrumenten, zoals de verplichting voor bedrijven om verslagen bij te houden van hun verwerkingsactiviteiten. De studie benadrukt dat deze methode de realiteit van de moderne technologie respecteert en tegelijkertijd de juridische belofte van verantwoording vervult. Het verplaatst de discussie van de onmogelijke taak om de black box te openen naar de praktische taak om ervoor te zorgen dat degenen die deze systemen bouwen en gebruiken, verantwoordelijk zijn voor hun daden en dat de resultaten die zij produceren zinvol zijn voor de mensen die ermee moeten leven. De onderzoeksconclusie is dat deze verschuiving in perspectief noodzakelijk is om de praktische waarde van algoritmische uitlegbaarheid te herstellen, zodat de wet relevant blijft in een tijdperk van intelligente machines.