Evidence for Whom? Contestability and Socio-Technical Assurance in High-Risk AI Governance
Dit artikel betoogt dat huidige kaders voor het bestuur van AI met een hoog risico (NIST, de EU AI Act, ISO/IEC 42001) een kritieke bewijskloof creëren door de voorkeur te geven aan artefact-gecentreerd bewijs boven procesmatig bewijs dat nodig is voor betwisting, een structurele tekortkoming die wordt benadrukt door de inherente ambiguïteit in de interpretatie van deze vereisten en die uiteindelijk de procedurele en epistemische rechten van de onderworpen belanghebbenden ondermijnt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin een computerprogramma beslist wie een baan krijgt, wie een lening ontvangt of of iemand borgtocht krijgt. Deze systemen zijn niet slechts code die in een vacuüm draait; ze maken deel uit van een groter menselijk ecosysteem met de bedrijven die ze bouwen, de organisaties die ze gebruiken en de mensen wier levens worden veranderd door hun output. Wanneer deze systemen een fout maken, wordt de vraag wie verantwoordelijk is en hoe dat te bewijzen, urgent. Dit is het domein van AI-governance, een veld dat zich inzet voor het waarborgen dat deze krachtige instrumenten veilig, eerlijk en verantwoordelijk zijn. Een centraal idee in dit veld is "bestrijdbaarheid" (contestability), het vermogen voor een persoon die door een besluit wordt getroffen, om dit te bevragen, te begrijpen waarom het gebeurde en om een correctie te zoeken. Hiervoor moet er bewijs zijn—bewijs dat het systeem is gecontroleerd, dat het werkt zoals bedoeld, en dat een mens kan ingrijpen als er dingen misgaan. Maar een cruciale vraag blijft: wie krijgt dit bewijs te zien, en is het bewijs daadwerkelijk nuttig voor de persoon die het het hardst nodig heeft?
Een team van onderzoekers van universiteiten in de Verenigde Staten en India begon dit exacte probleem te onderzoeken. Ze onderzochten drie belangrijke sets regels en richtlijnen die hoogrisico-artificiële intelligentie beheersen: een vrijwillig kader uit de Verenigde Staten, een bindende wet uit de Europese Unie, en een internationale standaard voor het beheren van AI-systemen. Hun doel was om een gedetailleerde kaart, of "crosswalk", te maken die specifieke vereisten in deze documenten verbindt met de werkelijke technische methoden die worden gebruikt om AI te testen. Ze wilden zien of het door de regels vereiste bewijs het soort bewijs was dat een persoon daadwerkelijk kon helpen om een besluit aan te vechten, of dat het slechts een verzameling technische rapporten was die alleen de bedrijven en toezichthouders konden lezen.
De onderzoekers begonnen met het verzamelen van een enorme collectie technische evaluatiemethoden. Ze identificeerden twaalf verschillende families van tests, variërend van het controleren van hoe accuraat een model is op nieuwe gegevens tot het zien of het kan worden misleid door kwaadaardige inputs, en van het analyseren van de kwaliteit van de gegevens die worden gebruikt om het te trainen tot het bestuderen van hoe goed mensen het systeem kunnen superviseren. Vervolgens namen ze deze twaalf families en vergeleken ze deze met tweeëntwintig specifieke vereisten uit de drie besturende documenten. Ze stelden voor elke koppeling een eenvoudige maar diepgaande vraag: levert deze specifieke test het belangrijkste bewijs dat nodig is om aan deze specifieke regel te voldoen?
Wat zij vonden was een opvallend onevenwicht. De regels die vroegen om bewijs over het AI-model zelf—zoals de nauwkeurigheid ervan, de robuustheid tegen aanvallen, of de eerlijkheid in statistische termen—werden goed ondersteund. Er waren voldoende technische tests beschikbaar om de benodigde rapporten te genereren. Echter, de regels die vroegen om bewijs over hoe het systeem in de echte wereld werkt, nadat het is uitgerold, waren grotendeels onondersteund. Deze regels gingen over zaken als of een menselijke toezichthouder daadwerkelijk een fout kon ontdekken, of de logs van het systeem gedetailleerd genoeg waren om een specifieke beslissing te reconstrueren, en of de organisatie kon bewijzen dat zij de impact van het systeem op mensenlevens monitorde. Voor deze cruciale vragen ontdekten de onderzoekers dat de beschikbare technische methoden ofwel geheel ontbraken, ofwel slechts zwakke, secundaire ondersteuning boden.
De studie onthulde dat het bewijs dat wordt gegenereerd om te bewijzen dat een AI-systeem veilig is, primair is ontworpen voor tussenpersonen: de bedrijven die de software bouwen, de auditors die het controleren, en de overheidsinstanties die de wet handhaven. De mensen die daadwerkelijk onder deze beslissingen vallen—de sollicitant die is afgewezen, de lener die is geweigerd—hebben geen directe route naar dit bewijs. Zij ontvangen misschien een uitleg over wat het systeem deed, maar zij kunnen de onderliggende gegevens niet inzien die hen in staat zouden stellen te verifiëren of die uitleg waar is, of om precies te begrijpen hoe de beslissing tot stand is gekomen. De onderzoekers betogen dat dit niet slechts een technische kloof of een ontbrekend puzzelstukje is; het is een fundamentele fout in het rechtssysteem. Door getroffen personen de toegang te ontzeggen tot het bewijs dat nodig is om een besluit aan te vechten, behandelt het huidige kader hen als passieve subjecten in plaats van actieve deelnemers aan een proces dat hun toekomst bepaand.
De onderzoekers waren zorgvuldig om te vermelden dat hun bevindingen gebaseerd zijn op een specifieke analyse van de beschikbare technische literatuur en de tekst van de wetten. Zij beweerden niet dat bedrijven deze controles intern niet uitvoeren, maar eerder dat de methoden om te bewijzen dat deze controles effectief zijn, nog niet gestandaardiseerd of breed beschikbaar zijn in een vorm die de regels bevredigt. Ze benadrukten ook dat hun eigen werk een mate van interpretatie in barbracht. Toen ze onafhankelijke experts vroegen om hun mapping te beoordelen, stemden de experts overeen over de hoofdlijnen, maar verschilden ze soms van mening over de fijnere details, wat suggereert dat de regels zelf openstaan voor verschillende redelijke interpretaties. Deze onenigheid is volgens de auteurs een kenmerk van het probleem, geen fout: het toont aan dat de huidige vereisten niet duidelijk genoeg zijn om te garanderen dat het juiste soort bewijs wordt geproduceerd.
Uiteindelijk concludeert het artikel dat de huidige aanpak van AI-governance incompleet is. Het leunt zwaar op bewijs dat binnen de ontwikkelingspijplijn van een bedrijf kan worden geproduceerd, zoals testresultaten en technische documentatie, terwijl het de bewijslast verwaarloost die alleen kan worden verzameld door te observeren hoe het systeem interacteert met mensen in de echte wereld. De auteurs stellen voor dat voor AI werkelijk verantwoorde, de regels moeten evolueren om bewijs te eisen dat niet alleen over de machine gaat, maar over het gehele socio-technische systeem. Dit omvat bewijs dat menselijk toezicht effectief is, dat logs voldoende zijn om gebeurtenissen te reconstrueren, en dat de impact van het systeem op de samenleving wordt gemonitord. Zonder deze veranderingen blijft de belofte van AI-verantwoording een belofte die alleen aan de machtigen wordt gedaan, waardoor zij die het meest door de technologie worden getroffen, zonder de middelen worden gelaten om zichzelf te verdedigen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.