Post-Deployment Accountability in AI Governance: A Cross-Regulatory Empirical Analysis of AI Incidents

Stel je de wereld van Kunstmatige Intelligentie (AI) voor als een enorme, bruisende stad waar robots worden ingehuurd om alles te doen, van het diagnosticeren van ziekten tot het goedkeuren van leningen. Een lange tijd was de grote zorg simpelweg hoe deze robots werden gebouwd—erop toezien dat ze slim, eerlijk en vrij van slechte code in hun hersenen waren. Maar onlangs hebben wetenschappers en juristen beseft dat het bouwen van een robot slechts de helft van het verhaal is. De echte uitdaging is wat er gebeurt nadat de robot aan het werk gaat. Dit vakgebied wordt "post-deployment governance" genoemd. Denk aan het verschil tussen het bouwen van een auto en het daadwerkelijk rijden op de weg. Je kunt een perfecte auto bouwen in een fabriek, maar als je geen monteur hebt die elke dag de remmen controleert, een snelheidsmeter die ook echt werkt, en een duidelijk plan voor wat te doen als de motor in brand vliegt, dan is de auto een gevaar voor iedereen.

Dit artikel duikt in die "na de fabriek"-fase. Het kijelt naar drie grote sets regels die overheden en organisaties hebben opgesteld om AI veilig te houden: de EU AI Act (een strikte set wetten vanuit Europa), het NIST AI Risk Management Framework (een vrijwillige gids uit de VS), en de GDPR (een regelboek voor het beschermen van persoonlijke gegevens). De grote vraag is niet alleen "Bestaat deze regelgeving?" maar "Werkt het ook echt wanneer er iets misgaat?" De auteurs wilden zien of, wanneer een AI-systeem een fout maakt, de mensen die de leiding hebben ook daadwerkelijk toezicht houden, het probleem rapporteren en het oplossen, of dat ze er gewoon vanuit gaan dat niemand het merkt.

---

De Grote AI Reality Check

Stel je voor dat je een detective bent die een stad onderzoekt waar 480 verschillende robots tussen 2020 en 2026 ongelukken hebben veroorzaakt. Sommige robots gaven slecht medisch advies, sommige wezen leningaanvragen onterecht af, en sommige veroorzaakten verkeersopstoppingen. Jouw taak is om de politierapporten te controleren en te zien of de eigenaren van de robots de regelboeken hebben gevolgd die ze hadden moeten hebben.

De auteurs van dit artikel deden precies dat. Ze bekeken 480 echte AI-rampen en toetsten deze aan negen specifieke regels uit de drie bovengenoemde belangrijke regelboeken. Ze zochten naar "bewijs"—zoals een logboek waarin staat dat iemand de robot in de gaten hield, een rapport dat werd ingediend toen de robot defect raakte, of een plan om hem uit te schakelen.

De Grote Verrassing: De "Geest"-regels
De resultaten waren een beetje eng. Het bleek dat de veiligheidsregels bij de meeste van deze ongelukken in feite geesten waren. Ze bestonden op papier, maar je kon in de echte wereld geen enkel spoor van vinden.

• De EU AI Act: Dit regelboek zegt dat risicovolle robots een "post-market monitor" nodig hebben—eigenlijk een beveiligingscamera die de robot 24/7 in de gaten houdt nadat deze is gelanceerd. De studie vond dat bij 77,1% van de ongelukken absoluut geen bewijs was dat er iemand toekeek. Het was alsof je een auto reed zonder remmen en zonder dat iemand het dashboard controleerde.
• De GDPR (Gegevensbescherming): Deze regel stelt dat als je persoonlijke gegevens op een risicovolle manier gebruikt, je een "Data-Protection Impact Assessment" moet uitvoeren (een veiligheidscontrole voordat je begint). De studie vond dat 99,6% van de incidenten geen verslag had van het feit dat deze veiligheidscontrole ooit was uitgevoerd.
• Het NIST Framework: Deze gids suggereert dat je een plan moet hebben om dingen te herstellen wanneer het misgaat. Hoewel sommige bedrijven de kapotte robots uiteindelijk wel uitschakelden (in ongeveer 57,5% van de gevallen), deden ze dit meestal pas nadat de schade al was aangericht en het nieuws al op tv was. Ze waren niet proactief bezig met het oplossen; ze waren slechts bezig met het opruimen van de rommel.

De "Systemische" Glitch
De auteurs controleerden ook of deze fouten willekeurige fouten waren of dat het hele systeem kapot was. Ze ontdekten dat 9,8% van de ongelukken fouten waren onder twee of meer regelboeken tegelijkertijd. Dit suggereert dat het probleem niet alleen is dat één regelboek slecht is, maar dat de hele manier waarop we AI-veiligheid beheren een paar cruciale tandwielen mist. Het is als een auto die tegelijkertijd geen remmen, geen stuur en geen autogordels heeft.

Het Geheime Wapen: De "Interne Detective"
Hier komt het meest interessante deel van het verhaal. De onderzoekers merkten een groot verschil op tussen ongelukken die werden ontdekt door het eigen team van het bedrijf versus ongelukken die werden ontdekt door de buitenwereld (zoals journalisten, boze gebruikers of onderzoekers).

• Interne Detectie: Wanneer een bedrijf het probleem zelf ontdekte, waren ze veel eerder geneigd de regels te hebben gevolgd. Voor de EU AI Act vertoonde 87,5% van deze door het bedrijf zelf gevonden ongelukken naleving.
• Externe Detectie: Wanneer de buitenwereld het probleem ontdekte, daalde de nalevingsgraad naar een minieme 5,3%.

Dit suggereert dat de bedrijven die daadwerkelijk een "detective" in hun kantoor hebben, die de robot elke dag in de gaten houdt, degenen zijn die de problemen vroegtijdig oppikken en de regels volgen. De bedrijven die wachten tot het nieuws naar buiten komt voordat ze weten dat er een probleem is, zijn degenen die de veiligheidscontroles niet halen. De auteurs suggereren dat het hebben van een intern monitoringsysteem een grote aanwijzing is dat een bedrijf goed werk levert, hoewel ze toegeven dat ze niet kunnen bewijzen dat het de oorzaak is van het goede gedrag (miss misschien goede bedrijven toevallig ook beide hebben).

De Voorgestelde Oplossing: De PAGCF
Omdat het huidige systeem grotendeels reactief is (dingen repareren nadat ze kapot zijn gegaan), stellen de auteurs een nieuw plan voor genaamd het Proactive AI Governance Compliance Framework (PAGCF). Stel je dit voor als een nieuwe handleiding voor robotbestuurders. In plaats van alleen te reageren op crashes, heeft dit plan vier stappen:

1. Pre-Deployment Assessment: Voordat de robot zelfs maar begint, controleer je de veiligheidsuitrusting en maak je een plan.
2. Continuous Monitoring: Houd een live camera 24/7 op de robot om problemen te vangen voordat ze ongelukken worden.
3. Incident Preparedness: Zorg dat er een "brandproef" klaarstaat. Weet precies wie je moet bellen en wat je moet zeggen als de robot een glitch krijgt.
4. Cross-Framework Verification: Zorg dat je alle regelboeken tegelijk volgt, en niet slechts één.

Wat dit voor ons betekent
Het artikel concludeert dat we niet simpelweg meer regels kunnen schrijven en hopen dat ze werken. De regels zijn er al, maar niemand gebruikt ze. De belangrijkste les is dat we moeten stoppen met wachten tot het nieuws ons vertelt dat een AI kapot is. We moeten systemen bouwen die de AI in de gaten houden terwijl deze werkt. De auteurs suggereren dat als bedrijven dit eerst met "interne monitoring" doen, ze van bijna geen enkele AI-naleving naar meer dan 85% naleving kunnen springen.

Het is geen toverstaf, en de auteurs zijn voorzichtig in hun opmerking dat dit gebaseerd is op wat ze zagen in de data, en niet op een gegarandeerde oplossing. Maar de boodschap is duidelijk: als we willen dat AI veilig is, moeten we stoppen met de mensen te zijn die de rommel opruimen en beginnen met de mensen te zijn die het ontstaan van de rommel voorkomen.