Sources of Risk in AI Systems Revisited: FCAIR-O, a Faceted Causal Framework and Lightweight Ontology for Risk Management and Assurance

Kunstmatige intelligentie is niet langer slechts een hulpmiddel dat op een plank staat; het is verweven met het weefsel van het dagelijks leven en neemt beslissingen over leningen, stelt diagnoses bij ziekten en bestuurt zelfs auto's. Wanneer deze systemen goed werken, zijn ze onzichtbaar. Wanneer ze falen, kunnen de gevolgen onmiddellijk en ernstig zijn. De uitdaging voor ingenieurs en regelgevers is al lang hoe men over deze fouten moet praten. Te vaak mengen lijsten met risico's verschillende zaken: ze kunnen een "gebrek aan eerlijkheid" naast een "defecte sensor" en een "hacker-aanval" vermelden alsof het allemaal hetzelfde soort probleem is. Deze verwarring maakt het moeilijk om te weten waar het probleem moet worden opgelost. Is het probleem de code, de data, de persoon die het systeem gebruikt, of de regels die het bedrijf volgt? Zonder duidelijke onderscheid maken veiligheidsmaatregelen mogelijk de plank volledig mis.

Om dit op te lossen, hebben twee onderzoekers, Moritz Schneider en André Steimers, een nieuwe manier ontwikkeld om in kaart te brengen waar zaken misgaan. Ze bouwen voort op hun eigen eerdere werk uit 2022, dat voor het eerst probeerde deze risico's te organiseren, maar de wereld van kunstmatige intelligentie is sinds die tijd snel veranderd. Nieuwe soorten systemen bestaan nu die code kunnen schrijven, zich vorige gesprekken kunnen herinneren en informatie van het internet kunnen halen in realtime. Deze capaciteiten creëren nieuwe soorten gevaren die oude checklists simpelweg niet kunnen beschrijven. De onderzoekers realiseerden zich dat om mensen veilig te houden, ze een kaart nodig hadden die de oorzaak van een probleem scheidt van de schade die het veroorzaakt, en van de regels die bedoeld zijn om het te stoppen.

Het resultaat van hun werk is een raamwerk genaamd FCAIR-O. Zie het als een zeer gedetailleerd, gestructureerd woordenboek voor risico. In plaats van één lange, verwarrende lijst, hebben de onderzoekers een systeem gecreëerd met acht verschillende "zijden" of dimensies. Eén zijde beschrijft het niveau waarop het probleem plaatsvond, zoals de computerchip, het softwareprogramma, de menselijke operator of het management van het bedrijf. Een andere zijde volgt de tijdlijn, van het moment dat het idee voor het eerst werd bedacht tot de dag dat het systeem wordt uitgeschakeld. Een derde zijde identificeert het specifieke type schade, zoals een lichamelijk letsel, een verlies van privacy of een financieel verlies. Door analisten te dwingen een probleem tegelijkertijd door deze verschillende lenzen te bekijken, voorkomt het raamwerk de veelvoorkomende fout om het verkeerde ding de schuld te geven. Als een systeem bijvoorbeeld een lening onrechtvaardig weigert, helpt het raamwerk te onderscheiden of de fout voortkwam uit de data die voor het trainen van het systeem werd gebruikt, de manier waarop het bedrijf de regels heeft ingesteld, of het specifieke moment waarop de beslissing werd genomen.

De onderzoekers testten deze nieuwe kaart door naar echte rampen en bijna-ongelukken te kijken. Ze onderzochten de fatale crash van een zelfrijdende Uber in Arizona, een zaak waarbij een voetganger werd geraakt. In het verleden zouden mensen dit simpelweg een "automatiseringfout" hebben genoemd. Het nieuwe raamwerk breekt dit af in een keten van specifieke gebeurtenissen: de sensoren van de auto zagen de persoon wel, maar identificeerden hem verkeerd; de software was geprogrammeerd om de noodremmen uit te schakelen terwijl de computer aan het rijden was; de menselijke veiligheidsbestuurder keek op een telefoon; en het bedrijf had het systeem niet goed getest onder die omstandigheden. Door deze verschillende fouten te scheiden, laat het raamwerk zien dat het oplossen van slechts één onderdeel, zoals de sensoren, niet genoeg zou zijn geweest. De oplossing vereiste veranderingen in de softwarelogica, het menselijk toezicht en de veiligheidscultuur van het bedrijf. Dit niveau van detail is wat de onderzoekers noodzakelijk achten voor echte veiligheid.

Het artikel behandelt ook hoe wetten en normen in dit plaatje passen. Wetten zeggen vaak wat er moet gebeuren, zoals "er moet een mens in de lus zijn", maar ze leggen niet altijd uit hoe die mens met de machine moet interageren om effectief te zijn. De onderzoekers laten zien dat het simpelweg aanwezig zijn van een mens geen garantie is voor veiligheid als die persoon afgeleid of overweldigd is. Hun raamwerk behandelt juridische regels als een aparte laag die de grenzen bepaalt, terwijl de technische analyse zich richt op de feitelijke mechanica van het falen. Dit onderscheid is cruciaal omdat een bedrijf zich aan alle regels op papier kan houden en toch een gevaarlijk systeem kan hebben als de onderliggende mechanica gebrekkig is.

Een van de belangrijkste bevindingen is dat de onderzoekers niet beweren dat ze elk mogelijk risico hebben gevonden. Ze stellen expliciet dat dit een conceptueel hulpmiddel is, een manier van denken, in plaats van een definitieve, onveranderlijke lijst van alle gevaren in het universum. Ze erkennen dat hun werk gebaseerd is op een beoordeling van beschikbare documenten en zaken tot een specifieke datum in 2026, en dat de technologie zal blijven evolueren. Ze merken ook op dat ze hun raamwerk niet op een enorme schaal van realtime data hebben getest om te bewijzen dat het beter werkt dan andere methoden. In plaats daarvan betogen ze dat de waarde ligt in de helderheid die het biedt. Door de verschillende rollen van risico te scheiden — wat het veroorzaakt, wat het schaadt en hoe we proberen het te stoppen — bieden ze een taal die ingenieurs, juristen en regelgevers kunnen gebruiken zonder langs elkaar heen te praten.

De onderzoekers keken ook naar hoe nieuwe soorten kunstmatige intelligentie, zoals die die hulpmiddelen kunnen gebruiken of uit zichzelf kunnen handelen, het landschap veranderen. Deze systemen kunnen fouten maken die heel anders zijn dan die van oudere, simpelere programma's. Een systeem dat code kan schrijven, kan per ongeluk belangrijke bestanden verwijderen, of een systeem dat toegang heeft tot het internet kan worden misleid om privé-informatie te onthullen. Het raamwerk is ontworpen om deze complexe scenario's aan te pakken door het pad van de fout te volgen van de initiële opdracht tot het uiteindelijke resultaat, inclusief eventuele fouten gemaakt door de mensen die het systeem hebben gebouwd of gemonitord.

Uiteindelijk biedt het artikel een manier om kunstmatige intelligentierisico's niet langer als een vage, angstaanjagende wolk te behandelen. Het vervangt de wolk door een gestructureerde reeks vragen. Wie is verantwoordelijk? Wat is er precies kapot gegaan? Welk bewijs hebben we? Welke regels zijn van toepassing? De onderzoekers suggereren dat door deze gestructureerde aanpak te gebruiken, de samenleving kan overgaan van het simpelweg opsommen van gevaren naar het daadwerkelijk begrijpen en beheren ervan. Ze beloven niet dat dit alle ongelukken zal elimineren, maar ze stellen dat het een noodzakelijke stap is naar het veiliger en betrouwbaarder maken van deze krachtige systemen. Het werk staat als een voorstel voor een betere manier van denken, een hulpmiddel voor helderheid in een veld dat vaak gehuld is in verwarring.