Empirically Derived AI Harm Profiles and the Case for Context-Sensitive Moral Responsibility

Kunstmatige intelligentie is geen verre belofte meer; het is een dagelijkse realiteit die beslissingen neemt die invloed hebben op onze veiligheid, onze banen, onze privacy en onze toegang tot diensten. Wanneer deze systemen werken, stroomlijnen ze ons leven. Wanneer ze falen, kunnen de gevolgen ernstig zijn, variërend van lichamelijk letsel tot de ontzegging van burgerrechten. Jarenlang hebben experts geprobeerd deze technologieën te besturen met behulp van brede ethische principes zoals eerlijkheid, transparantie en veiligheid. Deze hoogwaardige ideeën worstelen echter vaak met het vertalen naar praktische regels voor de rommelige, diverse manieren waarop AI in de echte wereld daadwerkelijk wordt gebruikt. Een belangrijke uitdaging is geweest om te begrijpen hoe verschillende soorten AI op specifieke situaties falen. Is een zelfrijdende auto die crasht hetzelfde soort probleem als een chatbot die desinformatie verspreidt, of een gezichtsherkenningssysteem dat een verdachte verkeerd identificeert? Om dit te beantwoorden, zijn onderzoekers begonnen naar gedocumenteerde fouten te kijken, niet als geïsoleerde ongelukken, maar als datapunten die mogelijk diepere patronen onthullen.

Een team van onderzoekers aan de University of the Cumberlands zette zich in om die patronen te vinden door een enorme collectie van real-world AI-incidenten te onderzoeken. Ze verzamelden 849 gedocumenteerde gevallen van AI-falingen uit een publieke database genaamd de AIAAIC Repository, die incidenten bijhoudt die betrekking hebben op kunstmatige intelligentie, algoritmen en automatisering. In plaats van elk evenement als een uniek verhaal te behandelen, analyseerden de onderzoekers hoe deze fouten bij elkaar klonterden op basis van wat de technologie was, waar het werd gebruikt, wat het moest doen en wat voor soort schade het veroorzaakte. Hun doel was om te zien of de chaos van individuele ongelukken georganiseerd kon worden in een paar duidelijke categorieën, of "schadeprofielen", die toezichthouders en bedrijven zouden helpen bij het opstellen van betere, specifiekere regels voor toezicht.

De analyse onthulde dat AI-falingen niet willekeurig zijn. Ze neigen samen te klonteren rond twee hoofdonderwerpen van structuur. Het eerste thema maakt onderscheid tussen systemen die direct interageren met de fysieke wereld en systemen die primair informatie verwerken. Het tweede thema scheidt systemen die ontworpen zijn om mensen te identificeren en te monitoren van systemen die ontworpen zijn om content te genereren. Door deze relaties in kaart te brengen, identificeerden de onderzoekers drie duidelijke, terugkerende schadeprofielen die ontstaan wanneer het misgaat.

Het eerste profiel is wat de onderzoekers Autonomous of Embodied AI noemen. Dit zijn systemen die een fysieke aanwezigheid hebben en directe fysieke schade kunnen veroorzaken, zoals zelfrijdende voertuigen of robots. In de data kwamen deze fouten bijna altijd voor in de transportsector. Wanneer deze systemen falen, is het resultaat doorgaans een veiligheidsfout: een auto crasht, een robot functioneert niet naar behoren of een menselijke operator verliest de controle. De risico's zijn hier onmiddellijk en fysiek, waarbij de veiligheid van passagiers, voetgangers en hulpverleners in gevaar komt. Omdat de gevolgen tastbaar en gevaarlijk zijn, suggereren de onderzoekers dat het bestuur voor deze groep zwaar moet focussen op operationele veiligheid, rigoureuze tests van hardware en sensoren, en duidelijke regels voor wie verantwoordelijk is wanneer er een fysiek ongeluk plaatsvindt.

Het tweede profiel is Vision Recognition. Deze categorie omvat systemen die camera's en software gebruiken om mensen te identificeren, zoals gezichtsherkenningstechnologie die wordt gebruikt door wetshandhavingsinstanties of beveiligingsorganisaties. De data lieten zien dat fouten in dit gebied geconcentreerd zijn in de sectoren rechtspraak en wetshandhaving. In tegen tegenstelling tot de fysieke crashes van de eerste groep, zijn de schade in dit gebied diep verbonden met burgerrechten en discriminatie. De meest voorkomende problemen betreffen het systeem dat mensen verkeerd identificeert, met name mensen uit specifieke demografische groepen, of het gebruik van surveillance op manieren die de wettelijke grenzen overschrijden. De onderzoekers vonden dat deze fouten een ander soort risico creëren: een bedreiging voor privacy, eerlijkheid en het recht om vrij te zijn van onterechte beschuldiging. Het bestuur voor dit profiel moet daarom gericht zijn op het voorkomen van bias, het waarborgen van transparantie in hoe de systemen worden gebruikt, en het bieden van duidelijke wegen voor mensen om bezwaar te maken tegen onjuiste identificaties.

Het derde profiel is Generative AI. Dit is de technologie achter tools die tekst, afbeeldingen en andere media creëren. De data toonden aan dat fouten hier het meest voorkomen in de media- en informatiesectoren. De schade die met deze groep wordt geassocieerd, is verschillend van de andere; ze hebben zelden betrekking op fysiek letsel of directe surveillance. In plaats daarvan draaien de problemen om de kwaliteit en de waarachtigheid van informatie. Falingen omvatten de creatie van overtuigende maar valse content, de imitatie van echte mensen en de verspreiding van desinformatie die reputaties kan schaden of de publieke opinie kan manipuleren. Omdat het risico ligt bij de integriteit van informatie in plaats van bij fysieke veiligheid of onmiddellijke surveillance, stellen de onderzoekers dat toezicht voor deze groep zich moet richten op het verifiëren van de bron van content, het monitoren van misleidende outputs en het ervoor zorgen dat makers en platforms verantwoordelijk zijn voor wat hun systemen produceren.

Interessant genoeg vonden de onderzoekers dat één veelvoorkomend type AI-capaciteit, predictive monitoring, geen aparte groep vormde. Predictive monitoring verwijst naar systemen die data analyseren om toekomstige gebeurtenissen te voorspellen, zoals het voorspellen van criminaliteit, wanbetalingen van leningen of gezondheidsuitkomsten. De studie toonde aan dat deze systemen niet samenklonterden omdat hun risico's volledig afhangen van waar ze worden gebruikt. Een predictief systeem dat in de gezondheidszorg wordt gebruikt, staat voor andere ethische uitdagingen dan een systeem dat in de context van werving of financiën wordt gebruikt. Deze bevinding suggereert dat predictive monitoring niet één enkele categorie van risico is, maar een instrument dat het karakter aanneemt van de omgeving waarin het terechtkomt. Als een predictief systeem in een context van wetshandhaving wordt gebruikt, erft het de risico's van het Vision Recognition-profiel; als het in de financiële sector wordt gebruikt, erft het de economische risico's van andere profielen. Dit betekent dat regels voor deze systemen niet algemeen toepasbaar zijn; ze moeten op maat worden gemaakt voor de specifieke context waarin de voorspelling wordt gedaan.

De onderzoekers stellen een nieuwe manier voor om AI te besturen op basis van deze bevindingen. In plaats van dezelfde brede regels toe te passen op alle kunstmatige intelligentie, suggereren zij dat toezichthouders en bedrijven eerst moeten identificeren in welk schadeprofiel een systeem valt. Zodra een systeem is gecategoriseerd, kunnen de specifieke regels voor monitoring, auditing en het toewijzen van verantwoordelijkheid worden toegepast. Bijvoorbeeld, een zelfrijdende auto zou onderworpen moeten worden aan strikte veiligheidsaudits en onmiddellijke rapportageverplichtingen voor fysieke bijna-ongelukken. Een gezichtsherkenningssysteem zou regelmatig gecontroleerd moeten worden op raciale bias en duidelijke mogelijkheden moeten bieden voor burgers om bezwaar te maken tegen onjuiste identificaties. Een generatief AI-platform zou de authenticiteit van zijn content moeten kunnen bewijzen en mechanismen moeten hebben om schadelijke desinformatie snel te verwijderen.

Deze aanpak verplaatst AI-governance van abstracte principes naar concrete acties. Het erkent dat een fout in een robot fundamenteel anders is dan een fout in een chatbot, en dat de mensen die verantwoordelijk zijn voor het oplossen ervan ook verschillend moeten zijn. Door te kijken naar de werkelijke geschiedenis van hoe AI heeft gefaald, hebben de onderzoekers een kaart geboden voor het bouwen van een effectiever, contextgevoelig systeem van toezicht. Zij stellen dat deze methode de samenleving in staat stelt om de specifieke gevaren van elk type technologie aan te pakken zonder verloren te raken in algemeenheden, waardoor de regels die we creëren even praktisch en precies zijn als de technologie zelf. De studie concludeert dat door gedocumenteerde incidenten te behandelen als een bron in plaats van alleen een verslag van fouten uit het verleden, we een toekomst kunnen opbouwen waarin AI wordt bestuurd door een begrip van de real-world impact, wat de technologie veiliger en verantwoordelijker maakt voor iedereen.