💻 computer science

A Closer Look at the Existing Risks of Generative AI: Mapping the Who, What, and How of Real-World Incidents

Dit artikel presenteert een nieuwe taxonomie voor falen van generatieve AI door systematisch 499 incidenten uit de praktijk te analyseren, waaruit blijkt dat de meeste schade voortkomt uit gebruikgerelateerde problemen die belanghebbenden buiten de eindgebruikers raken, waardoor het risicolandschap van generatieve AI wordt onderscheiden van dat van traditionele AI en wordt gepleit voor niet-technische mitigatiestrategieën zoals openbaarmaking, educatie en regulering.

Oorspronkelijke auteurs: Megan Li, Wendy Bickersteth, Ningjing Tang, Jason Hong, Lorrie Cranor, Hong Shen, Hoda Heidari

Gepubliceerd 2026-04-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Megan Li, Wendy Bickersteth, Ningjing Tang, Jason Hong, Lorrie Cranor, Hong Shen, Hoda Heidari

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je Generatieve AI voor als een super-aangedreven, hyper-creatieve fabriek die direct tekst, afbeeldingen, audio en video kan produceren. Het is als een magische drukpers die nooit slaapt. Maar net als elke krachtige fabriek produceert het niet alleen goederen; het produceert ook "ongevallen" en "rommel".

Dit artikel is in wezen een forensisch onderzoek naar 499 ongevallen uit de echte wereld die door deze fabriek zijn veroorzaakt. De onderzoekers (van de Carnegie Mellon University) hebben niet zomaar geraden wat er mis kon gaan; ze keken naar een enorme stapel politierapporten, nieuwsverhalen en publieke klachten om precies in kaart te brengen wat er gebeurd is, wie er gewond raakte en waarom.

Hier is de uiteenzetting van hun bevindingen in eenvoudige bewoordingen:

1. De grote verrassing: het "omstander"-probleem

In de meeste veiligheidsverhalen gaan we ervan uit dat de persoon die gewond raakt, degene is die het gereedschap gebruikt. Als je roekeloos met een auto rijdt, ben jij degene die crasht.

Maar bij Generatieve AI vonden de onderzoekers dat het vaak juist andersom is.

De analogie: Stel je voor dat je op een feestje bent. Je besluit een magisch penseel te gebruiken om een grappige tekening van je vriend te maken. Jij (de gebruiker) vindt het hilarisch. Maar de persoon op de tekening (de omstander) wordt nu door de hele stad uitgelachen, of hun reputatie is geruïneerd.
De bevinding: De studie vond dat het grootste deel van de schade niet gebeurde met de persoon die de AI gebruikte. Het gebeurde met mensen die er niets mee te maken hadden – vreemden, gemeenschappen of de samenleving in het algemeen. De "gebruikers" kregen vaak de voordelen (plezier, productiviteit), terwijl de "niet-gebruikers" de blauwe plekken kregen (oplichting, identiteitsdiefstal, verwarring).

2. De twee hoofdschuldigen: "De glitch" versus "De schurk"

De onderzoekers hebben de redenen waarom deze ongevallen gebeurten, ingedeeld in twee hoofdcategorieën:

De glitch (technische storingen): Soms gaat de AI het gewoon fout. Het hallucineert (verzonnen feiten), raakt in de war of slaagt er niet in om regels te volgen.
- Wie raakt er gewond? Meestal de persoon die de AI gebruikt. Bijvoorbeeld: een advocaat gebruikt AI om een processtuk te schrijven, de AI verzint een nepzaak, en de advocaat komt in de problemen.
De schurk (kwaadwillend gebruik): Dit was de grootste verrassing. De meest voorkomende oorzaak van schade was niet dat de AI kapot was; het was mensen die een werkende AI bewust gebruikten om slechte dingen te doen.
- Wie raakt er gewond? Bijna altijd de omstanders.
- Voorbeelden: Iemand die AI gebruikt om een nepdeepfake-video van een politicus te maken om een rellen te veroorzaken, of nepnaaktfoto's van een klasgenoot maakt om hen te pesten. De AI werkte precies zoals bedoeld; de mens erachter was het probleem.

3. De "Wie, Wat en Hoe"-kaart

Het artikel bouwde een nieuwe kaart (een taxonomie) om deze incidenten te ordenen:

Wat er gebeurde (de schade): De meest voorkomende soorten schade waren aan de autonomie van mensen (bedrogen of geïmpersoniseerd worden), politiek/economie (nepnieuws dat verkiezingen of markten beïnvloedt) en reputatie (laster).
Hoe het gebeurde (de faalwijze): De meest frequente oorzaak was kwaadwillend gebruik (opzettelijk slechte actoren). De op één na meest voorkomende was niet-geopenbaard gebruik (AI gebruiken wanneer je menselijk werk zou moeten doen, zoals een student die cheat of een magazine dat overspoeld wordt met AI-spam).
Wie er gewond raakte: Zoals vermeld, droegen de "niet-interagerende" mensen (het publiek, slachtoffers van deepfakes) het grootste deel van de schade.

4. Waarom huidige regels niet werken

Het artikel betoogt dat onze huidige manier van denken over veiligheid gebroken is omdat het ervan uitgaat dat alleen de persoon die het gereedschap gebruikt, bescherming nodig heeft.

De analogie: Het is alsof je een veiligheidshandleiding voor een hamer hebt die alleen vertelt hoe je je eigen duim niet moet raken, maar niets zegt over het niet raken van je buurman ermee.
De realiteit: Omdat de mensen die de AI gebruiken vaak niet de gevolgen ondervinden (het slachtoffer doet dat), hebben ze geen motivatie om voorzichtig te zijn. Het "voordeel" gaat naar de gebruiker, maar het "risico" gaat naar de vreemdeling.

5. Wat moeten we doen?

De auteurs suggereren drie hoofdacties om deze rommel op te lossen, met de focus op mensen en regels in plaats van alleen betere code:

Leer mensen (AI-geletterdheid): We moeten het grote publiek leren hoe deze "fabriek" werkt. Als mensen begrijpen dat AI kan liegen (hallucineren) of gebruikt kan worden voor oplichting, zullen ze er niet blindelings op vertrouwen. Dit stopt sommige "ongevallen" veroorzaakt door onwetendheid.
Reguleer het "Open Source"-wilde westen: Het artikel merkt op dat veel van de ergste tools (zoals apps die nepnaaktfoto's maken) zijn gebouwd op "open source"-modellen die iedereen kan downloaden en aanpassen. De huidige regels laten deze tools bestaan met weinig beperkingen. De auteurs suggereren dat we hier strengere regels nodig hebben om de "schurken" te stoppen bij het bouwen van hun wapens.
Volg het "papieren spoor" (provenance): We hebben betere manieren nodig om te onderscheiden wat echt is en wat AI is. Als we AI-inhoud kunnen labelen (zoals een "Gemaakt door AI"-label) en neppen kunnen detecteren, wordt het moeilijker voor oplichters om leugens te verspreiden of voor deepfakes om reputaties te ruïneren.

De bottom line

Generatieve AI is niet zomaar een gereedschap dat af en toe kapot gaat; het is een gereedschap dat frequent door mensen wordt gewapend om mensen te kwetsen die er zelfs niet om hebben gevraagd. De oplossing is niet alleen het "slimmer" maken van de AI; het gaat om het veranderen van hoe we het reguleren, het publiek leren de trucs te herkennen, en het beseffen dat de mensen die de technologie gebruiken niet de enigen zijn die bescherming nodig hebben.

1. Probleemstelling

Hoewel aanzienlijke aandacht wordt besteed aan de existentiële risico's van Kunstmatige Intelligentie (KI), bestaat er een kritieke lacune in het begrijpen van de bestaande risico's – die welke al in de echte wereld worden waargenomen en schade toebrengen aan individuen, gemeenschappen en de samenleving.

De Lacune: Bestaande risicotaxonomieën ontberen vaak een grondslag in empirisch bewijs, waardoor ze niet specificeren wie wordt getroffen, hoe de schade ontstaat (de faalmodus) en wat de specifieke relatie is tussen technische storingen en downstream maatschappelijke gevolgen.
De Specifieke Uitdaging: Generatieve AI (GenAI) verschilt van traditionele AI door zijn algemene aard en outputmodaliteiten (tekst, afbeelding, audio, video). Huidige kaders vangen het unieke landschap van GenAI-fouten niet adequaat, met name de disconnectie tussen de gebruikers die profiteren van de technologie en de derden die de schade ondervinden.
Doel: Het construeren van een datagedreven taxonomie van GenAI-fouten en schade, waarbij de "Wie" (stakeholders), "Wat" (schadetypes) en "Hoe" (sociotechnische faalmodi) worden in kaart gebracht op basis van incidenten uit de echte wereld.

2. Methodologie

De auteurs voerden een systematische empirische analyse uit van 499 publiek gerapporteerde Generatieve AI-incidenten.

Databronnen: De dataset is samengesteld uit twee grote repositories: de AI Incident Database (AIID) en de AI, Algorithmic and Automation Incidents and Controversies (AIAAIC). De OECD AI Incident Monitor werd uitgesloten vanwege de geautomatiseerde curatie en bredere definitie van "incident".
Selectiecriteria: Alleen incidenten waarbij een Generatieve AI-systeem de primaire oorzaak van het evenement was, werden opgenomen.
Coderingskader: Elk incident werd behandeld als een casestudy en gecodeerd voor vier attributen:
1. Modaliteit: Outputtype (tekst, afbeelding, audio, video, multimodaal).
2. Getroffen Stakeholders: Gecategoriseerd in Interagerend (eindgebruikers, ontwikkelaars) en Niet-Interagerend (derden, individuen, organisaties, gemeenschappen, samenleving).
3. Schade: De aard van het negatieve resultaat.
4. Sociotechnische Faalmodus: De proximale oorzaak (technisch, menselijk of systemisch).
Ontwikkeling van Taxonomie:
- Schade: Gebaseerd op bestaande taxonomieën (Weidinger et al., Abercrombie et al.), maar herzien om een nieuwe categorie op te nemen, "Overbelasting van ecosystemen" (overstroming van door mensen gecurateerde ruimten met AI-inhoud). De definitieve taxonomie bevat 41 specifieke schades verdeeld over 12 categorieën.
- Faalmodi: Ontwikkeling van een nieuwe taxonomie van 14 faalmodi, georganiseerd in 4 categorieën:
  1. Ontwerpgerelateerd (bijv. problematische dataverzameling).
  2. Ontwikkeling/Evaluatie-gerelateerd (bijv. hallucinaties, gebrek aan robuustheid).
  3. Release-gerelateerd (bijv. gebrek aan transparantie).
  4. Gebruiksgerelateerd (bijv. kwaadwillend gebruik, onjuist gebruik).
Analyseproces: Twee auteurs codeerden de data onafhankelijk van elkaar en losten meningsverschillen op via consensus. Zij analyseerden de prevalentie, het samen voorkomen van faalmodi, en de koppeling tussen faalmodi, schade en stakeholders.

3. Belangrijkste Bijdragen

Empirische Taxonomie van GenAI-Schade: Een gevalideerde, kwantitatieve mapping van 41 specifieke schades die in het wild zijn waargenomen, verdergaand dan theoretische risicobeoordeling.
Nieuwe Taxonomie van Sociotechnische Faalmodi: Een gestructureerd raamwerk dat onderscheid maakt tussen ontwerp-, ontwikkelings-, release- en gebruiksgerelateerde fouten, specifiek toegespitst op GenAI.
De "Wie-Wat-Hoe"-Mapping: Een uitgebreide analyse die specifieke faalmodi koppelt aan specifieke schades en, cruciaal, de dispariteit tussen begunstigden en slachtoffers in kaart brengt.
Differentiatie van Traditionele AI: Bewijs dat aantoont dat het landschap van GenAI-schade verschilt van traditionele AI, met name wat betreft de prevalentie van kwaadwillend gebruik en de impact op niet-interagerende stakeholders.

4. Belangrijkste Resultaten en Bevindingen

A. Wie wordt Getroffen? (De Stakeholder-Dispariteit)

Niet-Interagerende Stakeholders zijn de Hoofdslachtoffers: De meerderheid van de incidenten (ongeveer 80%+) veroorzaakte schade aan partijen die niet direct met het AI-systeem interacteerden (bijv. individuen die doelwit zijn van deepfakes, organisaties die AI-spam ontvangen, de samenleving die geconfronteerd wordt met desinformatie).
Interagerende Stakeholders worden Zelden Getroffen: Eindgebruikers en ontwikkelaars lijden zelden de directe gevolgen van de schade die zij genereren.
Aansprakelijkheidsbreuk: Dit creëert een misalignering waarbij degenen die de voordelen oogsten (gebruikers/ontwikkelaars) weinig risico aannemen, terwijl degenen die de risico's dragen (samenleving/derden) geen directe rechtsmiddelen hebben.

B. Welke Schades Treedt Op? (Prevalentie)

Top Schadecategorieën:
1. Verlies van Autonomie/Handelingsvermogen (n=178): Vaak gekoppeld aan vermomming en identiteitsdiefstal.
2. Politiek en Economisch (n=106): Gekoppeld aan manipulatie en instabiliteit.
3. Informatie (n=84): Verontreiniging van het informatie-ecosysteem.
Specifieke Hoge-Frequentie Schades: Vermomming/identiteitsdiefstal (n=108), Politieke manipulatie (n=95) en Verlies van vertrouwen (n=58).

C. Hoe Ontstaan Schades? (Faalmodi)

Gebruiksgerelateerde Fouten Domineren: Gebruiksgerelateerde faalmodi vormen het overgrote deel van de incidenten (n=301), aanzienlijk meer dan ontwerp- of ontwikkelingsfouten.
Kwaadwillend Gebruik is de Hoofddrijver: Kwaadwillend gebruik (n=198) is de meest voorkomende faalmodus, wat schades drijft op het gebied van autonomie, politieke manipulatie, psychische distress en financiële fraude.
Hallucinaties: Hoewel minder frequent dan kwaadwillend gebruik in het algemeen, zijn hallucinaties (n=56) de primaire faalmodus die interagerende stakeholders treft (bijv. gebruikers die vertrouwen op valse juridisch advies).

D. Correlaties en Modaliteiten

Koppeling Faalmodus-Schade:
- Kwaadwillend Gebruik $\rightarrow$ Autonomie, Politieke, Psychologische en Financiële schades (vaak via deepfakes).
- Hallucinatie $\rightarrow$ Mensenrechten/Burgerlijke Vrijheden schades (bijv. valse bewijsstukken in de rechtbank).
- Problematische Dataverzameling $\rightarrow$ Privacy & Veiligheid schades.
Impact van Modaliteit: Tekstgebaseerde systemen worden het meest geassocieerd met hallucinaties. Afbeeldings-, video- en audiosystemen worden overweldigend geassocieerd met Kwaadwillend Gebruik (bijv. niet-toegestane deepfake-pornografie, stemoplichting).
Open-Source Modellen: De studie bevestigt dat tools die niet-toegestane intieme beelden mogelijk maken (AIG-NCII) voornamelijk zijn gebouwd op open-source modellen (bijv. Stable Diffusion), wat een regelgevingskloof benadrukt.

5. Betekenis en Aanbevelingen

Betekenis

Het artikel daagt het heersende narratief uit dat AI-risico's voornamelijk technisch of toekomstgericht zijn. Het bewijst dat huidige GenAI-risico's grotendeels sociotechnisch zijn, gedreven door menselijke intentie (kwaadwillend gebruik) en systemische ontwerpfouten (dataverzameling), en dat de last van deze risico's onevenredig zwaar rust op onschuldige derden. Dit verlegt de focus van puur "modelveiligheid" naar "ecosysteemveiligheid".

Aanbevelingen

Prioriteit voor Niet-Interagerende Stakeholders: Beleid en governance moeten de focus verschuiven naar het beschermen van derden die niet met het systeem interageren maar wel de gevolgen ondervinden.
Publieke Voorlichting en AI-Geletterdheid: Aangezien "Onjuist Gebruik" een belangrijke faalmodus is, heeft het publiek betere voorlichting nodig over GenAI-capaciteiten en beperkingen (bijv. het begrijpen van hallucinaties) om onbedoelde schade te verminderen.
Regelgevende Houding ten Opzichte van Open-Source: De huidige regelgevende omgeving (bijv. de EU AI Act) stimuleert open-source ontwikkeling, maar faalt in het mitigeren van de specifieke risico's van misbruik (zoals AIG-NCII). De auteurs roepen op tot een op bewijs gebaseerde regulering die innovatie afweegt tegen het voorkomen van misbruikende tools.
Provenance en Detectie: Het implementeren van datatracking en detectie van synthetische inhoud is noodzakelijk om schades zoals desinformatie en deepfake-fraude te mitigeren, hoewel dit gepaard moet gaan met bredere aansprakelijkheidsmaatregelen.
Verschuiving van Technische naar Niet-Technische Mitigatie: De auteurs betogen dat technische oplossingen (veiligheidsvoorzieningen) onvoldoende zijn. Effectieve mitigatie vereist publieke openbaarmaking, voorlichting en zorgvuldige regelgevende houdingen om de menselijke en systemische lagen van het probleem aan te pakken.