The Malicious Technical Ecosystem: Exposing Limitations in Technical Governance of AI-Generated Non-Consensual Intimate Images of Adults

Dit artikel onthult hoe een 'kwaadaardig technisch ecosysteem' van open-source tools en software de huidige AI-governance, zoals de NIST-standaarden, ondermijnt door het creëren van niet-toegestane AI-genereren van intieme beelden van volwassenen mogelijk te maken zonder effectieve regulering.

De kern

Stel je voor dat er een ondergrondse markt bestaat waar mensen hun foto's kunnen sturen en in een paar minuten een nepfoto krijgen van iemand anders, maar dan zonder kleding. Dit is wat de auteurs van dit paper "AI-generatie van niet-toegestane intieme beelden" noemen, of kortweg: nepporno.

Deze tekst legt uit waarom de huidige regels en technologieën om dit te stoppen, volledig falen. Hier is de uitleg in simpele taal, met een paar beeldende vergelijkingen.

1. Het Probleem: De "Gevaarlijke Techniek-Boom"

De auteurs noemen het systeem dat deze nepfoto's maakt de "Malicious Technical Ecosystem" (MTE).

• De Vergelijking: Stel je voor dat er een enorme, wilde boom groeit in een bos. De wortels zijn open-source software (gratis code die iedereen kan gebruiken). De takken zijn honderden verschillende programma's die je op je telefoon of computer kunt installeren.
• Hoe het werkt: Je hoeft geen computerexpert te zijn. Je klikt op een knop, uploadt een foto van een vriendin of een beroemdheid, en binnen een minuut is er een nepfoto. Er zijn bijna 200 van deze programma's en duizenden websites die dit aanbieden.
• Het Gevolg: Zelfs als de foto er "nep" uitziet (vaak wel, met rare randjes of watermerken), doet het nog steeds enorme pijn. Het kost mensen hun reputatie, hun geld, hun vriendschappen en hun mentale gezondheid. Het zorgt ervoor dat vrouwen en minderheden zich terugtrekken uit het internet uit angst.

2. Waarom de Huidige Oplossingen Niet Werken

De auteurs kijken naar de officiële regels (zoals die van het Amerikaanse NIST) die bedoeld zijn om dit te stoppen. Ze zeggen: "Deze regels kijken naar de verkeerde dingen." Ze noemen drie grote fouten:

Fout 1: "Het is duidelijk nep, dus het is oké?"

• De Vergelijking: De huidige regels denken: "Als een nepfoto eruitziet als een slechte tekening en er staat 'Dit is nep' op, dan is het niet gevaarlijk."
• De Realiteit: Dat is net alsof je zegt: "Een nepbrief die eruitziet als een kinderkrabbel is niet gevaarlijk." Zelfs als je weet dat het nep is, kan het je leven verwoesten. De regels focussen te veel op het herkennen van nep (transparantie), maar vergeten dat het maken en verspreiden van die nepfoto's al genoeg schade doet, zelfs als het niet perfect is.

Foot 2: "Kinderen en Volwassenen worden door elkaar gehaald"

• De Vergelijking: De regels behandelen nepfoto's van kinderen (CSAM) en nepfoto's van volwassenen alsof het exact hetzelfde probleem is.
• De Realiteit: Voor kinderen is de wet heel duidelijk: elke foto is illegaal. Je kunt een database maken van alle illegale foto's en die blokkeren. Bij volwassenen is het lastiger: een foto van een volwassene is niet per se illegaal, tenzij de persoon er geen toestemming voor heeft gegeven. De huidige blokkeer-middelen werken goed voor kinderen, maar zijn te dom en te simpel voor de complexe situatie van volwassenen.

Fout 3: "We regelen alleen de grote fabrieken, niet de straatkraampjes"

• De Vergelijking: De huidige regels zijn ontworpen om de grote, bekende AI-fabrieken (zoals die van Stability AI) te controleren. Ze vragen: "Zorg dat je grote fabriek geen slechte foto's maakt."
• De Realiteit: Het echte probleem zit in de "straatkraampjes" (de MTE). Dit zijn duizenden kleine, losse programmaatjes die speciaal zijn gebouwd om alleen nepporno te maken. De regels die bedoeld zijn voor de grote fabrieken (waar je een tekstje typt om een foto te maken) werken niet voor deze straatkraampjes (waar je een bestaande foto uploadt om deze naakt te maken). De regels kijken naar de verkeerde plek.

3. De Conclusie: We Moeten Anders Kijken

De auteurs zeggen dat we moeten stoppen met denken dat dit alleen een probleem is van "slechte gebruikers" die de regels overtreden.

• De Kernboodschap: De technologie zelf is hier het probleem. Deze tools zijn niet gemaakt om te helpen, maar zijn speciaal ontworpen om schade aan te richten.
• De Oplossing: We hebben nieuwe regels nodig die zich richten op de slachtoffers (de mensen wier foto's worden misbruikt) en die de hele "boom" van deze software aanpakken, niet alleen de grote takken. We moeten erkennen dat zelfs "slechte" nepfoto's gevaarlijk zijn en dat we de bron moeten droogleggen, niet alleen de verspreiding.

Kortom: De huidige politie (de regels) probeert een bende te stoppen door alleen de grote banken te bewaken, terwijl de bende juist in de achtertuinen en kelders van het internet zit te werken met eigen, gevaarlijke gereedschappen. We moeten die kelders sluiten.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "The Malicious Technical Ecosystem: Exposing Limitations in Technical Governance of AI-Generated Non-Consensual Intimate Images of Adults" in het Nederlands.

Probleemstelling

Het artikel adresseert de opkomst en de governance-uitdagingen van AI-gegenereerde niet-toegestane intieme afbeeldingen van volwassenen (AIG-NCII), vaak bekend als "deepfake-pornografie". Hoewel er veel aandacht is voor de preventie van kinderpornografie (AIG-CSAM) en de verspreiding van intieme beelden, blijft de creatie van AIG-NCII van volwassenen onderbelicht en slecht gereguleerd.

Het kernprobleem is de existentie van een gedecentraliseerd, open-source technisch ecosysteem dat het voor niet-technische gebruikers mogelijk maakt om binnen enkele minuten realistische (of semi-realistische) misbruikbeelden te genereren. Dit ecosysteem, dat de auteurs de "Malicious Technical Ecosystem" (MTE) noemen, bestaat uit open-source gezichtswisselmodellen en bijna 200 gespecialiseerde softwareprogramma's ("nudifiers"). Ondanks de schadelijke gevolgen – waaronder psychisch en fysiek leed, reputatieschade en financiële kosten voor slachtoffers – worden deze tools niet effectief tegengehouden door bestaande technische governance-mechanismen.

Methodologie

De auteurs hanteren een slachtoffergerichte (survivor-centered) benadering om de rol van sociotechnische AI-governance te analyseren. De methodologie omvat:

1. Ecosysteem-analyse: Identificatie en contextualisering van de MTE binnen de bredere synthetische content-pijplijn (creatie, distributie, consumptie). Dit wordt visueel weergegeven in een supply chain-model dat aansluit bij de NIST AI 100-4 rapportstructuur.
2. Technische Inventarisatie: Onderzoek naar de specifieke componenten van de MTE, waaronder:
   • Onafhankelijk ontwikkelde modellen (bijv. DeepFaceLab, FaceSwap, DeepNude) en hun trainingsdatasets.
   • Gebruikersgerichte software en betaalde "deepfake creatie-diensten".
   • Ondersteunende infrastructuur (GitHub, forums, zoekmachines, betalingsverkeer).
3. Governance-evaluatie: Het analyseren van bestaande governance-maatregelen, specifiek gebaseerd op het NIST AI 100-4 rapport over synthetische content. De auteurs toetsen de effectiviteit van deze maatregelen tegen de realiteit van de MTE.

Belangrijkste Bijdragen

Het artikel levert drie cruciale bijdragen aan het debat over AI-governance:

1. Definitie van de MTE: Het conceptualiseert de "Malicious Technical Ecosystem" als een unieke uitdaging die losstaat van grote corporate AI-modellen. De MTE bestaat uit open-source codebases en tools die specifiek zijn ontworpen voor het genereren van misbruik, in tegenstelling tot algemene generatieve modellen die misbruik als een "bijwerking" van kwaadaardige gebruikers kunnen hebben.
2. Kritiek op Bestaande Governance: Het toont aan dat huidige technische preventiemethoden (zoals transparantie, watermerken en dataset-filtering) ontoereikend zijn voor de MTE.
3. Identificatie van Fundamentele Aannames: Het exposeert drie fundamentele, maar foutieve, aannames in huidige governance-frames die leiden tot reguleringsfalen.

Resultaten en Analyse van Beperkingen

De analyse van de NIST-rapportage en de MTE leidt tot drie specifieke beperkingen in de huidige governance:

• Beperking 1: De focus op transparantie is onvoldoende.
  Huidige maatregelen (zoals watermerken, labels en detectie) gaan uit van het idee dat "herkenbaar nep" content minder schadelijk is. De auteurs weerleggen dit: zelfs als beelden duidelijk als AI-gegenereerd worden gelabeld of watermerken dragen, veroorzaken ze ernstige schade (psychisch, reputatieel). De MTE produceert vaak beelden die door de lezer als "nep" herkend kunnen worden, maar die toch als misbruik worden ervaren. Transparantie lost het probleem van de creatie en verspreiding van deze schade niet op.

• Beperking 2: Verwarring tussen CSAM en volwassen NCII.
  Governance-frames behandelen AIG-NCII van volwassenen vaak als gelijk aan AIG-CSAM (kinderpornografie). De preventiemethoden voor CSAM (zoals het filteren van datasets met bekende illegale afbeeldingen via PhotoDNA) zijn effectief omdat toestemming voor minderjarigen nooit gegeven kan worden. Bij volwassenen is toestemming echter contextafhankelijk. Een database met "toegestane" beelden van volwassenen bestaat niet op dezelfde manier, waardoor methoden die draaien op het matchen van bekende illegale afbeeldingen falen bij volwassen NCII.

• Beperking 3: Focus op corporate modellen in plaats van de MTE.
  Bestaande governance-methoden (zoals "Input Data Filtering" via keyword blocking of "Red-Teaming" via prompt-engineering) zijn ontworpen voor grote, prompt-gebaseerde corporate modellen (zoals Stable Diffusion). De MTE werkt echter anders: de gebruiker uploadt een foto en het doel is specifiek "nudification". Er is geen prompt nodig die geblokkeerd kan worden; de technologie zelf is kwaadaardig ontworpen. Governance die zich richt op het beperken van kwaadaardige prompts bij veilige modellen, is dus niet toepasbaar op tools die uitsluitend voor misbruik zijn gemaakt.

Betekenis en Conclusie

Het artikel concludeert dat er een fundamentele verschuiving nodig is in hoe we technische governance benaderen:

• Van Reactie naar Preventie: Huidige maatregelen leggen de last bij de slachtoffers (verwijdering van content), wat vaak onmogelijk is vanwege de schaal en de trauma's. Preventie van creatie is cruciaal.
• Recognitie van Kwaadaardige Technologie: Governance moet erkennen dat de technologie zelf (de MTE-tools) het probleem is, niet alleen de gebruikers.
• Slachtoffergerichte Governance: Er zijn nieuwe frameworks nodig die AIG-NCII van volwassenen expliciet erkennen als een hoog-risico schade, specifiek gericht op het reguleren van de open-source en gedecentraliseerde tools die deze schade mogelijk maken, in plaats van alleen te focussen op transparantie of grote corporate modellen.

De auteurs pleiten voor een sociotechnische aanpak die de technische realiteit van de MTE erkent en governance-maatregelen ontwikkelt die daadwerkelijk de creatie van deze misbruikbeelden kunnen stoppen.