🤖 AI

A Marketplace for AI-Generated Adult Content and Deepfakes

Dit artikel analyseert een dataset van 14 maanden van het Civitai-platform om aan te tonen dat het gesystematiseerde beloningssysteem een onevenredige stimulans vormt voor de creatie van niet-consensuele, NSFW deepfakes gericht op vrouwelijke beroemdheden, waardoor significante gendergerelateerde schade en governance-uitdagingen in door gemeenschappen gestuurde generatieve AI-marktplaatsen worden benadrukt.

Oorspronkelijke auteurs: Shalmoli Ghosh, Matthew R. DeVerna, Filippo Menczer

Gepubliceerd 2026-06-25

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Shalmoli Ghosh, Matthew R. DeVerna, Filippo Menczer

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een enorme, bruisende digitale marktplaats voor genaamd Civitai. Denk aan een gigantische, hightech rommelmarkt waar mensen niet alleen fysieke goederen kopen en verkopen, maar waarin ze handelen in AI-gegenereerde afbeeldingen en tools.

In deze markt is er een speciale sectie genaamd "Bounties" (Beloningen). Je kunt een Bounty zien als een "Gezocht"-poster, maar in plaats van een crimineel, ben je op zoek naar een specifieke afbeelding of AI-tool. Iemand (de "Supporter") plaatst een verzoek, zegt bijvoorbeeld: "Ik wil een afbeelding van een kat met een smoking," en legt een contante beloning (in de vorm van virtuele munten genaamd "buzz") op tafel. Andere gebruikers (de "creators") concurreren om die afbeelding te maken. De eerste die het goed doet, wint het geld.

De onderzoekers in dit artikel besloten deze marktplaats te onderzoeken om te zien wat mensen eigenlijk vragen, wie er vraagt, en of de regels worden nageleefd. Ze hebben elk afzonderlijk "Gezocht"-poster die gedurende 14 maanden is geplaatst, bekeken. Dit is wat ze vonden, simpel uitgelegd:

1. De "Adult" sectie neemt de overhand

De onderzoekers ontdekten dat hoewel mensen om allerlei dingen vragen (zoals kunst of logo's), een enorm deel van de verzoeken gaat over NSFW (Not Safe For Work) content—in feite, volwassen of expliciete materiaal.

De Trend: Aan het begin van hun studie waren deze verzoeken een minderheid. Maar in de loop van de tijd groeiden ze gestaag. Tegen het einde van de 14 maanden was bijna de helft van alle verzoeken bedoeld voor volwassen content.
De Tool: De meeste van deze verzoeken gaan niet alleen om een enkele foto; ze vragen om LoRAs. Denk aan een LoRA als een "speciale instructiehandleiding" of een "filter" die je kunt downloaden en voor altijd kunt gebruiken. Zodra iemand een LoRA heeft gemaakt die een specifieke volwassen afbeelding kan genereren, kan iedereen die tool gebruiken om oneindige variaties daarvan te maken. De marktplaats wordt gedomineerd door mensen die proberen deze "instructiehandleidingen" te kopen om AI-modellen te sturen om dingen te doen waar ze oorspronkelijk niet voor ontworpen zijn.

2. Het "Deepfake" probleem: Wie wordt er doelwit?

Een "Deepfake" is in deze context een verzoek om een afbeelding te genereren van een echt, levend persoon (zoals een beroemdheid) die niet daadwerkelijk voor die foto heeft geposeerd.

De Genderkloof: De onderzoekers vonden een schokkende onbalans. Als je kijkt naar alle verzoeken om afbeeldingen van echte mensen te genereren, dan zijn 9 van de 10 van vrouwen. De overgrote meerderheid van de doelwitten zijn vrouwelijke beroemdheden, actrices en influencers.
De "Zelf"-ontwijking: Sommige mensen probeerden de regels te omzeilen door te claimen: "Ik vraag om een foto van mezelf" of "mijn vrouw." De onderzoekers vonden dat deze claims vaak onmogelijk te verifiëren waren en het probleem van toestemming (consent) niet echt oplosten.

3. De "Super-Requesters"

De studie keek ook naar wie al deze berichten plaatست. Het is geen eerlijke, gelijkmatige verdeling waarbij iedereen een beetje plaatst.

De 20%-regel: Ongeveer 20% van de gebruikers is verantwoordelijk voor ongeveer de helft van alle verzoeken.
Concentratie van Deepfakes: Deze concentratie is nog sterker voor deepfakes. Een zeer kleine groep mensen drijft de meeste verzoeken aan om afbeeldingen van echte mensen te genereren.

4. Het "Waarschuwingssignaal" dat er niet altijd is

Civitai heeft een regel: Als je om een foto van een echt persoon vraagt, hoort het systeem een waarschuwingssignaal op de pagina te plaatsen. Dit teken zegt: "Hé, dit is een echt persoon. Wij staan alleen veilige afbeeldingen toe, en de persoon kan ons vragen dit te verwijderen."

Het Gat: De onderzoekers controleerden of dit waarschuwingssignaal daadwerkelijk verscheen.
- Voor "Veilige" (SFW) verzoeken van echte mensen verscheen het teken 86% van de tijd.
- Voor "Volwassen" (NSFW) verzoeken van echte mensen ontbrak het teken 42% van de tijd.
De Conclusie: Ondanks dat het platform regels en waarschuwingsborden heeft, is de handhaving inconsistent, vooral wanneer het gaat om de meest gevoelige en potentieel schadelijke verzoeken.

Samenvatting

Het paper concludeert dat deze marktplaats is geëvolueerd naar een plek waar een kleine groep gebruikers zwaar de vraag naar volwassen content en afbeeldingen van echte vrouwen aanjaagt, vaak door gebruik te maken van speciale AI-tools (LoRAs) om veiligheidsfilters te omzeilen. Hoewel het platform regels en waarschuwingsborden heeft, is de handhaving inconsistent, vooral bij de meest gevoelige en potentieel schadelijke verzoeken.

Belangrijke opmerking: De onderzoekers keken alleen naar de verzoeken (waar mensen om vroegen), niet naar de uiteindelijke afbeeldingen die werden gemaakt, noch naar de persoonlijke redenen waarom mensen deze verzoeken deden. Ze brachten simpelweg de "menukaart" in kaart van wat er in dit digitale restaurant besteld werd.

Technische Samenvatting: Een marktplaats voor door AI gegenereerde volwassen content en deepfakes

Probleemstelling
Generatieve AI heeft de creatie van realistische synthetische media gedemocratiseerd, wat heeft geleid tot het ontstaan van door gemeenschappen gedreven platforms die sociale interactie combineren met contentgeneratie. Terwijl platforms zoals Civitai de het delen van modellen en outputs faciliteren, huisvesten zij ook een gemonetiseerde "Bounties"-functie waarbij gebruikers specifieke door AI gegenereerde content kunnen in opdracht geven in ruil voor betaling. Dit creëert een gestructureerde marktplaats die vraag, arbeid en beloning coördineert. De dynamiek van deze marktplaats is echter grotendeels onverkend, met name wat betreft de soorten content die worden geprikkeld, de prevalentie van "Not Safe For Work" (NSFW) materiaal, en het gebruik van het systeem voor het genereren van niet-consensuele deepfakes (media die herkenbare echte personen afbeelden). Bestaand onderzoek heeft zich gericht op gegenereerde afbeeldingen en modellen, maar heeft de signalen aan de vraagzijde en de prikkelstructuren van dergelijke bounty-systemen niet systematisch geanalyseerd.

Methodologie
De auteurs voerden een longitudinale analyse uit van alle publiekelijk beschikbare bounty-verzoeken op Civitai over een periode van 14 maanden (15 oktober 2023 – 30 januari 2025), wat resulteerde in een dataset van 4.847 bounties.

Dataverzameling: Een aangepaste pipeline met behulp van Python Selenium automatiseerde browsersessies om bounty-metadata (titels, beschrijvingen, tijdstempels, engagement-metrieken) en voorbeeldafbeeldingen vast te leggen. De dataverzameling vond plaats in twee fasen: een "geblurre" fase om de door het platform verstrekte explicietheidsclassificaties (PG, PG-13, R, X, XXX) te vangen, en een "ongeblurre" fase om de URL's van de afbeeldingen te vangen.
Classificatiestrategie:
- SFW/NSFW Labeling: Bounties werden als NSFW geclassificeerd als een voorbeeldafbeelding een "R", "X" of "XXX" rating had. Om dit te valideren, vergeleken de auteurs de labels van Civitai met de OpenAI content moderation API, waarbij zij vaststelden dat Civitai een conservatievere classificatie hanteert.
- Thematische Analyse: Voor Safe For Work (SFW) bounties gebruikten de auteurs een geautomatiseerde thematische classificatiepipeline. Na handmatige annotatie van een steekproef van 150 bounties om een taxonomie op te stellen (inclusief categorieën zoals "Human deepfake", "Fictional characters" en "NSFW"), werd GPT-4.1 geselecteerd voor grootschalige classificatie vanwege de hogere inter-rater betrouwbaarheid (Krippendorff's $\alpha$ = 0,8) vergeleken met GPT-4o.
- Deepfake Identificatie: Een tweestaps-proces identificeerde deepfake-verzoeken: (1) GPT-4.1 analyseerde SFW-bounties op "Human deepfake" thema's, en (2) titels en beschrijvingen van NSFW-bounties werden geanalyseerd op potentieel deepfake-gehalte. Alle door AI geïdentificeerde gevallen ondergingen een handmatige review door een enkele menselijke annotator om te verifiëren of er echt personen werden getarget, wat resulteerde in een bevestigde set van 323 deepfake-bounties.
Concentratieanalyse: De auteurs kwantificeerden de concentratie van gebruikersparticipatie met behulp van Lorenz-curves en Gini-coëfficiënten over de SFW, NSFW en deepfake categorieën.
Interventiebeoordeling: De studie mat de effectiviteit van de informatieve melding van Civitai (een waarschuwing met betrekking tot de gelijkenis van echte personen) door het aandeel deepfake-bounties te berekenen dat deze marker vertoonde.

Belangrijkste Bijdragen en Resultaten
De studie biedt de eerste systematische karakterisering van een gemonetiseerde, door de gemeenschap gedreven generatieve AI-marktplaats, en onthult het volgende:

Marktplaatscompositie: Het bounty-systeem wordt gedomineerd door verzoeken voor LoRAs (Low-Rank Adaptations) en afbeeldingen, die samen 92% van alle bounties vormen. LoRAs zijn significant omdat ze gebruikers in staat stellen modellen te sturen naar gedragingen waarvoor ze oorspronkelijk niet getraind zijn, waardoor ze effectief guardrails omzeilen.
Prevalentie en Groei van NSFW Content: NSFW-verzoeken zijn wijdverspreid en nemen toe. Tegen het einde van de onderzoeksperiode vormden NSFW-bounties een meerderheid van de wekelijkse verzoeken (ze overschreden de 50% in september 2024). Specifiek waren 48% van alle bounties NSFW, waarbij video-bounties het hoogste aandeel lieten zien (69%).
Deepfake Targeting: Deepfake-verzoeken vormen een niet-verwaarloosbaar deel van de markt. Er is een uitgesproken genderasymmetrie: 95,8% van de deepfake-targets zijn vrouw, waarbij acteurs en actrices de meest frequent getargete beroepsgroepen zijn.
Gebruikersconcentratie: De participatie is ongelijk verdeeld. Ongeveer 20% van de aanvragers is verantwoordelijk voor ongeveer de helft van alle verzoeken. Deze concentratie is het meest uitgesproken in de deepfake-categorie (Gini-coëfficiënt = 0,45), wat suggereert dat een kleine groep zeer actieve gebruikers de deepfake-gerelateerde activiteit aanjaagt.
Handhavingskloven: Het interventiemechanisme van Civitai (een informatieve melding bij deepfake-bounties) wordt inconsistent toegepast. Hoewel 85,6% van de SFW deepfake-bounties de melding vertoonde, deed slechts 58,3% van de NSFW deepfake-bounties dit, waardoor een aanzienlijk deel van de hoog-risico verzoeken ongemerkt bleef. Bov�iment de formele beleidsupdate in augustus 2024 die afbeeldingen van echte personen verbiedt, bleven dergelijke verzoeken op het platform bestaan.

Significantie en Claims
Het artikel beweert een nieuw empirisch perspectief te bieden op hoe gemonetiseerde, door de gemeenschap gedreven generatieve AI-platforms participatie structureren en waarborgen handhaven. De auteurs stellen dat hun bevindingen aantonen hoe dergelijke marktplaatsen gendergerelateerde schade kunnen produceren, specifelijk door de disproportionele targeting van vrouwen in deepfake-verzoeken.

De studie benadrukt dat de "Bounties"-functie een directe economische prikkel creëert voor het genereren van content die mogelijk de platformrichtlijnen of ethische normen schendt, inclusend niet-consensuele intieme beelden. De auteurs concluderen dat het huidige governance-model, dat sterk leunt op zelfrapportage door gebruikers en inconsistente automatische flagging, onvoldoende is. Zij suggereren dat effectieve governance een combinatie vereist van inhoud-gebaseerde regels met gedragssignalen (zoals de concentratie van gebruikersactiviteit) en proactieve monitoring. Het artikel stelt geen nieuwe technische oplossingen voor, maar roept op tot nauwere controle van platformprikkels en de noodzaak voor regulatoren en moderatoren om de kloof tussen beleid en handhaving aan te pakken.