🤖 AI

A Marketplace for AI-Generated Adult Content and Deepfakes

Questo articolo analizza un dataset di 14 mesi della piattaforma Civitai per rivelare che il suo sistema di premi monetizzati incentiva in modo sproporzionato la creazione di deepfake non consensuali e NSFW rivolti a celebrità femminili, evidenziando così significativi danni di genere e sfide di governance nei mercati di IA generativa gestiti dalle comunità.

Autori originali: Shalmoli Ghosh, Matthew R. DeVerna, Filippo Menczer

Pubblicato 2026-06-25

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Shalmoli Ghosh, Matthew R. DeVerna, Filippo Menczer

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un enorme e frenetico mercato digitale chiamato Civitai. Pensalo come un gigantesco mercato delle pulci ad alta tecnologia dove le persone non vendono solo beni fisici, ma scambiano immagini e strumenti generati dall'IA.

In questo mercato, c'è una sezione speciale chiamata "Bounties" (Premi). Puoi pensare a un Bounty come a un poster del tipo "Volato" (Wanted), ma invece di un criminale, stai cercando un'immagine o uno strumento IA specifico. Una persona (il "Supporter" o Sostenitore) pubblica una richiesta, dice: "Voglio l'immagine di un gatto che indossa un tuxedo", e mette una ricompensa in denaro (sotto forma di monete virtuali chiamate "buzz") sul tavolo. Altri utenti (i "creators" o creatori) competono per realizzare quell'immagine. Il primo che ci riesce correttamente vince i soldi.

I ricercatori in questo articolo hanno deciso di investigare questo mercato per vedere cosa le persone stanno effettivamente chiedendo, chi lo sta chiedendo e come vengono seguite le regole. Hanno esaminato ogni singolo poster "Wanted" pubblicato nell'arco di 14 mesi. Ecco cosa hanno scoperto, suddiviso in modo semplice:

1. La sezione "Adult" sta prendendo il sopravvento

I ricercatori hanno scoperto che, sebbene le persone chiedano di tutto (come arte o loghi), una fetta enorme delle richieste riguarda contenuti NSFW (Not Safe For Work) — ovvero materiale per adulti o esplicito.

La Tendenza: All'inizio del loro studio, queste richieste erano una minoranza. Ma nel tempo, sono cresciute costantemente. Alla fine dei 14 mesi, quasi la metà di tutte le richieste riguardava contenuti per adulti.
Lo Strumento: La maggior parte di queste richieste non riguarda solo una singola immagine; le persone chiedono dei LoRA. Pensa a un LoRA come a un "manuale di istruzioni speciale" o a un "filtro" che puoi scaricare e usare per sempre. Una volta che qualcuno crea un LoRA che può generare una specifica immagine per adulti, chiunque può usare quello strumento per creare infinite variazioni di essa. Il mercato è dominato da persone che cercano di acquistare questi "manuali di istruzioni" per indirizzare i modelli IA verso compiti per cui non erano stati originariamente progettati.

2. Il problema dei "Deepfake": Chi viene preso di mira?

Un "Deepfake" in questo contesto è una richiesta di generare l'immagine di una persona reale e vivente (come una celebrità) che non ha realmente posato per quella foto.

Il divario di genere: I ricercatori hanno trovato uno squilibrio scioccante. Se si osservano tutte le richieste per generare immagini di persone reali, 9 su 10 riguardano donne. La stragrande maggioranza dei bersagli sono celebrità, attrici e influencer donne.
Il "loophole" del sé stesso: Alcuni hanno cercato di aggirare le regole sostenendo: "Sto chiedendo una foto di me stesso" o "di mia moglie". I ricercatori hanno scoperto che queste affermazioni erano spesso impossibili da verificare e non risolvevano effettivamente il problema del consenso.

3. I "Super-Richiedenti"

Lo studio ha esaminato chi sta effettuando tutti i post. Non è una distribuzione equa e uniforme in cui tutti pubblicano un po'.

La regola del 20%: Circa il 20% degli utenti è responsabile di circa la metà di tutte le richieste.
Concentrazione dei Deepfake: Questa concentrazione è ancora più forte per i deepfake. Un gruppo molto piccolo di persone sta guidando la maggior parte delle richieste per generare immagini di persone reali.

4. Il "Segnale di Avvertimento" che non sempre appare

Civitai ha una regola: se chiedi l'immagine di una persona reale, il sistema dovrebbe inserire un segnale di avvertimento sulla pagina. Questo segnale dice: "Ehi, questa è una persona reale. Consentiamo solo immagini sicure e la persona può chiederci di rimuoverle".

Il divario: I ricercatori hanno controllato se questo segnale di avvertimento appariva effettivamente.
- Per le richieste di persone reali "Sicure" (SFW), il segnale appariva l'86% delle volte.
- Per le richieste "Adult" (NSFW) di persone reali, il segnale mancava nel 42% dei casi.
La conclusione: Anche se la piattaforma ha una regola, il "segnale di avvertimento" è spesso mancante proprio quando è più necessario — ovvero quando le richieste sono per contenuti espliciti.

Riassunto

L'articolo conclude che questo mercato si è evoluto in un luogo dove un piccolo gruppo di utenti sta guidando pesantemente la domanda di contenuti per adulti e immagini di donne reali, spesso utilizzando strumenti IA speciali (LoRA) per aggirare i filtri di sicurezza. Sebbene la piattaforma abbia regole e segnali di avvertimento, l'applicazione è incoerente, specialmente per le richieste più sensibili e potenzialmente dannose.

Nota importante: I ricercatori hanno esaminato solo le richieste (cosa le persone hanno chiesto), non le immagini finali che sono state create, né le ragioni personali per cui le persone hanno fatto queste richieste. Hanno semplicemente mappato il "menu" di ciò che viene ordinato in questo ristorante digitale.

Sintesi Tecnica: Un Marketplace per Contenuti Adulti e Deepfake Generati dall'IA

Definizione del Problema
L'IA generativa ha democratizzato la creazione di media sintetici realistici, portando all'emergere di piattaforme guidate dalla comunità che fondono l'interazione sociale con la generazione di contenuti. Mentre piattaforme come Civitai facilitano la condivisione di modelli e output, esse ospitano anche una funzione di "Bounties" (premi/incarichi) monetizzata, in cui gli utenti commissionano specifici contenuti generati dall'IA in cambio di un pagamento. Ciò crea un marketplace strutturato che coordina domanda, lavoro e ricompensa. Tuttavia, le dinamiche di questo marketplace rimangono ampiamente inesplorate, in particolare per quanto riguarda i tipi di contenuti incentivati, la prevalenza di materiale "Not Safe For Work" (NSFW) e l'uso del sistema per generare deepfake non consensuali (media che ritraggono individui reali identificabili). La ricerca esistente si è concentrata su immagini e modelli generati, ma non ha analizzato sistematicamente i segnali dal lato della domanda e le strutture di incentivo di tali sistemi di bounty.

Metodologia
Gli autori hanno condotto un'analisi longitudinale di tutte le richieste di bounty pubblicamente disponibili su Civitai in un periodo di 14 mesi (15 ottobre 2023 – 30 gennaio 2025), risultando in un dataset di 4.847 bounty.

Raccolta Dati: Una pipeline personalizzata utilizzando Python Selenium ha automatizzato le sessioni del browser per catturare i metadati dei bounty (titoli, descrizioni, timestamp, metriche di engagement) ed esempi di immagini. La raccolta dei dati è avvenuta in due passaggi: un passaggio "sfocato" (blurred) per catturare le valutazioni di esplicitezza fornite dalla piattaforma (PG, PG-13, R, X, XXX) e un passaggio "non sfocato" (unblurred) per catturare gli URL delle immagini.
Strategia di Classificazione:
- Etichettatura SFW/NSFW: I bounty sono stati classificati come NSFW se qualsiasi immagine di esempio presentava una valutazione "R", "X" o "XXX". Per validare ciò, gli autori hanno confrontato le etichette di Civitai con l'API di moderazione dei contenuti di OpenAI, riscontrando che Civit even adotta un approccio di classificazione più conservativo.
- Analisi Tematica: Per i bounty Safe For Work (SFW), gli autori hanno impiegato una pipeline di classificazione tematica automatizzata. Dopo un'annotazione manuale di un campione di 150 bounty per stabilire una tassonomia (inclusi categorie come "Human deepfake", "Fictional characters" e "NSFW"), GPT-4.1 è stato selezionato per la classificazione su larga scala grazie a una maggiore affidabilità tra i valutatori (Krippendorff's $\alpha$ = 0.8) rispetto a GPT-4o.
- Identificazione dei Deepfake: Un processo in due fasi ha identificato le richieste di deepfake: (1) GPT-4.1 ha analizzato i bounty SFW alla ricerca di temi "Human deepfake", e (2) i titoli e le descrizioni dei bounty NSFW sono stati analizzati per potenziali contenuti deepfake. Tutti i casi identificati dall'IA sono stati sottoposti a revisione manuale da parte di un singolo annotatore umano per verificare il targeting di individui reali, risultando in un set confermato di 323 bounty di deepfake.
Analisi della Concentrazione: Gli autori hanno quantificato la concentrazione della partecipazione degli utenti utilizzando curve di Lorenz e coefficienti di Gini attraverso le categorie SFW, NSFW e deepfake.
Valutazione dell'Intervento: Lo studio ha misurato l'efficacia dell'avviso informativo di Civitai (un avvertimento riguardante la somiglianza con persone reali) calcolando la proporzione di bounty di deepfake che visualizzavano tale marker.

Contributi Chiave e Risultati
Lo studio fornisce la prima caratterizzazione sistematica di un marketplace di IA generativa monetizzato e guidato dalla comunità, rivelando quanto segue:

Composizione del Marketplace: Il sistema di bounty è dominato da richieste di LoRA (Low-Rank Adaptations) e immagini, che insieme costituiscono il 92% di tutti i bounty. I LoRA sono significativi poiché permettono agli utenti di orientare i modelli verso comportamenti che non erano stati originariamente addestrati a eseguire, eludendo efficacemente i guardrail.
Prevalenza e Crescita dei Contenuti NSFW: Le richieste NSFW sono diffuse e in crescita. Alla fine del periodo di studio, i bounty NSFW costituivano la maggioranza delle richieste settimanali (superando il 50% nel settembre 2024). Nello specifico, il 48% di tutti i bounty era NSFW, con i bounty video che mostravano la proporzione più alta (69%).
Targeting dei Deepfake: Le richieste di deepfake costituiscono una quota non trascurabile del mercato. Esiste una marcata asimmetria di genere: il 95,8% dei target dei deepfake è femminile, con attrici e attrici che rappresentano la professione più frequentemente bersagliata.
Concentrazione degli Utenti: La partecipazione è diseguale. Circa il 20% dei richiedenti è responsabile di circa la metà di tutte le richieste. Questa concentrazione è più pronunciata nella categoria deepfake (coefficiente di Gini = 0,45), suggerendo che un piccolo gruppo di utenti altamente attivi guidi l'attività legata ai deepfake.
Lacune nell'Applicazione (Enforcement): Il meccanismo di intervento di Civitai (un avviso informativo sui deepfake) è applicato in modo incoerente. Mentre l'85,6% dei bounty deepfake SFW visualizzava l'avviso, solo il 58,3% dei bounty deepfake NSFW lo faceva, lasciando una frazione sostanziale di richieste ad alto rischio senza segnalazione. Inoltre, nonostante un aggiornamento formale della policy nell'agosto 2024 che proibisce le raffigurazioni di individui reali, tali richieste sono persistite sulla piattaforma.

Significatività e Rivendicazioni
Il documento sostiene di offrire una nuova lente empirica su come le piattaforme di IA generativa monetizzate e guidate dalla comunità strutturino la partecipazione e applichino le salvaguardie. Gli autori sostengono che i loro risultati dimostrino come tali marketplace possano produrre danni di genere, specificamente attraverso il targeting sproporzionato delle donne nelle richieste di deepfake.

Lo studio evidenzia come la funzione "Bounties" crei un incentivo economico diretto per la generazione di contenuti che possono violare le policy della piattaforma o le norme etiche, inclusa l'immagine intima non consensuale. Gli autori concludono che l'attuale modello di governance, che si affida pesantemente all'auto-segnalazione degli utenti e a un flagging automatizzato incoerente, è insufficiente. Suggeriscono che una governance efficace richieda la combinazione di regole basate sui contenuti con segnali comportamentali (come la concentrazione dell'attività degli utenti) e un monitoraggio proattivo. Il documento non propone nuove soluzioni tecniche, ma piuttosto invoca uno scrutinio più stretto degli incentivi delle piattaforme e la necessità che regolatori e moderatori affrontino le lacune tra policy ed esecuzione.