A Marketplace for AI-Generated Adult Content and Deepfakes
Cet article analyse un ensemble de données de 14 mois provenant de la plateforme Civitai pour révéler que son système de primes monétisées encourage de manière disproportionnée la création de deepfakes non consentis et pornographiques (NSFW) ciblant des célébrités féminines, mettant ainsi en évidence d'importants préjudices sexospécifiques et des défis de gouvernance au sein des marchés d'IA générative gérés par la communauté.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez un marché numérique massif et bouillonnant appelé Civitai. Voyez cela comme un immense marché aux puces technologique où les gens ne vendent pas seulement des biens physiques, mais échangent plutôt des images et des outils générés par l'IA.
Dans ce marché, il existe une section spéciale appelée « Bounties » (primes). Vous pouvez considérer une « Bounty » comme une affiche de type « Recherché », mais au lieu d'un criminel, vous recherchez une image ou un outil d'IA spécifique. Une personne (le « Supporter ») publie une requête, dit : « Je veux une image d'un chat portant un smoking », et pose une récompense en argent (sous forme de pièces virtuelles appelées « buzz ») sur la table. D'autres utilisateurs (les « créateurs ») rivalisent pour réaliser cette image. Le premier qui réussit gagne l'argent.
Les chercheurs de cet article ont décidé d'étudier ce marché pour voir ce que les gens demandent réellement, qui demande, et comment les règles sont respectées. Ils ont examiné chaque « affiche de recherche » publiée sur une période de 14 mois. Voici ce qu'ils ont trouvé, présenté simplement :
1. La section « Adulte » prend le dessus
Les chercheurs ont constaté que, bien que les gens demandent toutes sortes de choses (comme de l'art ou des logos), une énorme partie des requêtes concerne du contenu NSFW (Not Safe For Work) — c'est-à-dire du matériel pour adultes ou explicite.
- La tendance : Au début de leur étude, ces requêtes étaient minoritaires. Mais au fil du temps, elles ont augmenté régulièrement. À la fin des 14 mois, près de la moitié de toutes les requêtes concernaient du contenu pour adultes.
- L'outil : La plupart de ces requêtes ne concernent pas seulement une image isolée ; elles demandent des LoRAs. Voyez un LoRA comme un « manuel d'instructions spécial » ou un « filtre » que vous pouvez télécharger et utiliser indéfiniment. Une fois qu'un utilisateur a créé un LoRA capable de générer une image adulte spécifique, n'importe qui peut utiliser cet outil pour créer une infinité de variations. Le marché est dominé par des personnes tentant d'acheter ces « manuels d'instructions » pour orienter les modèles d'IA vers des tâches pour lesquelles ils n'ont pas été initialement conçus.
2. Le problème des « Deepfakes » : Qui est ciblé ?
Un « Deepfake » dans ce contexte est une requête visant à générer l'image d'une personne réelle et vivante (comme une célébrité) qui n'a pas réellement posé pour cette photo.
- Le fossé de genre : Les chercheurs ont découvert un déséquilibre choquant. Si l'on regarde l'ensemble des requêtes pour générer des images de personnes réelles, 9 sur 10 concernent des femmes. La vaste majorité des cibles sont des femmes célèbres, des actrices et des influenceuses.
- La faille du « Soi » : Certaines personnes ont tenté de contourner les règles en affirmant : « Je demande une photo de moi-même » ou « de ma femme ». Les chercheurs ont constaté que ces affirmations étaient souvent impossibles à vérifier et qu'elles ne résolvaient pas réellement le problème du consentement.
3. Les « Super-requérants »
L'étude a examiné qui effectue toutes ces publications. Il ne s'agit pas d'une distribution équitable et égale où tout le monde publie un peu.
- La règle des 20 % : Environ 20 % des utilisateurs sont responsables d'environ la moitié de toutes les requêtes.
- Concentration des Deepfakes : Cette concentration est encore plus forte pour les deepfakes. Un groupe très restreint de personnes génère la majeure partie des demandes pour créer des images de personnes réelles.
4. Le « Signal d'avertissement » qui n'est pas toujours présent
Civitai a une règle : si vous demandez l'image d'une personne réelle, le système est censé apposer un signal d'avertissement sur la page. Ce signe dit : « Hé, c'est une personne réelle. Nous n'autorisons que les images sûres, et la personne peut nous demander de supprimer cela. »
- L'écart : Les chercheurs ont vérifié si ce signal d'avertissement apparaissait réellement.
- Pour les requêtes « Sûres » (SFW) de personnes réelles, le signe apparaissait 86 % du temps.
- Pour les requêtes « Adultes » (NSFW) de personnes réelles, le signe était absent 42 % du temps.
- La conclusion : Même si la plateforme a une règle, le « signal d'avertissement » est souvent absent précisément quand il est le plus nécessaire — lorsque les requêtes sont pour du contenu explicite.
Résumé
L'article conclut que ce marché a évolué vers un lieu où un petit groupe d'utilisateurs stimule fortement la demande pour du contenu pour adultes et des images de femmes réelles, en utilisant souvent des outils d'IA spéciaux (LoRAs) pour contourner les filtres de sécurité. Bien que la plateforme dispose de règles et de signaux d'avertissement, l'application est incohérente, surtout pour les requêtes les plus sensibles et potentiellement préjudiciables.
Note importante : Les chercheurs n'ont examiné que les requêtes (ce que les gens ont demandé), et non les images finales qui ont été créées, ni les raisons personnelles pour lesquelles ces personnes ont fait ces requêtes. Ils ont simplement cartographié le « menu » de ce qui est commandé dans ce restaurant numérique.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.