The Malicious Technical Ecosystem: Exposing Limitations in Technical Governance of AI-Generated Non-Consensual Intimate Images of Adults

En adoptant une approche centrée sur les survivants, cette étude expose l'écosystème technique malveillant facilitant la création d'images intimes non consensuelles générées par l'IA et démontre l'inefficacité des cadres de gouvernance actuels, tels que le rapport NIST AI 100-4, pour réguler ce phénomène.

L'essentiel

Voici une explication simple et imagée de ce papier de recherche, conçue pour être comprise par tout le monde.

🛑 Le Problème : Une "Usine à Faux" qui tourne en rond

Imaginez que vous avez une maison très sécurisée (les grandes entreprises technologiques comme Google ou Meta). Ces maisons ont des gardes du corps très stricts qui empêchent les gens de créer des images fausses et dangereuses à l'intérieur. C'est bien, mais ce n'est que la moitié de l'histoire.

Ce papier de recherche parle d'un autre endroit : un grand marché noir en plein air, appelé par les auteurs l'"Écosystème Technique Malveillant" (MTE).

• L'analogie : Imaginez que les grandes entreprises sont des usines de jouets très contrôlées. Mais le "marché noir", lui, est une immense foire où n'importe qui peut acheter des plans de construction (des modèles open-source) et des outils simples pour fabriquer ses propres jouets dangereux, même sans être un ingénieur.
• La réalité : Sur ce marché, il existe des centaines d'applications et de logiciels gratuits qui permettent à n'importe qui de prendre la photo d'une personne (une femme, un homme, une célébrité) et de la transformer en image pornographique sans son accord, en quelques minutes. C'est ce qu'on appelle les "deepfakes" ou images intimes non consensuelles.

🕵️‍♀️ Pourquoi les gardes du corps actuels ne fonctionnent pas ?

Les auteurs disent que les règles actuelles pour protéger les gens sont comme des parapluies trop petits pour une tempête. Ils identifient trois erreurs majeures dans la façon dont on essaie de réguler ce marché noir :

1. L'erreur de la "Transparence" (Le panneau "Attention : Faux")

• La croyance actuelle : On pense que si on met un gros panneau "Ceci est un faux" ou un filigrane sur l'image, le problème est résolu. On suppose que si les gens voient que c'est faux, ça ne fait pas de mal.
• La réalité du marché noir : Sur ce marché, les images sont souvent déjà marquées "FAUX" ou "IA". Pourtant, cela ne change rien !
• L'analogie : C'est comme si un voleur mettait un panneau "Je suis un voleur" sur sa voiture. Le panneau est vrai, mais le vol a quand même lieu. Dire "C'est faux" ne protège pas la victime de l'humiliation, de la peur ou de la perte d'emploi. Le simple fait de voir son visage sur une image pornographique, même "moche" ou "fausse", est une violence terrible.

2. L'erreur de confondre "Enfants" et "Adultes"

• La croyance actuelle : Les lois et les outils de sécurité traitent souvent les images d'enfants (CSAM) et les images d'adultes non consensuelles de la même manière.
• La réalité du marché noir : C'est comme essayer de soigner une grippe et une fracture avec le même médicament.
  • Pour les enfants, la loi est claire : c'est illégal. Les bases de données existent pour bloquer tout de suite.
  • Pour les adultes, c'est plus compliqué. Une photo d'une femme adulte n'est pas illégale en soi. Le problème, c'est le non-consentement. Les outils actuels ne savent pas bien faire la différence entre une photo normale et une photo utilisée pour harceler quelqu'un. On essaie de régler un problème de "vol de consentement" avec des outils faits pour le "vol d'enfants".

3. L'erreur de viser les "Géants" plutôt que les "Rats"

• La croyance actuelle : La plupart des règles visent les grandes entreprises (comme les géants de l'IA) qui ont des systèmes complexes où l'utilisateur tape une commande pour créer une image.
• La réalité du marché noir : Le marché noir ne fonctionne pas comme ça. Ici, l'utilisateur ne tape pas de commande. Il télécharge simplement une photo de sa voisine ou de sa collègue, et l'application la transforme.
• L'analogie : C'est comme si la police ne surveillait que les grandes banques (les entreprises) pour empêcher les vols, mais qu'elle laissait passer les cambrioleurs qui volent dans les maisons individuelles (les outils du marché noir). Les règles actuelles sont conçues pour des usines, pas pour des ateliers clandestins où l'outil lui-même est conçu pour faire du mal.

💡 La Conclusion : Il faut changer de lunettes

Les auteurs disent qu'il faut arrêter de penser que le problème vient seulement de "mauvais utilisateurs" qui détournent de bons outils.

• Le vrai problème : L'outil lui-même est malveillant. Il a été créé spécifiquement pour nuire.
• La solution : Il faut une approche centrée sur les victimes. Au lieu de simplement dire "enlevez l'image quand la victime se plaint" (ce qui est trop tard et trop dur pour elle), il faut empêcher la création de ces images dès le départ en régulant ces outils du marché noir, peu importe à quel point ils sont "faux" ou "mal faits".

En résumé : On ne peut pas arrêter la pluie en demandant aux gens de porter des parapluies transparents. Il faut construire un toit solide qui empêche l'eau de tomber, surtout quand l'eau vient d'un tuyau cassé conçu pour inonder les maisons.

Résumé technique

Voici un résumé technique détaillé de l'article « The Malicious Technical Ecosystem: Exposing Limitations in Technical Governance of AI-Generated Non-Consensual Intimate Images of Adults », rédigé en français.

1. Problématique

L'article aborde la prolifération des Images Intimes Non Consensuelles Générées par l'IA (AIG-NCII), souvent appelées « pornographie deepfake ». Bien que des travaux antérieurs aient couvert la prévention des abus sexuels sur mineurs (AIG-CSAM) et la distribution non consensuelle d'images, la création d'AIG-NCII ciblant des adultes reste un défi unique et mal régulé.

Le problème central identifié par les auteurs est l'existence d'un « Écosystème Technique Malveillant » (MTE). Contrairement aux modèles de génération d'images d'entreprise (comme Stable Diffusion) qui sont généralement restreints, le MTE est un réseau décentralisé composé de :

• Des modèles de remplacement de visage à source ouverte (ex: DeepFaceLab, FaceSwap).
• Près de 200 logiciels « nudifying » (dénudants) accessibles aux non-experts.
• Une infrastructure de support (GitHub, forums, services de paiement) facilitant la création d'AIG-NCII en quelques minutes.

Ces outils produisent des images souvent détectables comme « fausses » (watermarkées, de qualité variable), mais qui causent néanmoins des dommages psychologiques, financiers et réputationnels graves, ainsi qu'un effet dissuasif genré (chilling effect) obligeant les victimes à se retirer des espaces numériques.

2. Méthodologie

Les auteurs adoptent une approche centrée sur les survivants et utilisent une analyse sociotechnique pour :

1. Cartographier le MTE : Ils situent cet écosystème dans le pipeline de contenu synthétique (création, distribution, consommation) en s'appuyant sur le cadre de l'NIST AI 100-4 (National Institute of Standards and Technology). Ils détaillent les artefacts techniques spécifiques : jeux de données d'entraînement, modèles indépendants, et outils utilisateurs.
2. Évaluer les gouvernances actuelles : Ils analysent les méthodes de prévention technique actuelles (filtrage des données d'entraînement, filtrage des entrées, filtrage des sorties, hachage, traçage de la provenance) telles que décrites dans le rapport NIST 2024.
3. Identifier les lacunes : Ils confrontent les capacités réelles du MTE (modèles open-source, architectures GAN, absence de prompts textuels) aux hypothèses sous-jacentes des cadres de gouvernance existants.

3. Contributions Clés

L'article apporte trois contributions majeures à la littérature sur la gouvernance de l'IA :

• Définition et caractérisation du MTE : Identification formelle d'un écosystème technique distinct, composé de modèles open-source et d'outils grand public, qui fonctionne en dehors des contrôles des grandes entreprises technologiques.
• Critique de l'approche « Transparence » : Démonstration que les mesures de transparence (étiquetage, filigranes, détection) sont insuffisantes pour le MTE, car les images générées, même visiblement « fausses », continuent de causer des préjudices réels.
• Distinction critique entre CSAM et NCII adultes : Mise en évidence de l'erreur des cadres actuels qui confondent la prévention des abus sur mineurs (où le consentement est impossible par définition) et celle des adultes (où le consentement est la variable clé), rendant les méthodes de filtrage basées sur des bases de données d'images illégales inapplicables aux adultes.

4. Résultats et Limites Identifiées

L'analyse révèle trois limitations fondamentales des pratiques de gouvernance technique actuelles face au MTE :

• Limitation 1 : L'insuffisance de la transparence.
  Les gouvernances actuelles supposent que si un contenu est étiqueté comme « IA » ou « faux », il n'est plus nuisible. Or, le MTE produit des images souvent marquées « FAKE » ou « AI-generated », mais qui causent toujours des traumatismes, du harcèlement et des dommages réputationnels. La détectabilité humaine ne neutralise pas le préjudice.

• Limitation 2 : La confusion entre CSAM et NCII adultes.
  Les méthodes de prévention efficaces pour les mineurs (comme l'utilisation de PhotoDNA pour comparer les images à des bases de données d'images illégales connues) échouent pour les adultes. Il est impossible de créer une base de données de référence pour les images d'adultes non consentantes car le consentement n'est pas intrinsèque à l'image source. Les cadres actuels ne proposent pas de solutions adaptées à cette nuance juridique et technique.

• Limitation 3 : Le biais vers les modèles corporatifs.
  Les mesures de gouvernance (filtrage par mots-clés, « red-teaming » par prompts adverses) sont conçues pour des modèles de génération d'images basés sur des prompts textuels (type Stable Diffusion). Elles sont inapplicables au MTE, où l'entrée utilisateur est une simple photo à « dénuder » et où la technologie elle-même est conçue malveillamment pour un seul but, sans mécanisme de contrôle interne.

5. Signification et Perspectives

Cet article souligne que la gouvernance technique de l'IA doit évoluer pour reconnaître que :

1. Le contenu « faux » est toujours nuisible. La qualité photoréaliste n'est pas un prérequis pour que l'abus existe.
2. La technologie elle-même peut être malveillante. Contrairement à l'hypothèse selon laquelle seuls les utilisateurs sont malveillants, le MTE démontre que l'outil technique est intrinsèquement conçu pour l'abus.
3. Nécessité d'une prévention centrée sur le survivant. Les mesures actuelles de « réponse » (retrait de contenu) placent le fardeau sur les victimes. Une gouvernance efficace doit cibler la création au niveau du MTE, en développant des cadres qui ne se limitent pas aux grandes entreprises, mais qui régulent l'écosystème décentralisé des modèles open-source et des outils de création.

En conclusion, les auteurs appellent la communauté de recherche à repenser les cadres de gouvernance pour qu'ils soient capables de réguler non seulement les modèles corporatifs, mais aussi l'infrastructure technique décentralisée qui alimente la production massive d'AIG-NCII.