🤖 AI

CSF: Black-box Fingerprinting via Compositional Semantics for Text-to-Image Models

Ce papier présente CSF, la première méthode en boîte noire permettant d'attribuer des modèles de génération d'images textuelles à des lignées protégées en utilisant uniquement un accès par requête, en exploitant des prompts compositionnels sous-spécifiés pour créer une asymétrie stratégique entre propriétaires de droits et attaquants.

Auteurs originaux : Junhoo Lee, Mijin Koo, Nojun Kwak

Publié 2026-04-21

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Junhoo Lee, Mijin Koo, Nojun Kwak

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que les modèles de génération d'images (comme Midjourney ou Stable Diffusion) sont de grands chefs cuisiniers très talentueux. Chaque chef a sa propre "recette de base" secrète. Le problème, c'est que des gens peuvent prendre la recette d'un chef célèbre, y ajouter un peu de piment (ce qu'on appelle le fine-tuning ou l'ajustement), et vendre le plat sous leur propre nom, sans que personne ne sache d'où vient la base.

Les méthodes actuelles pour attraper ces copieurs sont soit trop compliquées (il faut avoir accès aux ingrédients secrets du chef), soit inefficaces (elles laissent des traces visibles que le copieur peut facilement effacer).

Les auteurs de ce papier, Junhoo Lee et son équipe, ont inventé une nouvelle méthode appelée CSF (Fingerprinting Sémantique Compositionnel). Voici comment ça marche, expliqué simplement :

1. Le Problème : Le Déguisement du Chef

Si vous demandez à un chef de faire "un plat", il va utiliser ses propres ingrédients. Mais si vous demandez "un plat avec des tomates et des pâtes", le résultat ressemble beaucoup à ce que n'importe quel chef ferait. C'est difficile de savoir qui a vraiment cuisiné le plat juste en regardant l'assiette, surtout si le copieur a changé la présentation (le style).

2. La Solution : Le "Test de Goût" Impossible à Contrefaire

Au lieu de regarder l'image finale (la présentation), CSF pose une question très étrange et très précise au modèle, comme un test de dégustation.

Imaginez que vous demandez au chef :

"Fais-moi un plat avec un animal dangereux, dans un studio sombre, qui a l'air sauvage."

C'est une combinaison très spécifique et rare.

Le secret : Dans la cuisine de base du chef original, il y a une "intuition" cachée sur ce que signifie "dangerous" + "dark studio". C'est comme une empreinte digitale invisible dans son cerveau.
L'astuce : Même si le copieur a modifié le chef pour qu'il fasse des dessins animés ou des photos réalistes, il n'a pas pu effacer cette intuition profonde sur des combinaisons de mots très rares. Le copieur ne peut pas deviner toutes les combinaisons de mots bizarres que vous allez lui demander.

3. L'Analogie du "Jeu de l'Ombre"

Pensez à cela comme un jeu d'ombres :

L'attaquant (le copieur) doit essayer de masquer son identité. Il doit deviner toutes les questions bizarres que vous pourriez poser et s'assurer que son chef ne trahit pas son origine. C'est comme essayer de cacher son odeur en changeant de parfum, mais vous pouvez inventer des odeurs nouvelles à l'infini.
Le défenseur (le propriétaire) a l'avantage. Il peut inventer une nouvelle combinaison de mots bizarre à chaque fois (ex: "un oiseau sans ailes sur un tapis vert"). Le modèle va réagir selon sa "mémoire" originale, trahissant ainsi son vrai chef.

4. Comment ça marche techniquement (sans les maths)

La Question : On envoie 42 questions très précises et un peu absurdes au modèle suspect (ex: "une fleur tropicale dans un vase").
La Réaction : Le modèle génère des images. On ne regarde pas si l'image est belle, mais on demande à un autre robot (un classificateur) : "De quelle catégorie est cette image ? Est-ce un chat ? Un chien ? Un loup ?"
L'Empreinte : On regarde la répartition des réponses. Le modèle original aura toujours une préférence statistique pour certaines réponses, même si l'image change de style.
La Comparaison : On compare cette "répartition des réponses" avec celle des modèles originaux connus. Si ça correspond, c'est prouvé : ce modèle vient de cette famille.

5. Pourquoi c'est révolutionnaire ?

Boîte Noire : Vous n'avez besoin d'aucun accès interne au modèle. Vous pouvez juste utiliser l'API (le site web) comme n'importe quel utilisateur.
Résistant : Même si le modèle a été énormément modifié (entraîné sur des données différentes, compressé, ou fusionné avec un autre), cette "mémoire sémantique" reste intacte.
Statistique : Ce n'est pas un "oui/non" magique, mais une preuve mathématique solide. C'est comme dire : "Il y a 95 % de chances que ce plat vienne de la cuisine du Chef X, et pas d'une autre."

En résumé

CSF, c'est comme demander à un suspect de dessiner un objet très spécifique dans un contexte bizarre. Même s'il essaie de copier le style d'un autre artiste, sa façon naturelle de dessiner cet objet précis trahira son véritable maître. C'est une arme puissante pour protéger la propriété intellectuelle dans le monde de l'IA générative.

1. Problématique et Contexte

Les modèles de génération d'images par texte (Text-to-Image ou T2I) sont devenus des actifs commerciaux majeurs, souvent distribués sous des licences restrictives (interdiction de l'usage commercial, usage recherche uniquement, etc.). Cependant, la protection de la propriété intellectuelle (PI) de ces modèles est difficile à mettre en œuvre lorsque les violations se produisent via des API commerciales.

Le défi principal :

Limites des méthodes existantes :
- Filigranes (Watermarking) : Nécessitent un accès pré-déploiement pour injecter un signal dans le modèle. Ils peuvent dégrader la qualité et sont vulnérables au retrait une fois découverts.
- Empreintes digitales (Fingerprinting) traditionnelles : Reposent souvent sur un accès "boîte blanche" (poids du modèle, activations internes) ou "boîte grise", ce qui est impossible dans le cas d'une API commerciale où seul le couple (prompt, image générée) est accessible.
Le scénario cible : Un attaquant affine (fine-tune) un modèle protégé et le distribue exclusivement via une API. Le défenseur n'a accès qu'à l'interface de requête (boîte noire stricte) et doit déterminer si le modèle suspect appartient à une lignée (lineage) spécifique sans accès aux poids internes.

2. Méthodologie : CSF (Compositional Semantic Fingerprinting)

L'article propose CSF, la première méthode d'empreinte digitale en boîte noire stricte qui attribue un modèle suspect à sa lignée d'origine en utilisant uniquement des requêtes texte-vers-image.

A. Concept Central : La Sémantique Compositionnelle

Contrairement aux approches qui analysent les artefacts visuels (pixels) ou les biais de surface, CSF traite les modèles T2I comme des générateurs de catégories sémantiques.

Principe de rareté : L'idée est d'utiliser des prompts "sous-spécifiés" mais compositionnellement rares. Un prompt simple comme "un animal" est trop fréquent dans les données d'entraînement pour résister au fine-tuning. En revanche, une combinaison spécifique comme "un animal dangereux dans un studio tamisé" est statistiquement rare dans les données de fine-tuning.
Robustesse : Selon le principe des filtres de porte (backdoor), les comportements du modèle sur des conditions rares (absentes des données de fine-tuning) ne sont pas mis à jour lors de l'adaptation. Ainsi, les biais sémantiques inhérents au modèle de base (base model) persistent même après un fine-tuning agressif.

B. Protocole d'Expérimentation

Génération de Prompts : Le système utilise 42 prompts compositionnels structurés selon le modèle : [Adjectif] + [Catégorie Superordonnée] + [Contexte].
- Exemple : "Une photo d'un animal dangereux dans un studio tamisé".
- Les catégories couvrent : Nourriture (boulangerie), Animaux, Fleurs, Oiseaux, Fruits.
- Les contextes varient : Studio, sol en bois, mur de briques, pot, vase, etc.
Échantillonnage : Pour chaque prompt, le modèle suspect génère $N=30$ images avec différentes graines aléatoires.
Classification Zéro-shot : Chaque image est classée via CLIP (Vision-Language Model) pour obtenir une distribution de probabilité sur des sous-catégories sémantiques (ex: pour "animal", les catégories sont lion, tigre, loup, etc.).
Fingerprinting : Le "fingerprint" du modèle est la distribution empirique de ces catégories sur les 30 échantillons.

C. Cadre d'Inférence Bayésienne

Pour attribuer le modèle suspect à une lignée parmi $K$ candidats (ex: Flux, SD1.5, SDXL, etc.) :

Métrique de Distance : Utilisation de la distance de Wasserstein (W2) pour comparer les distributions de catégories entre le modèle suspect et les modèles de référence. Cette métrique capture la structure géométrique de l'espace des probabilités mieux que la divergence JS.
Agrégation : Les résultats sur les 42 prompts sont agrégés via un modèle bayésien (prior Beta) pour calculer une probabilité d'attribution et un intervalle de confiance à 95%.
Critères de Décision :
- Test de Significativité : L'attribution est meilleure que le hasard ( $>1/K$ ).
- Test de Dominance : Le modèle candidat est plus probable que tous les autres combinés ( $>50\%$ ).

3. Contributions Clés

Première méthode en boîte noire stricte : CSF fonctionne uniquement avec l'accès API (requêtes texte, images de sortie), sans aucun accès aux poids, gradients ou activations internes.
Inversion de l'asymétrie : Contrairement aux filigranes où l'attaquant peut supprimer un signal connu, CSF exploite l'explosion combinatoire des prompts. Un défenseur peut générer une infinité de nouvelles combinaisons rares après le déploiement, rendant la défense de l'attaquant (suppression de tous les prompts possibles) intractable.
Indépendance du style : En se concentrant sur la distribution sémantique plutôt que sur le style visuel (anime vs photoréaliste), la méthode résiste aux changements drastiques de style induits par le fine-tuning.
Approche sans entraînement (Train-free) : Aucune collecte de données ou entraînement de modèle supplémentaire n'est requis pour le défenseur.

4. Résultats Expérimentaux

Les auteurs ont évalué CSF sur 6 familles de modèles de base (Flux, Kandinsky, SD1.5, SD2.1, SD3, SDXL) et 13 variantes affinées (LoRA, DPO, fusion de modèles, distillation, remplacement de VAE).

Performance d'Attribution :
- Tous les modèles affinés ont satisfait le critère de dominance (probabilité > 50% avec un intervalle de confiance strict).
- L'attribution correcte a été confirmée même pour des cas extrêmes comme la distillation (SDXL-Lightning, Flux-Turbo) ou la fusion de modèles (SD3-Reality-Mix).
- Comparé aux méthodes basées sur des prompts naïfs (LAION-2B), CSF a montré une précision nettement supérieure (71% de précision humaine vs 18% pour les prompts naïfs dans une étude utilisateur).
Robustesse aux Attaques :
- La méthode résiste à l'effacement de concepts (concept erasure) car elle ne repose pas sur un concept unique, mais sur des capacités sémantiques larges.
- Elle fonctionne même lorsque le fine-tuning a complètement réécrit les biais sémantiques pour des préférences humaines (DPO).
Coût : L'approche est économiquement viable, coûtant environ 50 $ par modèle à tester via des API commerciales (42 prompts × 30 images).

5. Signification et Impact

Ce travail représente une avancée majeure pour la protection de la propriété intellectuelle dans l'ère des modèles génératifs distribués via API.

Preuve Juridique Potentielle : CSF fournit une preuve statistique rigoureuse et contrôlée (intervalles de confiance) permettant de relier un modèle commercial suspect à son propriétaire original, même sans accès technique aux poids du modèle.
Évolutivité : La méthode est applicable à n'importe quel modèle T2I, quel que soit son architecture (U-Net, DiT, Transformer), car elle opère au niveau sémantique.
Défense Active : Elle offre aux détenteurs de droits une capacité proactive : ils peuvent constamment générer de nouveaux "tests" (prompts) pour auditer le marché, créant une barrière dynamique contre la contrefaçon.

En résumé, CSF déplace le problème de la détection d'empreintes digitales du domaine visuel (vulnérable au fine-tuning) vers le domaine sémantique (robuste grâce à la rareté compositionnelle), offrant une solution pratique et robuste pour l'ère des API génératives.