TokenTrace: Multi-Concept Attribution through Watermarked Token Recovery

TokenTrace est un nouveau cadre de filigrane proactif qui permet l'attribution robuste de multiples concepts (tels que des objets et des styles artistiques) dans des images générées par IA en injectant des signatures secrètes dans les embeddings de prompts et le bruit latent, tout en utilisant un module de requête pour isoler et vérifier chaque concept individuellement.

L'essentiel

Imaginez que vous êtes un artiste et que vous créez une œuvre magnifique. Aujourd'hui, l'intelligence artificielle (IA) peut copier votre style unique ou même recréer un objet spécifique que vous avez inventé, sans jamais vous créditer. C'est comme si quelqu'un prenait votre signature, la peignait sur un tableau qu'il a lui-même créé, et disait : « C'est moi qui ai fait ça ! ».

C'est là qu'intervient TokenTrace, une nouvelle invention qui agit comme un système de sécurité invisible et intelligent pour protéger les droits des créateurs.

Voici comment cela fonctionne, expliqué simplement avec des analogies :

1. Le Problème : Le Mélange des Cartes

Les anciennes méthodes de protection (filigranes) ressemblaient à des étiquettes collées sur la surface d'un objet. Si vous coupiez l'objet, changiez sa taille ou le compressiez, l'étiquette tombait. De plus, si vous aviez un tableau avec deux choses dessus (par exemple, un chat dessiné dans le style de Van Gogh), les anciennes méthodes ne pouvaient pas dire : « Le filigrane appartient au chat » ou « Le filigrane appartient au style ». Tout était mélangé en un seul gros bloc.

2. La Solution de TokenTrace : L'ADN Invisible

TokenTrace change la donne en ne collant pas l'étiquette sur le tableau, mais en modifiant la recette même utilisée pour le peindre.

Imaginez que l'IA est un chef cuisinier qui prépare un plat complexe.

• L'ancienne méthode : Le chef pose une étiquette sur l'assiette finale. Si on lave l'assiette, l'étiquette disparaît.
• TokenTrace : Le chef modifie subtilement deux choses avant de commencer à cuisiner :
  1. La liste des courses (le texte) : Il ajoute un mot de passe secret dans la description du plat.
  2. La première goutte d'eau (le bruit initial) : Il modifie légèrement l'ingrédient de base qui sert à démarrer la cuisson.

En modifiant ces deux éléments dès le départ, la « signature » du créateur est tissée dans la structure même du plat (l'image). Elle devient indélébile, même si on coupe le plat en deux ou si on le réchauffe.

3. La Magie : La Question Qui Déverrouille

C'est ici que TokenTrace devient vraiment génial pour les images complexes (comme le chat de Van Gogh).

Imaginez que vous avez un coffre-fort rempli de plusieurs clés différentes (une pour le chat, une pour le style, une pour la couleur). Les anciennes méthodes essayaient de trouver toutes les clés en même temps, ce qui créait du chaos.

TokenTrace utilise une question magique (un « prompt » de recherche).

• Si vous demandez à l'IA : « Montre-moi la clé du chat », le système va ignorer le reste et ne chercher que la signature liée au chat.
• Si vous demandez : « Montre-moi la clé du style Van Gogh », il va isoler cette signature spécifique.

C'est comme si vous aviez un détective privé qui, au lieu de fouiller toute la maison au hasard, vous demandait : « De quoi voulez-vous la preuve ? » et qui trouvait instantanément la preuve exacte pour cette question précise, sans se tromper.

4. Pourquoi c'est formidable ?

• Indétectable : L'image reste parfaite. Vous ne voyez aucun changement, c'est comme si rien n'avait été ajouté.
• Robuste : Même si l'image est compressée, recadrée ou tournée, la signature reste cachée à l'intérieur de la « recette » de l'image.
• Précis : Il peut distinguer plusieurs idées dans une seule image. Il peut dire : « Oui, ce chat est bien de l'artiste A, et ce style est bien de l'artiste B », même si les deux sont mélangés sur la même toile.

En résumé : TokenTrace est comme un code-barres invisible qui est non seulement imprimé dans l'image, mais qui est aussi lié à chaque mot de la description. Grâce à une petite question précise, on peut révéler qui a créé chaque partie de l'œuvre, protégeant ainsi les artistes contre le vol de leur style et de leurs idées.

Résumé technique

1. Problématique

L'essor des modèles de génération d'images par IA (comme les architectures de diffusion) soulève des défis majeurs en matière de propriété intellectuelle (PI). Ces modèles peuvent reproduire des styles artistiques uniques et des concepts spécifiques sans attribution, exposant les créateurs à des risques de contrefaçon.

Bien que le tatouage numérique (watermarking) offre une solution potentielle, les méthodes existantes présentent des limites critiques :

• Fragilité : Les méthodes basées sur l'espace pixel sont souvent détruites par des transformations courantes (compression, recadrage).
• Incapacité à gérer la composition : Les méthodes actives (proactives) les plus récentes, bien que plus robustes, échouent dans les scénarios complexes où plusieurs concepts (par exemple, un objet spécifique et un style artistique) sont combinés dans une seule image. Elles ne peuvent pas dissocier (désentrelacer) et attribuer individuellement chaque concept, car elles insèrent un seul tatouage global qui se superpose spatialement.

2. Méthodologie : TokenTrace

TokenTrace est un cadre de tatouage proactif conçu pour une attribution robuste et multi-concept. Son approche repose sur l'hypothèse qu'un tatouage gagne en robustesse et en spécificité s'il est directement associé aux sémantiques textuelles du concept qu'il représente, plutôt qu'à l'espace pixel.

Le système fonctionne en deux étapes principales :

A. Encodage du Concept (Phase de Génération)

TokenTrace utilise une stratégie de double conditionnement pour intégrer le tatouage profondément dans le processus de génération :

1. Perturbation de l'embedding textuel : Un encodeur de concept ($f_{enc}$) prend un secret binaire ($S$) et l'embedding du token de concept cible ($e_c$) pour générer une perturbation. Cette perturbation est ajoutée uniquement au token cible dans l'embedding du prompt.
2. Perturbation du bruit latent : Un mappeur de secret ($f_{map}$) génère un motif de bruit structuré à partir du secret $S$, qui est ajouté au bruit initial ($z_T$) du modèle de diffusion.
3. Génération : Le modèle de diffusion est conditionné à la fois par le prompt modifié et le bruit initial modifié pour produire l'image tatouée ($I_{wm}$). Cela intègre le tatouage à la fois dans le domaine sémantique et le domaine latent, évitant ainsi les problèmes de chevauchement spatial.

B. Décodage et Récupération (Phase d'Attribution)

Pour récupérer le tatouage, TokenTrace introduit un module basé sur une requête textuelle :

• Entrées : L'image générée et un prompt de requête spécifique (ex: "une photo de ") indiquant quel concept vérifier.
• Module TokenTrace : Ce module utilise des encodeurs CLIP figés (image et texte) pour extraire des caractéristiques. Ces caractéristiques sont fusionnées via des couches d'attention et de projection entraînables pour prédire l'embedding du concept ($\tilde{e}_c$).
• Décodage du secret : Un décodeur linéaire transforme l'embedding prédit en un bit-secret ($\tilde{S}$).
• Avantage clé : En exigeant une requête textuelle, le système peut isoler et vérifier indépendamment chaque concept au sein d'une image composite, résolvant le problème de l'attribution multi-concept.

C. Fonction de Perte (Training Objective)

L'entraînement optimise conjointement l'encodage et le décodage via une fonction de perte composite ($L_{total}$) qui équilibre :

• La précision de récupération du secret (Cross-Entropy).
• La fidélité visuelle (Perte L2 et perte de descripteur de style CSD).
• La régularisation de l'embedding du concept.

3. Contributions Clés

1. Framework TokenTrace : Une nouvelle méthode qui lie intrinsèquement le tatouage à la sémantique du concept via un double conditionnement (texte + bruit latent).
2. Module de récupération par requête : Un mécanisme innovant capable de dissocier et d'attribuer indépendamment plusieurs concepts superposés (objets et styles) à partir d'une seule image.
3. Performance supérieure : Des résultats expérimentaux démontrant une supériorité significative par rapport aux méthodes de l'état de l'art (ProMark, CustomMark) tout en maintenant une haute fidélité visuelle.

4. Résultats Expérimentaux

Les expériences ont été menées sur des datasets variés (WikiArt pour les styles, ImageNet pour les objets, et des benchmarks personnalisés pour les concepts multiples).

• Attribution Mono-concept :
  • TokenTrace atteint une précision d'attribution de 91,67 % sur WikiArt et 90,43 % sur ImageNet.
  • Il surpasse nettement les méthodes passives (ex: CLIP à ~52 %) et les méthodes proactives existantes (ProMark ~87 %, CustomMark ~89 %).
• Attribution Multi-concept :
  • Dans des scénarios combinant un objet et un style, TokenTrace atteint 88,62 % de précision, surpassant CustomMark (85,14 %).
  • Avec une version améliorée (TokenTraceP utilisant un pondération de prompt), la précision monte à 90,53 %.
  • Le système réussit à récupérer les secrets distincts de 4 concepts différents dans une même image avec une grande fiabilité.
• Robustesse et Qualité :
  • Robustesse : Le système maintient une précision >87 % même après compression JPEG, rotation, recadrage et attaques adversaires.
  • Fidélité Visuelle : Les images tatouées sont visuellement indiscernables des originales (scores CLIP et CSD élevés, FID faible comparé aux méthodes pixel-based).
  • Apprentissage Séquentiel : Le modèle peut apprendre de nouveaux concepts sans réentraînement complet, évitant l'oubli catastrophique.

5. Signification et Impact

TokenTrace comble une lacune majeure dans la protection de la propriété intellectuelle générée par l'IA. En passant d'un tatouage global à un tatouage sémantique et conditionné par la requête, la méthode permet pour la première fois une attribution fiable et granulaire dans des images complexes composées de multiples concepts.

Cela ouvre la voie à des systèmes de traçabilité de provenance plus justes pour les artistes, permettant de vérifier non seulement qui a généré une image, mais quels concepts spécifiques (styles, objets) ont été utilisés, même après des transformations agressives de l'image. La nature proactive et robuste de TokenTrace en fait une solution pratique et évoluable pour l'industrie créative.