Résumé Technique : TrajPrint – Protection du droit d'auteur sans perte via l'empreinte intrinsèque des modèles

Problématique

Les modèles de diffusion sont devenus une propriété intellectuelle de grande valeur en raison des ressources computationnelles et des données considérables nécessaires à leur entraînement. Cependant, la nature open-source des poids des modèles et la prolifération des techniques de distillation les rendent susceptibles de réplication et de détournement non autorisés. Les stratégies de protection du droit d'auteur existantes font face à des compromis importants :

• Intervention lors de l'inférence : Les méthodes qui injectent des signaux dans la boucle de débruitage (ex: Tree-Ring, Gaussian Shading) perturbent souvent les trajectoires de diffusion naturelles, introduisant des artefacts et limitant la diversité de la génération.
• Fine-tuning du modèle : Les approches qui modifient les paramètres du modèle pour y intégrer des tatouages numériques (ex: Stable Signature, SleeperMark) augmentent les coûts d'entraînement et s'écartent de la distribution optimale pré-entraînée, dégradant ainsi la performance de génération.
• Incompatibilité avec les boîtes noires : De nombreuses méthodes d'empreinte existantes nécessitent une intervention fine dans les étapes intermédiaires de débruitage, ce qui les rend incompatibles avec les API de type « boîte noire » où seules les interactions atomiques (entrée-sortie) sont accessibles.

De plus, les méthodes actuelles manquent souvent de critères statistiques rigoureux, échouant à fournir des preuves quantifiables pour une vérification fiable.

Méthodologie : TrajPrint

Les auteurs proposent TrajPrint, un cadre totalement sans perte et sans entraînement qui vérifie le droit d'auteur d'un modèle en extrayant des empreintes de variété (manifold) uniques formées lors d'une génération déterministe. L'idée centrale est que le processus génératif déterministe d'un modèle de diffusion constitue une application de variété de haute dimension unique, servant d'identité intrinsèque.

Le cadre opère en deux phases principales :

1. Génération du bruit d'empreinte

L'objectif est de construire un bruit d'empreinte spécifique $z^*$ qui agit comme un déclencheur unique pour le modèle cible $G_\theta$.

• Ancre tatouée : Une image porteuse est dotée d'un message de copyright binaire discret pour créer une « ancre tatouée » ($I_w$).
• Inversion de trajectoire : En utilisant l'inversion DDIM déterministe, l'ancre est projetée en arrière vers son origine de bruit latent ($x_T$). Cette étape verrouille le comportement génératif intrinsèque du modèle en traçant le chemin du domaine de l'image vers le domaine du bruit.
• Optimisation conjointe : Pour atténuer les erreurs de discrétisation issues de l'inversion et renforcer la spécificité, une stratégie d'optimisation conjointe synthétise le bruit d'empreinte final $z^*$. Elle utilise un ancrage à double extrémité :
  • Alignement de la variété perceptuelle (Extrémité de sortie) : Une perte de reconstruction ($L_{rec}$) impose la cohérence sémantique, garantissant que l'image générée s'aligne avec l'ancre tatouée $I_w$. Cela contraint l'optimisation à découvrir un bruit qui s'aligne avec la trajectoire de débruitage unique du modèle cible.
  • Régularisation de la trajectoire latente (Extrémité d'entrée) : Une perte de régularisation ($L_{reg}$) contraint le bruit optimisé $z^*$ à rester dans le voisinage local de l'origine de la trajectoire $x_T$. Cela empêche la génération de perturbations adverses universelles qui pourraient se transférer sur d'autres modèles.
  • Récupération du tatouage : Une perte de récupération du tatouage ($L_w$) guide l'optimisation pour garantir que le message intégré peut être extrait avec succès.

La fonction de perte totale est une somme pondérée de ces objectifs, optimisée exclusivement sur l'entrée latente $z$ tout en maintenant les paramètres du modèle gelés.

2. Vérification

Lors de la phase de vérification, le défenseur interroge un modèle suspect de type boîte noire avec le bruit d'empreinte optimisé $z^*$.

• Inférence atomique : Le processus ne nécessite que des interactions standard entrée-sortie, ce qui le rend compatible avec les API encapsulées.
• Test statistique : Le message du tatouage extrait est comparé à l'original. La précision binaire (BA) est calculée, et un test t pour un échantillon est effectué par rapport à l'hypothèse nulle (hasard pur, $\mu=0.5$). Une valeur p statistiquement significative fournit une preuve crédible de contrefaçon.

Contributions clés

1. Vérification sans perte et sans entraînement : TrajPrint extrait les empreintes intrinsèques des modèles sans modifier les poids ou l'architecture du modèle, garantissant une dégradation nulle de la qualité de génération.
2. Compatibilité avec les boîtes noires : En s'appuyant sur l'inférence atomique et l'inversion de trajectoire déterministe, la méthode fonctionne dans des scénarios où les états intermédiaires sont inaccessibles, contrairement aux techniques d'empreinte précédentes.
3. Empreinte spécifique à la variété : La méthode projette la variété générative unique vers un bruit d'empreinte spécifique via le retracement de trajectoire, construisant une paire déclencheur-vérification qui empêche les faux positifs sur les modèles non ciblés.
4. Rigueur statistique : Le cadre introduit un protocole de test d'hypothèse statistique pour fournir des preuves quantifiables et juridiquement robustes de violation de copyright.

Résultats expérimentaux

Des expériences approfondies ont été menées sur divers modèles de diffusion latente (Stable Diffusion v1.5, v2.1, XL, DeciDiffusion, et Pixart-$\alpha$) et divers scénarios d'attaque.

• Spécificité : TrajPrint a atteint une précision binaire (BA) supérieure à 0,96 sur les modèles cibles avec des valeurs p $< 10^{-3}$. Lors de la vérification croisée entre modèles, la précision est tombée à environ 0,55 (hasard pur), démontrant un manque de transférabilité et évitant efficacement les fausses accusations. En revanche, les modèles de base utilisant l'optimisation de bruit aléatoire ont montré une forte transférabilité entre modèles (BA ~0,7), entraînant des faux positifs.
• Robustesse : La méthode a démontré une résilience exceptionnelle face à :
  • Fine-tuning des paramètres : Maintient une BA élevée (> 0,91) même après un fine-tuning LoRA et DreamBooth (jusqu'à 5000 étapes).
  • Quantification : Performance robuste sous précision FP16 et BFloat16 (BA > 0, 95).
  • Élagage (Pruning) : Résiste à l'élagage de magnitude non structuré jusqu'à 10 % de parcimonie (BA > 0, 8).
• Études d'ablation : La suppression des contraintes d'ancrage à double extrémité a provoqué une hausse de la précision croisée entre modèles (~0,7), confirmant la nécessité de l'ancrage de trajectoire pour la spécificité. La méthode est restée stable à travers différents échantillonneurs déterministes et étapes d'échantillonnage (20–100) et supporte des charges utiles de tatouage allant jusqu'à 128 bits.

Signification et limites

L'article affirme que TrajPrint offre une solution pratique pour la vérification du droit d'auteur dans des environnements réels où les propriétaires de modèles n'ont pas accès aux paramètres internes ou ne peuvent pas modifier les poids du modèle. Sa capacité à fonctionner via l'inférence atomique la rend particulièrement adaptée à la vérification de modèles déployés en tant qu'API de boîte noire.

Limites :
Les auteurs notent une contrainte spécifique : l'environnement cible doit supporter l'injection de bruit initial personnalisé (par exemple, via des interfaces comme ComfyUI ou Stable Diffusion WebUI). Par conséquent, la méthode peut ne pas être applicable aux scénarios d'API qui n'acceptent pas le bruit initial comme un paramètre d'entrée direct.