🤖 machine learning

Cert-LAS: Toward Certified Model Ownership Verification for Text-to-Image Diffusion Models via Layer-Adaptive Smoothing

Ce papier présente Cert-LAS, la première méthode certifiée de vérification de la propriété des modèles pour les modèles de diffusion texte-à-image qui utilise un lissage adaptatif aux couches pour garantir une détection fiable du filigrane même sous des attaques malveillantes de suppression.

Auteurs originaux : Leyi Qi, Yiming Li, Siyuan Liang, Zhengzhong Tu, Dacheng Tao

Publié 2026-05-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Leyi Qi, Yiming Li, Siyuan Liang, Zhengzhong Tu, Dacheng Tao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un artiste ayant passé des années et une fortune à entraîner un robot magique pour peindre des tableaux selon votre style spécifique. Vous appelez ce robot un « Modèle de Diffusion Texte-vers-Image ». Maintenant, imaginez que quelqu'un vole votre robot, le modifie légèrement et prétend qu'il lui appartient. Comment prouvez-vous qu'il vous appartient réellement ?

C'est le problème que l'article Cert-LAS tente de résoudre.

Le Problème : La « Poignée de Main Secrète » Fragile

Actuellement, beaucoup tentent de protéger leurs modèles d'IA en utilisant une méthode de « porte dérobée ». Pensez-y comme à une poignée de main secrète. Vous entraînez votre robot de sorte que si vous lui chuchotez une phrase spécifique et étrange (un « déclencheur »), il produit une image avec une marque cachée. Si quelqu'un d'autre possède votre robot, vous chuchotez la phrase, et si la marque apparaît, vous savez que vous en êtes le propriétaire.

L'article soutient que cette ancienne méthode présente deux défauts majeurs :

C'est trop évident : La phrase étrange ou la marque cachée agit comme un néon criant « Je suis un secret ! » Un voleur peut facilement la repérer et l'éliminer.
C'est trop fragile : Si le voleur heurte accidentellement le robot (changements aléatoires) ou tente intentionnellement de briser la poignée de main secrète (attaques adverses), la marque disparaît, et vous ne pouvez plus prouver votre propriété.

Les auteurs affirment que les méthodes existantes supposent que le voleur jouera selon les règles et ne touchera pas au cerveau du robot. Mais dans le monde réel, les voleurs essaieront de briser le sceau.

La Solution : Cert-LAS (Le Bouclier « Adaptatif aux Couches »)

Les auteurs proposent une nouvelle méthode appelée Cert-LAS. Au lieu d'une poignée de main secrète fragile, ils construisent un bouclier « certifié », mathématiquement prouvé pour résister aux attaques.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le « Bruit Adaptatif aux Couches » (La Couverture Personnalisée)

Imaginez que votre robot d'IA est un gâteau à plusieurs étages. Certaines couches sont le « glaçage » (très sensibles aux changements), et d'autres sont la « génoise » (très robustes).

Les anciennes méthodes traitaient tout le gâteau de la même manière, en le secouant uniformément.
Cert-LAS est intelligent. Il vérifie d'abord quelles couches du gâteau sont « vacillantes » (sensibles au réglage fin). Il enveloppe ensuite ces couches vacillantes dans des couvertures de protection extra-épaisses (bruit), tout en laissant les couches robustes avec des couvertures plus fines.
Pourquoi ? En concentrant la protection sur les points faibles, l'ensemble du gâteau devient beaucoup plus difficile à briser. C'est ce qu'on appelle le Lissage Adaptatif aux Couches.

2. Le Filigrane « Sans Déclencheur » (L'Encre Invisible)

Au lieu d'utiliser une phrase secrète étrange (un déclencheur) que les voleurs peuvent trouver, Cert-LAS utilise une astuce appelée Classifieur de Diffusion.

Imaginez que vous entraînez votre robot à peindre un Chat.
Normalement, le robot peint un chat.
Avec Cert-LAS, vous entraînez le robot de sorte que lorsque vous demandez un « Chat », il peint secrètement une image qui ressemble à un chat mais qui est mathématiquement « classée » par votre décodeur secret comme un Chien.
La Magie : Pour le voleur, l'image ressemble à un chat parfait. Il n'y a ni mots étranges ni pixels cachés. Mais lorsque vous la passez dans votre décodeur secret, elle crie « CHIEN ! », prouvant que le modèle vous appartient. Comme il n'y a pas de « déclencheur » à trouver, le voleur ne peut pas l'auditer et l'éliminer.

3. La Garantie « Certifiée » (La Promesse Mathématique)

La partie la plus importante est le mot Certifié.

Les auteurs n'ont pas simplement testé cela en espérant que cela fonctionne. Ils ont utilisé des mathématiques lourdes pour prouver un « rayon de sécurité ».
Ils ont prouvé que tant que le voleur ne modifie pas le cerveau du robot au-delà d'une certaine quantité (une limite mathématique spécifique), votre signal secret « Chat-comme-Chien » ne peut pas être supprimé.
C'est comme dire : « Je peux garantir mathématiquement que si vous essayez de briser mon cadenas avec un marteau pesant moins de 5 livres, le cadenas ne s'ouvrira pas. »

Comment Ils L'Ont Testé

Les chercheurs ont testé Cert-LAS contre :

Des dommages accidentels : Comme le réglage fin du modèle sur de nouvelles données (par exemple, lui apprendre à dessiner des bandes dessinées).
Des attaques intentionnelles : Des voleurs tentant spécifiquement d'effacer le filigrane en utilisant des techniques de piratage avancées.

Les Résultats :

Anciennes méthodes : Le filigrane disparaissait rapidement lorsque le modèle était modifié ou attaqué.
Cert-LAS : Le filigrane a survécu à presque tout. Même lorsque le modèle était fortement modifié, le signal « Chat-comme-Chien » restait suffisamment fort pour prouver la propriété.
Qualité : Les images générées par le modèle filigrané restaient excellentes ; le filigrane n'a pas gâché l'art.

Résumé

Cert-LAS est une nouvelle façon de protéger les générateurs d'art par IA. Au lieu d'utiliser un code secret fragile et facile à repérer, il utilise un bouclier intelligent, mathématiquement prouvé, qui cache le signal de propriété à l'intérieur du comportement naturel du modèle. Il garantit que, sauf si un voleur détruit complètement la capacité du modèle à fonctionner, il ne peut pas supprimer la preuve que le modèle appartient au créateur original.

Résumé Technique : Cert-LAS

Énoncé du Problème

Les modèles de diffusion texte-vers-image (T2I) à grande échelle représentent des actifs de propriété intellectuelle significatifs, pourtant ils sont vulnérables à la copie non autorisée, à la redistribution et à la mauvaise utilisation. La Vérification de la Propriété du Modèle (MOV) est cruciale pour protéger ces actifs. Les méthodes MOV existantes pour les modèles de diffusion T2I reposent principalement sur un tatouage par porte dérobée, qui intègre des déclencheurs privés (par exemple, des tokens rares) pour activer des comportements de tatouage spécifiques.

Les auteurs identifient deux limitations fondamentales dans les approches actuelles :

Fragilité sous Audit : Les méthodes existantes supposent souvent implicitement un processus de vérification « fidèle » où le vérificateur peut interroger un modèle et obtenir une réponse de tatouage stable. Cependant, dans des contextes adversariaux, les déclencheurs peuvent être détectés et supprimés. Les expériences montrent que les déclencheurs synthétiques sont souvent détectables soit dans l'espace des prompts (via une incohérence contextuelle), soit dans l'espace des images (via des métriques de similarité), compromettant ainsi la furtivité.
Absence de Robustesse Certifiée : Les méthodes actuelles manquent de garanties théoriques contre les perturbations des paramètres. Les expériences démontrent que les perturbations aléatoires non intentionnelles et les perturbations adversariales intentionnellement conçues peuvent dégrader considérablement la fiabilité de la vérification. Bien que la robustesse certifiée existe pour les classificateurs à petite échelle via le lissage randomisé, elle n'a pas été adaptée avec succès aux modèles de diffusion T2I en raison de leur estimation de score continue de haute dimension et des prohibitions computationnelles de l'entraînement certifié à cette échelle.

Méthodologie : Cert-LAS

L'article propose Cert-LAS (Certified Layer-Adaptive Smoothing), la première méthode MOV certifiée pour les modèles de diffusion T2I. La méthode opère en deux étapes :

1. Intégration du Tatouage (Sans Déclencheur)

Au lieu d'utiliser des déclencheurs explicites, Cert-LAS intègre un tatouage en entraînant le générateur de diffusion à induire une mauvaise classification sous un classificateur de diffusion privé.

Classificateur de Diffusion comme Vecteur de Tatouage : La méthode exploite la découverte selon laquelle les modèles de diffusion peuvent fonctionner comme des classificateurs génératifs. Un classificateur de diffusion privé figé est utilisé pour définir une distribution a posteriori cible. Le générateur est entraîné à produire des images qui sont mal classées par ce classificateur privé (par exemple, générer des images de « chat » que le classificateur identifie comme « chien ») tout en maintenant une fidélité perceptive à la génération originale via un régularisateur de cohérence perceptive (MS-SSIM).
Lissage Adaptatif aux Couches : Pour atteindre une robustesse certifiée, la méthode injecte du bruit dans les paramètres du modèle pendant l'entraînement. Crucialement, elle emploie un Bruit Adaptatif aux Couches plutôt qu'un bruit uniforme.
- Sensibilité du Finetuning des Couches (LFS) : Les auteurs définissent un indicateur LFS basé sur la norme L2 moyenne des mises à jour de paramètres pendant le finetuning. Ils observent que certaines couches UNet (par exemple, les blocs de normalisation et d'attention) sont systématiquement plus sensibles au finetuning sur des ensembles de données divers.
- Allocation du Bruit : Les niveaux de bruit sont alloués proportionnellement au LFS de chaque couche. Plus de bruit est concentré sur les couches « vulnérables » pour élargir la région certifiable, tandis que le budget total de bruit reste équivalent aux bases uniformes.
Calendrier de Croissance Exponentielle : Pour rendre l'optimisation robuste computationnellement traitable, un calendrier de croissance exponentielle est adopté. Cela augmente progressivement le nombre d'échantillons de bruit pour la moyenne des gradients pendant l'entraînement, en exploitant le fait que les gradients précoces de l'entraînement sont similaires entre les échantillons de bruit.

2. Vérification de la Propriété

La vérification est effectuée en examinant si un modèle suspect présente des réponses de tatouage significativement plus fortes par rapport à une référence non tatouée.

Statistiques : Deux statistiques sont calculées sous un lissage adaptatif aux couches :
- Robustesse du Tatouage (WR) : La probabilité empirique que les images du modèle suspect soient classées comme la classe cible par le classificateur de diffusion privé.
- Probabilité de Référence (RP) : La même probabilité pour un générateur de référence non tatoué.
Test d'Hypothèse : Un test t d'échantillons appariés est employé. Le modèle suspect est vérifié comme étant dérivé du modèle protégé si sa WR est significativement plus grande que la RP de la référence.
Garanties Certifiées : Les auteurs dérivent un seuil sous forme fermée pour la WR et prouvent une borne inférieure sur l'écart entre la WR et la RP. Ils établissent un rayon certifié ( $R^*$ ), garantissant que si les perturbations de paramètres restent dans ce rayon, la vérification de propriété réussira.

Contributions Clés

Réexamen des Limitations : L'article révèle que les méthodes de tatouage basées sur des portes dérobées existantes souffrent de détectabilité dans les espaces de prompts/images et d'un manque de robustesse contre les perturbations de paramètres.
Cadre Cert-LAS : Il introduit la première méthode de tatouage certifiée pour les modèles de diffusion T2I, utilisant un classificateur de diffusion comme vecteur implicite et sans déclencheur, et introduisant un lissage randomisé adaptatif aux couches conçu pour les architectures UNet.
Analyse Théorique : Le travail fournit une analyse théorique établissant des garanties de robustesse, incluant un seuil de vérification sous forme fermée et un rayon certifié sous des perturbations de paramètres bornées.
Validation Empirique : Des expériences extensives valident l'efficacité de la méthode, démontrant une haute fidélité, une furtivité et une résistance aux attaques de suppression non intentionnelles (finetuning) et intentionnelles (adversariales).

Résultats Expérimentaux

Les auteurs évaluent Cert-LAS sur Stable Diffusion v1.4 par rapport à des bases de référence comme WatermarkDM et SleeperMark.

Efficacité et Furtivité : Cert-LAS atteint un taux de succès de vérification (VSR) de 1,000 et un taux de vrais positifs à un taux de faux positifs de $10^{-6}$ (T@10⁻⁶F) de 1,000. Ses scores de furtivité (suspicion dans les espaces de prompts et d'images) sont significativement inférieurs à ceux des méthodes basées sur des portes dérobées (par exemple, <0,125 contre >93 % pour WatermarkDM).
Robustesse au Finetuning : Dans divers scénarios de finetuning (LoRA, DreamBooth, Custom Diffusion et finetuning complet sur des ensembles de données divers), Cert-LAS maintient un T@10⁻⁶F supérieur à 0,987, tandis que les bases de référence chutent souvent à 0,000 après un nombre limité d'étapes.
Robustesse aux Attaques Adversariales : Sous des perturbations de paramètres bornées en $\ell_2$ , Cert-LAS avec lissage maintient un T@10⁻⁶F supérieur à 0,965 même avec un budget de 0,8, moment où toutes les bases de référence échouent complètement.
Généralisation : La méthode démontre une généralisation à travers différentes architectures (SDXL, Sana-1.6B) et tâches de classification (différentes paires de classes, modèles de prompts et configurations multi-classes).
Efficacité : Le calendrier de croissance exponentielle réduit le temps d'entraînement de 76,6 % par rapport à une base de référence d'entraînement robuste sans calendrier.

Importance et Revendications

L'article revendique que Cert-LAS comble le vide critique dans la protection des modèles de diffusion T2I en fournissant des garanties de robustesse prouvables contre les attaques adaptatives, une caractéristique précédemment absente dans le tatouage de diffusion. En passant d'une intégration basée sur des déclencheurs à une intégration basée sur un classificateur sans déclencheur, et en utilisant un lissage adaptatif aux couches, la méthode atteint un équilibre entre furtivité, fidélité de génération et fiabilité certifiée.

Les auteurs positionnent ce travail comme une étape vers le partage digne de confiance des modèles de diffusion. Ils soulignent que la méthode est purement défensive, destinée à une vérification légitime par des propriétaires autorisés et des autorités de confiance. En garantissant que les tatouages ne peuvent être supprimés sans dégrader l'utilité du modèle (comme le montrent les expériences de compression), la méthode soutient des mécanismes de licence exécutable et de responsabilisation dans l'écosystème de l'IA générative. Le travail ne revendique pas de résoudre tous les problèmes de propriété intellectuelle, mais fournit un outil spécifique et théoriquement fondé pour vérifier la propriété en présence de modifications malveillantes bornées.