💻 computer science

FedOT: Ownership Verification and Leakage Tracing via Watermarks for Federated LDMs

Ce document propose FedOT, un nouveau cadre pour les modèles de diffusion latente fédérés qui assure la vérification de la propriété et trace la fuite du modèle vers des clients malveillants spécifiques en employant un schéma de tatouage numérique par morceaux et un mécanisme de transformation de vecteur latent (LVT) afin d'empêcher la suppression du tatouage via le remplacement du décodeur.

Auteurs originaux : Wenlong Cheng, Yuan Gan, Yunqiu Xu, Jiaxu Miao

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Wenlong Cheng, Yuan Gan, Yunqiu Xu, Jiaxu Miao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un groupe d'artistes (les clients) qui souhaitent créer un chef-d'œuvre ensemble sans jamais montrer leurs carnets de croquis privés à personne. Ils utilisent une méthode de collaboration spéciale appelée Apprentissage Fédéré (Federated Learning) pour entraîner un artiste IA puissant (un Modèle de Diffusion Latente) capable de générer des images éblouissantes.

Cependant, un problème se pose : une fois que le groupe a terminé l'entraînement, la « recette finale » (le modèle global) est partagée avec tout le monde. Un artiste sournois au sein du groupe pourrait voler cette recette, la vendre à un étranger ou l'utiliser pour gagner de l'argent sans permission. Le groupe a besoin d'un moyen de prouver : « Ceci est notre recette ! » et, si elle est volée : « Qui l'a volée ? »

Ce document présente FedOT, un nouveau système de sécurité conçu spécifiquement pour résoudre ces deux problèmes pour les artistes IA travaillant en groupe.

Les deux grands problèmes que FedOT résout

1. Le mystère du « Qui l'a volé ? »
Les méthodes précédentes pouvaient dire : « Oui, cette image provient de notre groupe », mais elles ne pouvaient pas déterminer quelle personne spécifique avait divulgué le modèle. C'était comme trouver une voiture volée et savoir qu'elle appartient à une famille spécifique, mais ne pas savoir quel membre de la famille l'a conduite. FedOT corrige cela en ajoutant une « étiquette d'identification » cachée qui pointe directement vers le voleur spécifique.

2. L'astuce du « Remplacement du moteur »
Imaginez que le modèle d'IA est une voiture avec deux parties principales : le Moteur (la partie qui génère l'image) et la Transmission (la partie qui traduit la puissance du moteur en mouvement).

L'ancienne méthode : Les méthodes de sécurité précédentes plaçaient un tatouage numérique (watermark) sur la Transmission. Mais un voleur pourrait simplement arracher cette Transmission tatouée et la remplacer par une autre, générique, provenant d'une casse. La voiture fonctionnerait toujours parfaitement, et le tatouage aurait disparu.
La méthode FedOT : FedOT change les règles de la route. Il modifie la Transmission de sorte qu'elle ne fonctionne qu'avec le Moteur spécifique que le groupe a entraîné. Si un voleur tente de remplacer la Transmission par une version générique, le moteur de la voiture bégaye, les roues tombent, et la voiture devient un tas de métal inutile. Le voleur ne peut pas voler le modèle sans le détruire.

Comment fonctionne FedOT (L'analogie)

FedOT utilise deux astuces principales pour protéger le groupe :

1. Le « Billet scindé » (Tatouage par morceaux)

Considérez le tatouage numérique comme un billet secret composé de deux sections :

La moitié avant (Propriété) : Cette partie est la même pour tout le monde dans le groupe. Elle répond à la question : « Ce modèle provient-il de notre groupe ? »
La moitié arrière (Traçage) : Cette partie est unique à chaque personne. Elle répond à la question : « Quelle personne spécifique a divulgué ceci ? »

Lorsqu'une image suspecte apparaît, le système vérifie d'abord la moitié avant. Si elle correspond au groupe, il vérifie ensuite la moitié arrière pour identifier le coupable spécifique. Cela rend le processus rapide et efficace.

2. Le « Langage secret » (Transformation du vecteur latent)

C'est l'innovation centrale.

La configuration : Avant que le groupe ne commence l'entraînement, le chef (le serveur) enseigne à la Transmission (le VAE) un langage secret, légèrement déformé. C'est comme apprendre à la Transmission à parler avec un léger accent ou à traduire les mots d'une manière étrange et spécifique.
L'entraînement : Le Moteur (l'U-Net) apprend à parler ce nouveau langage déformé parfaitement. Ils s'habituent l'un à l'autre.
Le piège : Si un voleur tente de remplacer la Transmission par une version standard et « propre », le Moteur ne comprend plus rien. Le Moteur essaie de parler son langage secret, mais la nouvelle Transmission le traduit en charabia. Résultat ? Les images générées sont floues, déformées ou complètement erronées.

Le document teste trois façons de créer ce « langage déformé » :

Traduction : Décaler légèrement le langage (comme parler avec un accent prononcé).
Miroir : Retourner le langage à l'envers.
Négatif : Inverser les couleurs du langage (comme un négatif photographique).

Les chercheurs ont découvert que l'approche « Négatif » était la meilleure. Elle permettait de conserver une bonne qualité d'image tout en rendant impossible le remplacement des pièces sans détruire la qualité.

Ce que les expériences ont montré

Les auteurs ont testé FedOT contre diverses attaques :

L'attaque par remplacement (Swap Attack) : Lorsque des voleurs ont tenté de remplacer la partie tatouée par une partie propre, la qualité de l'image s'est effondrée. Le modèle est devenu inutile.
L'attaque par purification (Purification Attack) : Lorsque des voleurs ont tenté de « laver » le modèle en le réentraînant sur des données propres pour supprimer le tatouage, la qualité a tout de même chuté de manière significative.
Le traçage : Même avec ces attaques, si le modèle survivait, FedOT pouvait toujours identifier le groupe et le voleur spécifique avec une grande précision.

L'essentiel à retenir

FedOT est le premier système capable à la fois de prouver la propriété et de démasquer le voleur spécifique dans un projet d'IA de groupe. Il y parvient en verrouillant les composants de l'IA si étroitement que si quelqu'un tente de voler le modèle en remplaçant une pièce, l'ensemble se brise. Cela transforme le vol de modèle en une situation de « perdant-perdant » pour le voleur : soit il se fait prendre, soit il se retrouve avec un modèle cassé et inutile.

Résumé technique : FedOT - Vérification de la propriété et traçage des fuites via des tatouages numériques pour les LDMs fédérés

1. Énoncé du problème

L'article traite de la vulnérabilité critique de la protection de la propriété intellectuelle (PI) des Modèles de Diffusion Latente Fédérés (FedLDM). Bien que l'apprentissage fédéré (FL) préserve la confidentialité des données en gardant les données brutes locales, il nécessite le partage des mises à jour globales du modèle, exposant l'architecture du modèle à des clients malveillants. Ces clients peuvent distribuer ou revendre les modèles affinés de manière non autorisée.

Les solutions existantes font face à deux limitations fondamentales lorsqu'elles sont appliquées aux FedLDM :

Manque de traçabilité : Les méthodes actuelles peuvent vérifier si un modèle appartient à un groupe fédéré (vérification de la propriété), mais ne peuvent pas identifier le client spécifique malveillant responsable de la fuite.
Vulnérabilité aux attaques par remplacement : Les techniques de tatouage numérique standard basées sur le VAE sont fragiles dans le cadre du FL. Étant donné que les clients ne mettent généralement à jour que les paramètres de l'U-Net tandis que l'auto-encodeur variationnel (VAE) reste gelé, un client malveillant peut simplement remplacer le décodeur VAE tatoué par un équivalent open-source propre. Cela supprime le tatouage sans dégrader la qualité de génération d'images, rendant la protection inefficace.

2. Méthodologie : Cadre FedOT

Les auteurs proposent FedOT, le premier cadre conçu pour permettre simultanément la vérification de la propriété et le traçage des fuites pour les FedLDM. Le cadre se compose de deux composants clés : un mécanisme de Tatouage par Morceaux (Chunked Watermark) et une Transformation de Vecteur Latent (LVT).

2.1 Conception du Tatouage par Morceaux

Pour résoudre l'écart de traçabilité, FedOT utilise un tatouage binaire de longueur $n$ bits, divisé en deux segments distincts intégrés dans le décodeur VAE de chaque modèle de client :

Segment de Propriété ( $r$ bits) : Un préfixe partagé utilisé pour vérifier si un modèle fuité provient du groupe fédéré.
Segment de Traçage ( $n-r$ bits) : Un suffixe unique assigné à chaque client spécifique.

Flux de travail :

Vérification : Si les $r$ premiers bits du tatouage extrait correspondent au préfixe du groupe (au-dessus d'un seuil $\tau$ ), la propriété est confirmée.
Traçage : Ce n'est qu'après une vérification réussie de la propriété que le système analyse les $n-r$ bits restants pour identifier l'indice du client $j$ spécifique responsable de la fuite. Ce processus en deux étapes améliore l'efficacité dans les déploiements à grande échelle.

2.2 Transformation de Vecteur Latent (LVT)

Pour contrer l'attaque par remplacement de VAE, FedOT introduit la LVT, qui crée une forte dépendance entre le VAE et l'U-Net. L'idée centrale est que l'U-Net dans les LDMs s'adapte à la distribution latente spécifique produite par l'encodeur VAE pendant l'entraînement. En modifiant cette distribution, l'U-Net devient « lié » au VAE spécifique.

Processus d'entraînement LVT (Deux étapes) :

Étape I (Entraînement de l'encodeur) : Le serveur affine l'encodeur VAE pour apprendre une transformation spécifique $T$ appliquée au vecteur latent $z$ . Le décodeur est fixe. L'encodeur apprend à mapper les images d'entrée vers un espace latent transformé $z' = T(z)$ .
Étape II (Entraînement du décodeur) : L'encodeur est gelé. Le décodeur est affiné pour reconstruire des images à partir de l'espace latent transformé $z^*$ , apprenant ainsi l'inverse de la transformation $T^{-1}$ .

Stratégies de Transformation :
L'article explore trois stratégies déterministes pour déplacer la distribution latente :

Translation ( $FedOT_{tran}$ ) : Ajoute un vecteur constant $c$ à l'espace latent ( $z' = z + c$ ).
Miroir ( $FedOT_{mir}$ ) : Inverse le vecteur latent ( $z' = -z$ ).
Négatif ( $FedOT_{neg}$ ) : Applique une inversion pixel par pixel à l'image d'entrée ( $x^- = 1-x$ ) avant l'encodage, forçant l'espace latent à s'adapter à cette variété inversée.

Mécanisme de Sécurité :
Si un client malveillant remplace le VAE tatoué par un VAE propre, l'U-Net (entraîné sur la distribution transformée) recevra des entrées provenant d'un espace latent incompatible. Cela provoque une dégradation sévère de la qualité de synthèse d'image, rendant le modèle volé inutilisable et décourageant l'attaque par remplacement.

3. Contributions Clés

L'article revendique les contributions suivantes :

Premier Cadre pour les FedLDM : FedOT est le premier système permettant à la fois la vérification de la propriété et le traçage de la fuite d'un client spécifique pour les Modèles de Diffusion Latente Fédérés.
Liaison Robuste des Composants : La LVT proposée établit une dépendance forte entre le VAE et l'U-Net. Elle garantit que le retrait du tatouage via le remplacement du VAE entraîne une dégradation significative de la qualité d'image, neutralisant efficacement les attaques par remplacement à coût nul.
Évaluation Complète : Les auteurs fournissent des expériences étendues contre diverses attaques, y compris le remplacement de VAE, la purification de modèle (affinage sur des données propres) et les attaques basées sur l'image, démontrant la fiabilité du cadre.

4. Résultats Expérimentaux

Les expériences ont été menées avec Stable Diffusion v2.1 en utilisant les jeux de données COCO2017 (pour l'entraînement LVT/tatouage) et LAION-10K (pour l'affinage fédéré).

Défense contre les Attaques par Remplacement :
- Les méthodes de base (Stable Signature* et FedOT sans LVT) ne montraient presque aucune dégradation de la qualité d'image (FID) après le remplacement du VAE, et les tatouages étaient indétectables.
- FedOT avec LVT : Toutes les variantes de LVT ont provoqué des augmentations significatives de l'indice FID (dégradation de la qualité) lors du remplacement.
  - $FedOT_{neg}$ présentait le meilleur équilibre : le FID augmentait d'environ 20 points (passant de ~20,3 à ~40,5), tout en maintenant une haute qualité de génération à l'état initial.
  - $FedOT_{mir}$ a causé la perturbation sémantique la plus sévère (chute du CLIP-Score de -0,064), rendant le contenu généré pratiquement inutilisable.
Performance de Propriété et de Traçage :
- FedOT a atteint des taux de détection élevés (>0,96) et une précision de bit élevée (>0,94) pour la vérification de la propriété et le traçage des clients.
- La conception du tatouage par morceaux a permis un traçage efficace uniquement lorsque cela était nécessaire.
Robustesse :
- Attaques de Purification : L'affinage du modèle sur des données propres pendant 300 époques n'a pas réussi à supprimer le tatouage sans dégrader la qualité d'image (le FID augmente de manière significative).
- Conditions Fédérées : Les performances sont restées stables à travers différents nombres de clients (5, 10, 20) et différentes distributions de données non-i.i.d. (Dirichlet $\alpha$ ).

5. Signification et Revendications

L'article positionne FedOT comme une évolution nécessaire pour protéger l'IA générative dans des contextes fédérés respectant la vie privée. Les auteurs affirment que :

Les solutions de tatouage numérique FL existantes sont insuffisantes pour les modèles génératifs complexes comme les LDMs en raison des différences architecturales et de la vulnérabilité spécifique des VAE gelés.
Le compromis introduit par la LVT est une caractéristique de sécurité délibérée et efficace : le coût du retrait du tatouage est la destruction de l'utilité du modèle. Cela rend l'attaque impraticable pour les acteurs malveillants.
Le cadre comble une lacune critique dans la littérature en allant au-delà de la simple vérification de la propriété pour atteindre le traçage de la source, permettant aux groupes fédérés d'identifier et de tenir responsable le client spécifique responsable de la fuite du modèle.

Les auteurs concluent que FedOT fournit un mécanisme fiable pour sécuriser les FedLDM, garantissant que les droits de propriété intellectuelle sont maintenus même dans des environnements d'entraînement décentralisés.