SKeDA: A Generative Watermarking Framework for Text-to-video Diffusion Models

Le cadre SKeDA propose une méthode de filigrane génératif pour les modèles de diffusion texte-vidéo qui améliore la robustesse face aux distorsions temporelles et au désalignement des trames grâce à un échantillonnage préservant la distribution basé sur des clés mélangées et une attention différentielle.

L'essentiel

Imaginez que vous êtes un chef cuisinier génial capable de créer des vidéos magnifiques à partir de simples phrases écrites (par exemple : « un chat qui vole dans l'espace »). C'est ce que font les modèles d'intelligence artificielle comme Sora ou CogVideo. Mais il y a un gros problème : comment savoir qui a créé la vidéo ? Comment prouver que c'est bien vous, et non un voleur, qui l'a faite ? Et si quelqu'un la modifie, la compresse ou la coupe, comment retrouver votre « signature » ?

C'est là qu'intervient SKeDA, une nouvelle invention présentée dans ce papier. Voici comment cela fonctionne, expliqué simplement avec des analogies du quotidien.

1. Le Problème : La Signature qui se perd

Imaginez que vous mettez une étiquette de sécurité sur chaque image d'un film.

• L'ancienne méthode : C'est comme coller un autocollant sur chaque photo une fois le film fini. Si quelqu'un coupe le film, mélange les photos ou compresse le fichier (comme pour l'envoyer sur WhatsApp), l'autocollant se décolle ou devient illisible.
• Le problème spécifique aux vidéos : Dans une vidéo, les images bougent. Si vous mélangez l'ordre des images (comme mélanger des cartes), les anciennes méthodes de sécurité paniquent et ne trouvent plus le message.

2. La Solution SKeDA : La Recette Invisible

SKeDA ne colle pas d'autocollant après coup. Au lieu de cela, il modifie la recette même de la vidéo, dès le début, dans la « pâte » invisible avant qu'elle ne devienne une image.

Voici les deux ingrédients secrets de SKeDA :

A. Le Mélangeur de Clés (Le module SKe)

Imaginez que vous voulez cacher un message secret dans un gâteau.

• L'ancien problème : Si vous écrivez le message lettre par lettre sur chaque couche du gâteau, et que quelqu'un coupe le gâteau en désordre, le message devient illisible.
• La solution SKeDA : Imaginez que vous avez un seul message secret (une phrase). Au lieu de l'écrire directement, vous le mélangez avec un jeu de cartes très spécifique pour chaque couche du gâteau.
  • Le système prend une seule « clé » (une liste de nombres aléatoires).
  • Pour chaque image de la vidéo, il brouille (mélange) cette clé d'une manière différente, mais toujours basée sur la même clé originale.
  • L'astuce géniale : Même si quelqu'un mélange l'ordre des images de la vidéo (comme mélanger des cartes), le message reste reconnaissable ! Pourquoi ? Parce que le système ne cherche pas à lire les images dans l'ordre, il regarde l'ensemble du « paquet » de cartes mélangées. C'est comme si vous pouviez retrouver votre recette même si les pages du livre de cuisine étaient dans le désordre, tant que vous avez toutes les pages.

B. Le Détective Intelligents (Le module DA)

Maintenant, imaginez que vous devez retrouver ce message caché dans un gâteau qui a été écrasé, salé ou coupé (compression, bruit, suppression d'images).

• L'ancien problème : On regarde toutes les images de la même façon, même celles qui sont abîmées. C'est comme essayer d'entendre une conversation dans une pièce bruyante en écoutant tout le monde à égalité.
• La solution SKeDA (Attention Différentielle) : Le système agit comme un détective très malin.
  • Il compare les images entre elles.
  • Il se dit : « Tiens, cette image est très stable et ressemble à ses voisines, elle est sûre, je vais lui faire confiance à 100% ».
  • Il se dit aussi : « Oh, cette image est très floue ou bizarre (à cause d'une compression), je vais lui faire moins confiance ».
  • Il donne donc plus de poids aux images « saines » et moins aux images « abîmées » pour reconstruire le message. C'est comme écouter la voix la plus claire dans une foule pour comprendre le message, au lieu d'essayer de tout entendre.

3. Pourquoi c'est génial ?

• Invisible : Comme on modifie la « pâte » avant la cuisson, la vidéo finale est parfaite. On ne voit aucune différence, aucune trace. C'est comme si le message était dans l'ADN de la vidéo.
• Robuste : Même si la vidéo est compressée (comme sur YouTube), si on lui enlève des images, ou si on lui ajoute du bruit, SKeDA arrive à retrouver le message.
• Sans réentraînement : On n'a pas besoin de réapprendre au chef cuisinier (l'IA) à cuisiner. On lui donne juste une nouvelle recette secrète.

En résumé

SKeDA est comme un système de sécurité qui ne pose pas de cadenas visibles sur la porte (la vidéo), mais qui modifie subtilement la structure de la maison elle-même. Même si un cambrioleur (un pirate ou un algorithme de compression) essaie de démonter les murs ou de changer l'ordre des pièces, la structure secrète (le message de copyright) reste intacte et peut être retrouvée par un détective intelligent qui sait quelles pièces sont les plus fiables.

C'est une solution élégante pour protéger les créations artistiques de l'IA dans un monde où tout peut être copié, modifié et partagé instantanément.

Résumé technique

1. Problématique et Contexte

L'essor rapide des modèles de génération de vidéo à partir de texte (Text-to-Video ou T2V), tels que CogVideo, Make-A-Video et Sora, a soulevé des préoccupations majeures concernant l'authenticité du contenu, la protection des droits d'auteur et l'utilisation malveillante (deepfakes). Bien que le filigranage numérique (watermarking) soit une solution prometteuse pour tracer l'origine des vidéos générées, les méthodes existantes présentent des limites critiques lorsqu'elles sont appliquées aux modèles de diffusion vidéo :

• Dépendance à la synchronisation stricte : Les méthodes de filigranage génératives basées sur l'image (comme Gaussian Shading) reposent sur l'alignement strict entre les trames vidéo et des séquences binaires pseudo-aléatoires spécifiques à chaque trame. Toute perturbation temporelle (suppression de trames, réordonnancement, ré-encodage) brise cet alignement, rendant l'extraction du filigrane impossible.
• Fragilité face aux distorsions temporelles : Les vidéos subissent des transformations spécifiques (compression inter-trames, jitter temporel) qui dégradent la cohérence temporelle nécessaire à l'extraction robuste des filigranes.
• Qualité visuelle vs Robustesse : Les méthodes traditionnelles (post-hoc) introduisent souvent des artefacts visuels, tandis que les méthodes génératives doivent préserver la fidélité du modèle sans nécessiter de réentraînement.

2. Méthodologie : Le Framework SKeDA

Pour surmonter ces obstacles, les auteurs proposent SKeDA, un cadre de filigranage génératif conçu spécifiquement pour les modèles de diffusion vidéo. SKeDA opère dans l'espace latent du modèle de diffusion avant la génération de la vidéo, assurant une intégration transparente. Le framework se compose de deux modules principaux :

A. Échantillonnage de préservation de distribution basé sur la clé de mélange (SKe - Shuffle-Key)

Ce module s'occupe de l'encodage et de l'embedding du filigrane.

• Principe : Au lieu d'utiliser des séquences pseudo-aléatoires différentes pour chaque trame (ce qui crée un risque de désynchronisation), SKe utilise une seule séquence binaire pseudo-aléatoire de base pour le chiffrement du filigrane.
• Mécanisme : Les variations au niveau des trames sont obtenues uniquement par permutation (mélange) de cette séquence de base.
• Avantage : Cette conception transforme le problème d'extraction d'un "décodage de séquence sensible à la synchronisation" en une "agrégation au niveau de l'ensemble tolérante aux permutations". Même si l'ordre des trames est modifié ou si certaines sont perdues, le filigrane peut être récupéré car l'information est distribuée de manière redondante et permutée.
• Préservation de la distribution : Le processus garantit que la distribution du bruit initial reste gaussienne, préservant ainsi la qualité visuelle native du modèle de diffusion (filiation sans perte).

B. Attention Différentielle (DA - Differential Attention)

Ce module est dédié à l'extraction du filigrane et vise à améliorer la robustesse face aux distorsions temporelles.

• Fonctionnement : Le module calcule les différences inter-trames pour identifier les régions stables de la vidéo.
• Mécanisme d'attention : Il attribue dynamiquement des poids d'extraction à chaque trame en fonction de la similarité temporelle (mesurée par la distance cosinus avec la première trame) et de la cohérence.
• Objectif : Les trames présentant une forte stabilité (faible variation de mouvement) se voient attribuer un poids plus élevé, amplifiant leur contribution à la récupération du filigrane, tandis que les trames bruitées ou instables sont pondérées à la baisse. Cela permet de maintenir une extraction fiable même sous compression ou suppression de trames.

3. Contributions Clés

1. Méthode générative vidéo nouvelle : Un système qui préserve la qualité de génération tout en améliorant la robustesse, sans nécessiter de réentraînement du modèle T2V sous-jacent.
2. Module SKe (Shuffle-Key) : Une approche innovante qui découple l'extraction de l'alignement strict des trames en utilisant des permutations d'une séquence de base, permettant une récupération robuste même en cas de désynchronisation temporelle sévère.
3. Module DA (Differential Attention) : Un mécanisme d'adaptation des poids d'extraction basé sur les différences inter-trames, améliorant significativement la stabilité de la récupération face aux compressions, pertes de trames et bruit.
4. Intégration dans l'espace latent : Le filigrane est fusionné directement dans la trajectoire de diffusion, assurant une invisibilité parfaite et une résilience intrinsèque.

4. Résultats Expérimentaux

Les expériences ont été menées sur des vidéos générées (16 trames, 512x512) en utilisant Stable Diffusion v1.5 et AnimateDiff, comparées à des méthodes de référence (HiDDeN, REVMark, Video Seal, WAM, DVMark).

• Qualité Visuelle (Fidélité) :

  • SKeDA obtient un FVD (Fréchet Video Distance) de 361,3, surpassant les méthodes existantes (ex: DVMark à 382,8), indiquant une qualité vidéo quasi indistinguable de la vidéo originale.
  • Le score CLIP (alignement sémantique) est de 0,3345, le plus élevé parmi les comparaisons.
  • La qualité perçue (VBench) atteint 0,7898, confirmant l'absence d'artefacts visibles.

• Robustesse :

  • Compression (H.264/H.265) : SKeDA maintient une précision de bits de 96,87% sous une compression H.264 forte (CRF=30), soit une amélioration de 10,75% par rapport à la meilleure méthode de base. Même à CRF=40 (taille réduite à ~1%), la précision reste à ~80%.
  • Manipulations temporelles : Le système résiste exceptionnellement bien à la suppression de trames (Frame Drop), au réordonnancement (Frame Swap) et à la moyenne de trames, avec des précisions dépassant souvent 99% là où les autres méthodes chutent drastiquement.
  • Bruit et distorsions : La méthode maintient une précision >99% face au bruit gaussien, au flou et aux recadrages aléatoires.

• Capacité : Le système supporte un filigrane de 256 bits tout en maintenant un taux de détection (TPR) de 100%.

5. Signification et Impact

SKeDA représente une avancée significative dans le domaine de la sécurité des médias générés par l'IA.

• Sécurité Pratique : En résolvant le problème de la désynchronisation temporelle, SKeDA rend les filigranes viables dans des scénarios réels où les vidéos sont compressées, éditées ou diffusées sur des plateformes qui modifient leur structure.
• Traçabilité et Droits d'Auteur : Le cadre permet non seulement de détecter l'origine du modèle (Model A vs Model B) mais aussi de tracer l'utilisateur spécifique ayant généré le contenu, répondant aux exigences réglementaires croissantes (comme l'EU AI Act).
• Efficacité : La méthode ne nécessite pas de réentraînement coûteux des modèles de diffusion, ce qui facilite son adoption par l'industrie pour sécuriser les pipelines de génération vidéo à grande échelle.

En conclusion, SKeDA établit un nouvel état de l'art en combinant une invisibilité parfaite, une robustesse exceptionnelle aux attaques temporelles et une intégration native avec les modèles de diffusion vidéo.