💻 computer science

Unifying Watermarking via Dimension-Aware Mapping

Le papier propose DiM, un cadre de tatouage numérique multidimensionnel unifié qui traite le tatouage comme un problème de mise en correspondance sensible à la dimension, démontrant que la variation de la dimensionnalité des processus d'insertion et d'extraction peut, à elle seule, permettre diverses capacités telles que la localisation de l'altération spatiotemporelle et la récupération de l'ordre des images sans modifier l'architecture sous-jacente.

Auteurs originaux : Jiale Meng, Runyi Hu, Jie Zhang, Zheming Lu, Ivor Tsang, Tianwei Zhang

Publié 2026-02-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiale Meng, Runyi Hu, Jie Zhang, Zheming Lu, Ivor Tsang, Tianwei Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez un tampon magique que vous pouvez presser sur une vidéo. Ce tampon laisse une marque cachée qui prouve que la vidéo vous appartient et qu'elle n'a pas été altérée. Pendant longtemps, des scientifiques ont construit différents « tampons » pour des tâches spécifiques : certains sont de simples codes secrets (comme un numéro de série), tandis que d'autres sont comme une carte qui montre exactement où quelqu'un a tenté de couper ou de coller des parties de la vidéo.

Le problème est que ces tampons ont été construits comme des inventions distinctes et sans lien entre elles. Les auteurs de ce papier se sont demandé : « Pouvons-nous construire une machine maîtresse capable de faire tous ces travaux simplement en changeant la façon dont nous lui fournissons l'information ? »

Leur réponse est DiM (Dimension-Aware Mapping — Cartographie sensible à la dimension). Voici comment cela fonctionne, en utilisant des analogies simples :

1. L'idée centrale : l'interrupteur de « Dimension »

Considérez l'information du tatouage numérique comme un paquet.

Paquet 1D (Le numéro de série) : C'est une liste simple de 0 et de 1. C'est plat et linéaire. C'est parfait pour dire : « Cette vidéo est à moi », mais cela ne vous dit pas où quelque chose s'est passé dans la vidéo.
Paquet 2D (La carte) : C'est une image plate ou un masque. Cela couvre la largeur et la hauteur d'une image. C'est comme dessiner un cercle sur une photo pour dire : « Cet endroit précis a été touché ».
Paquet 3D (Le film temporel) : Cela ajoute la dimension du temps au mélange. C'est une pile de cartes qui changent au fur et à mesure que la vidéo défile. C'est comme une sculpture en 3D de l'histoire de la vidéo.

L'article affirme que la magie ne réside pas dans le changement de la machine (l'architecture du réseau) ; elle réside dans le changement de la forme du paquet que vous lui donnez.

2. Comment la machine fonctionne

Les auteurs ont construit une « Machine de tatouage numérique universelle » (qu'ils appellent DiM-V pour la vidéo). Vous pouvez y brancher différents types de paquets, et la machine adapte son comportement automatiquement :

Correspondance de même dimension (L'effet « Miroir ») :
Si vous donnez à la machine un paquet 1D (un code simple) et lui demandez une réponse 1D, elle agit comme un scanner d'identité parfait. Elle vérifie si le code secret est toujours présent. C'est idéal pour la protection des droits d'auteur.
Si vous lui donnez un paquet 3D (une carte basée sur le temps) et lui demandez une réponse 3D, elle agit comme un détective de haute précision. Elle peut vous dire exactement quelle image et quelle partie de l'écran ont été altérées.
Correspondance de dimensions croisées (L'effet « Traducteur ») :
C'est ici que cela devient ingénieux.
- Petit Entrée, Grande Sortie (Bas vers Haut) : Imaginez que vous donnez à la machine une petite note simple (1D) mais que vous lui demandez de dessiner une carte complète (2D ou 3D). La machine utilise cette petite note pour « étendre » sa vision et comprendre où la vidéo a été altérée. C'est comme donner un seul indice à un détective et le voir reconstruire toute la scène du crime.
- Grande Entrée, Petite Sortie (Haut vers Bas) : Imaginez que vous donniez à la machine une carte 3D complexe et riche en temps, mais que vous lui demandiez une réponse 1D simple. La machine « compresse » l'histoire complexe en un résumé simple. C'est utile lorsque la vidéo a été mélangée ou brouillée ; la machine peut ignorer l'ordre temporel désordonné et extraire l'identité fondamentale.

3. Le superpouvoir de la vidéo : Réparer le temps mélangé

L'une des plus grandes affirmations de l'article concerne la gestion des vidéos mélangées.
Imaginez que quelqu'un prenne une vidéo, la coupe en 10 morceaux et mélange l'ordre comme un jeu de cartes.

Les anciennes méthodes : Elles sont confuses. Elles ne peuvent pas savoir quelle image venait en premier, donc elles ne peuvent pas récupérer l'histoire originale.
La méthode DiM : Les auteurs ont conçu un « paquet 3D » spécial où chaque image reçoit un code binaire unique (comme un badge d'identité secret) qui lui est attaché. Même si les images sont mélangées, la machine peut lire ces badges, réaliser que « Attendez, l'image 5 appartient en fait avant l'image 2 », et réorganiser la vidéo pour retrouver son état d'origine.

4. Les résultats : Une machine, plusieurs tâches

Les auteurs ont testé cela en entraîant la machine sur des milliers de vidéos. Ils n'ont pas changé le cerveau de la machine (la structure du réseau neuronal) ; ils ont seulement changé la dimension des données qu'ils lui ont fournies.

Résultat 1 : Ils ont pu effectuer des vérifications de droits d'auteur standards (Cette vidéo est-elle à moi ?).
Résultat 2 : Ils ont pu identifier précisément où quelqu'un a édité la vidéo (Localisation de la falsification).
Résultat 3 : Ils ont pu réparer des vidéos où les images ont été mélangées ou supprimées.

L'essentiel

L'article soutient que nous n'avons pas besoin d'inventer un nouveau type de tatouage numérique pour chaque nouveau problème. Au lieu de cela, nous devons simplement comprendre que le tatouage numérique est une question de cartographie de dimensions. En traitant le tatouage comme un paquet flexible qui peut être 1D, 2D ou 3D, un système unique peut tout gérer, des simples vérifications d'identité aux analyses médico-légales vidéo complexes, simplement en changeant la « dimension » de la tâche.

Résumé Technique : Unification du tatouage numérique via la cartographie sensible à la dimension

1. Énoncé du problème

Les méthodes de tatouage numérique profond ont largement convergé vers des architectures encodeur-décodeur similaires, pourtant elles présentent des différences fonctionnelles substantielles selon leurs conceptions de tâches spécifiques. Les approches actuelles sont généralement fragmentées :

Vérification de copyright : La plupart des méthodes se concentrent sur l'encodage et l'extraction de messages binaires unidimensionnels (1D) pour vérifier la propriété.
Localisation de l'altération : D'autres méthodes introduisent des signaux fragiles ou reformulent l'extraction comme des problèmes de prédiction spatiale pour détecter les régions manipulées.
Limitations de la vidéo : Les méthodes existantes de tatouage vidéo modélisent principalement les tatouages comme des messages 1D globaux. Elles manquent de modélisation explicite de la localité spatiale et, de manière critique, ne parviennent pas à encoder ou à récupérer les structures temporelles (par exemple, l'ordre des images) lorsque les vidéos sont réordonnées ou mélangées.

Le problème central abordé est l'absence d'une perspective de modélisation unifiée. Les différentes fonctionnalités de tatouage sont réalisées par des conceptions ad hoc et spécifiques à chaque tâche, sans cadre théorique partagé, ce qui soulève la question de savoir si ces conceptions disparates peuvent être interprétées sous un paradigme unique.

2. Méthodologie : Le cadre DiM

Les auteurs proposent DiM (Dimension-aware Mapping - Cartographie sensible à la dimension), un cadre unifié qui formule le tatouage numérique comme un problème de cartographie sensible à la dimension. Au lieu de fixer la forme du tatouage, DiM modélise l'information du tatouage comme des charges utiles de dimensions ( $d$ ) variables et définit le processus d'encodage-décodage en fonction de la relation entre la dimension d'encodage ( $d_e$ ) et la dimension de décodage ( $d_d$ ).

2.1 Espace de charge utile multidimensionnel

Le cadre définit trois espaces de charge utile :

Charge utile binaire 1D ( $P^{(1)}$ ) : Information binaire globale et invariante par permutation (ex: identifiants de propriété).
Charge utile spatiale 2D ( $P^{(2)}$ ) : Information structurelle localisée spatialement (ex: masques pour des contraintes au niveau de la région).
Charge utile spatiotemporelle 3D ( $P^{(3)}$ ) : Information structurelle définie sur des volumes spatio-temporels (ex: masques spatiotemporels).

2.2 Cartographies sensibles à la dimension

Le cadre catégorise les comportements de tatouage en fonction de la cartographie $\mathcal{M}\{d_e, d_d\}$ :

Cartographie de même dimension ( $d_e = d_d$ ) : Préserve la structure de la charge utile, permettant un contrôle précis (ex: vérification de copyright).
Cartographie interdimensionnelle ( $d_e \neq d_d$ ) :
- De basse à haute dimension ( $d_e < d_d$ ) : Encode des données de faible dimension et extrait des représentations de haute dimension. Cela induit des projections d'expansion de structure, permettant une localisation spatiale ou spatiotemporelle (ex: détecter des régions altérées à partir d'un ID global).
- De haute à basse dimension ( $d_e > d_d$ ) : Encode des données de haute dimension et extrait des représentations de basse dimension. Cela agit comme une projection de découplage de structure, utile pour réduire la complexité du décodage ou récupérer l'information lorsque la cohérence interdimensionnelle est faible.

2.3 Instanciation : DiM-V (Tatouage Vidéo)

Pour explorer les configurations dimensionnelles générales, les auteurs instaurent DiM dans le domaine de la vidéo sous le nom de DiM-V.

Instanciation de la charge utile :
- 1D : Messages binaires aléatoires.
- 2D : Masques spatiaux (complets, rectangulaires, irréguliers, segmentés) échantillonnés par image.
- 3D : Tenseurs de masques spatiotemporels. Crucialement, DiM-V introduit un mécanisme d'encodage de masque multi-canal où chaque image se voit assigner un code binaire distinct et invariant par permutation le long de la dimension des canaux. Cela permet au système d'encoder explicitement l'identité des images et de récupérer l'ordre temporel même en cas de permutations arbitraires des images.
Pipeline unifié : DiM-V utilise une architecture de réseau unique (adaptée de MaskWM) avec une couche de bruit partagée. Le tenseur d'entrée est construit en concaténant la vidéo hôte avec les représentations de caractéristiques du message 1D et des masques 2D/3D optionnels. En faisant varier uniquement la configuration dimensionnelle des têtes d'encodage et de décodage, le système bascule entre différentes capacités fonctionnelles sans changement d'architecture.

3. Contributions clés

Perspective de modélisation unifiée : L'article propose DiM, qui interprète les méthodes existantes de tatouage d'image et de vidéo comme des instances spécifiques de cartographies sensibles à la dimension plutôt que comme des conceptions isolées pilotées par des tâches.
La configuration dimensionnelle comme mécanisme de contrôle : Il démontre que le comportement fonctionnel d'un tatouage (par exemple, robustesse vs localisation vs récupération temporelle) est largement déterminé par la relation dimensionnelle entre l'encodage et le décodage, et non seulement par l'architecture du réseau.
Modélisation spatiotemporelle dans la vidéo : DiM-V répond aux limites du tatouage vidéo actuel en modélisant explicitement les structures temporelles. Il introduit un mécanisme pour encoder l'identité des images, permettant la récupération des séquences temporelles même lorsque les images sont mélangées.
Flexibilité sans réconception : Le cadre montre que diverses capacités (vérification de copyright globale, contrôle d'encodage local, localisation d'altération spatiotemporelle et récupération de l'ordre temporel) peuvent être atteintes en ajustant les paramètres dimensionnels au sein d'un modèle unique et unifié.

4. Résultats expérimentaux

Les expériences ont été menées sur le jeu de données SA-V (plus de 12 000 vidéos) avec une résolution de 256×256 et 8 images.

Robustesse et imperceptibilité : Dans les cartographies de même dimension ( $\mathcal{M}\{3,3\}$ ), DiM-V a démontré une robustesse supérieure contre les distorsions de métriques de valeur, géométriques et de niveau d'image par rapport aux bases comme VideoSeal, RivaGAN et REVMark, tout en maintenant des scores PSNR et SSIM compétitifs.
Capacités de localisation :
- Extraction locale : Les cartographies interdimensionnelles (ex: $\mathcal{M}\{1,3\}$ et $\mathcal{M}\{2,3\}$ ) ont permis au système d'effectuer une extraction locale et une localisation d'altération, surpassant les bases comme WAM et MaskWM-D en termes de métriques d'Intersection-over-Union (IoU).
- Récupération temporelle : L'encodage multi-canal de Di-V a réussi à récupérer l'ordre temporel original des vidéos même lorsque les images étaient réordonnées ou mélangées, une capacité absente des méthodes de tatouage vidéo antérieures.
Efficacité : Le cadre a atteint ces diverses capacités sans modifier l'architecture du réseau sous-jacent, en s'appuyant uniquement sur les changements de configuration dimensionnelle.

5. Signification et affirmations

L'article affirme que DiM fournit une perspective de modélisation unifiée qui comble le fossé entre les tâches de tatouage disparates. En traitant le tatouage comme un problème de cartographie sensible à la dimension, les auteurs soutiennent que :

La diversité fonctionnelle du tatouage (du simple contrôle de copyright à la localisation spatiotemporelle complexe) peut être systématiquement comprise et contrôlée via les configurations dimensionnelles.
Les conceptions actuelles de tatouage vidéo sont limitées par leur dépendance aux messages globaux 1D ; la modélisation explicite des dimensions spatiales et temporelles (comme le fait DiM-V) comble des lacunes critiques dans l'authentification du contenu et la vérification de l'intégrité.
La capacité de récupérer l'ordre temporel lors de perturbations d'images représente une avancée significative pour l'intégrité vidéo, allant au-delà de la simple robustesse pour atteindre la récupération structurelle.

Les auteurs positionnent DiM non pas comme une nouvelle architecture spécifique à une tâche, mais comme un cadre qui révèle comment les méthodes existantes peuvent être unifiées et comment de nouvelles capacités peuvent être dérivées par la manipulation de la dimensionnalité de l'espace de la charge utile.