Technische Samenvatting: Unificatie van Watermarking via Dimensie-bewuste Mapping

1. Probleemstelling

Diepe watermarking-methoden zijn grotendeels geconvergeerd naar vergelijkbare encoder-decoder architecturen, maar vertonen substantiële functionele verschillen op basis van hun specifieke taakontwerpen. Huidige benaderingen zijn doorgaans gefragmenteerd:

• Copyrightverificatie: De meeste methoden richten zich op het inbedden en extraheren van eendimensionale (1D) binaire berichten om eigendom te verifiëren.
• Tamper Localization (Manipulatie-lokalisatie): Andere methoden introduceren fragiele signalen of herformuleren extractie als ruimtelijke predictieproblemen om gemanipuleerde regio's te detecteren.
• Video-beperkingen: Bestaande video watermarking-methoden modelleren watermerken voornamelijk als globale 1D-berichten. Ze missen expliciete modellering van ruimtelijke lokaliteit en, cruciaal, ze slagen er niet in om temporele structuren (bijv. framevolgorde) te coderen of te herstellen wanneer video's worden gehusseld of geherordend.

Het kernproblek dat wordt geadresseerd is het gebrek aan een verenigd modelleringsperspectief. Verschillende watermarking-functionaliteiten worden gerealiseerd door ad-hoc, taakspecifieke ontwerpen, zonder een gedeeld theoretisch kader, wat de vraag oproept of deze uiteenlopende ontwerpen geïnterpreteerd kunnen worden onder één enkel paradigma.

2. Methodologie: Het DiM-framework

De auteurs stellen DiM (Dimension-aware Mapping) voor, een verenigd framework dat watermarking formuleert als een dimensie-bewust mapping-probleem. In plaats van de vorm van het watermerk vast te leggen, modelleert DiM watermerkinformatie als payloads van variërende dimensionaliteiten ($d$) en definieert het het inbeddings- en extractieproces op basis van de relatie tussen de inbeddingsdimensie ($d_e$) en de extractiedimensie ($d_d$).

2.1 Multidimensionale Payload-ruimte

Het framework definieert drie payload-ruimtes:

• 1D Binaire Payload ($P^{(1)}$): Globale, permutatie-invariante binaire informatie (bijv. eigendoms-ID's).
• 2D Ruimtelijke Payload ($P^{(2)}$): Ruimtelijk gelokaliseerde structurele informatie (bijv. maskers voor regio-niveau beperkingen).
• 3D Spatiotemporele Payload ($P^{(3)}$): Structurele informatie gedefinieerd over ruimte-tijd volumes (bijv. spatiotemporele maskers).

2.2 Dimensie-bewuste Mappings

Het framework categoriseert watermarking-gedragingen op basis van de mapping $\mathcal{M}\{d_e, d_d\}$:

• Gelijk-dimensionale Mapping ($d_e = d_d$): Behoudt de payload-structuur, wat fijngranulaire controle mogelijk maakt (bijv. copyrightverificatie).
• Cross-dimensionale Mapping ($d_e \neq d_d$):
  • Laag-naar-Hoog ($d_e < d_d$): Embedt laag-dimensionale data en extraheert hoog-dimensionale representaties. Dit induceert structure-expanderende projecties, wat ruimtelijke of spatiotemporele lokalisatie mogelijk maakt (bijv. het detecteren van gemanipuleerde regio's vanuit een globale ID).
  • Hoog-naar-Laag ($d_e > d_d$): Embedt hoog-dimensionale data en extraheert laag-dimensionale representaties. Dit fungeert als een structure-decoupling projectie, nuttig voor het verminderen van de decoderingscomplexiteit of het herstellen van informatie wanneer cross-dimensionale coherentie zwak is.

2.3 Instantiatie: DiM-V (Video Watermarking)

Om algemene dimensionale configuraties te verkennen, instantiëren de auteurs DiM in het videodomein als DiM-V.

• Payload Instantiatie:
  • 1D: Willekeurige binaire berichten.
  • 2D: Ruimtelijke maskers (volledig, rechthoekig, onregelmatig, gesegmenteerd) gesampled per frame.
  • 3D: Spatiotemporele maskertensors. Cruciaal is dat DiM-V een multi-channel mask encoding mechanisme introduceert waarbij elk frame een distincte, permutatie-invariante binaire code krijgt toegewezen langs de kanaaldimensie. Dit stelt het systeem in staat om expliciet de frame-identiteit te coderen en de temporele volgorde te herstellen, zelfs bij willekeurige frame-permutaties.
• Verenigde Pipeline: DiM-V gebruikt een enkele netwerkarchitectuur (aangepast van MaskWM) met een gedeelde ruislaag. De input-tensor wordt geconstrueerd door de host-video te concateneren met de feature-representaties van het 1D-bericht en optionele 2D/3D maskers. Door enkel de dimensionale configuratie van de inbeddings- en extractiekop te variëren, schakelt het systeem tussen verschillende functionele capaciteiten zonder architecturale wijzigingen.

3. Belangrijkste Bijdragen

1. Verenigd Modelleringsperspectief: Het paper stelt DiM voor, dat bestaande beeld- en video watermarking-methoden interpreteert als specifieke instanties van dimensie-bewuste mappings in plaats van geïsoleerde, taakgestuurde ontwerpen.
2. Dimensionale Configuratie als Controlemechanisme: Het demonstreert dat het functionele gedrag van een watermerk (bijv. robuustheid versus lokalisatie versus temporeel herstel) grotendeels wordt bepaald door de dimensionale relatie tussen inbedding en extractie, en niet alleen door de netwerkarchitectuur.
3. Spatiotemporele Modellering in Video: DiM-V adresseert de beperkingen van huidige video watermarking door temporele structuren expliciet te modelleren. Het introduceert een mechanisme om de frame-identiteit te coderen, wat het herstel van temporele sequenties mogelijk maakt, zelfs wanneer frames zijn gehusseld.
4. Flexibiliteit zonder Herontwerp: Het framework toont aan dat diverse capaciteiten (globale copyrightverificatie, lokale inbeddingscontrole, spatiotemporele tamper-lokalisatie en temporeel volgordeherstel) kunnen worden bereikt door de dimensionale instellingen binnen één verenigd model aan te passen.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op de SA-V dataset (12.000+ video's) met een resolutie van 256×256 en 8 frames.

• Robuustheid en Imperceptibiliteit: In gelijk-dimensionale mappings ($\mathcal{M}\{3,3\}$) toonde DiM-V superieure robuustheid tegen waarde-metrische, geometrische en frame-niveau distorties vergeleken met baselines zoals VideoSeal, RivaGAN en REVMark, terwijl het concurrerende PSNR en SSIM-scores behield.
• Lokalisatie-capaciteiten:
  • Lokale Extractie: Cross-dimensionale mappings (bijv. $\mathcal{M}\{1,3\}$ en $\mathcal{M}\{2,3\}$) stelden het systeem in staat om lokale extractie en tamper-lokalisatie uit te voeren, waarbij het baselines zoals WAM en MaskWM-D overtrof in Intersection-over-Union (IoU) metrieken.
  • Temporeel Herstel: De multi-channel encoding in DiM-V slaagde erin de oorspronkelijke temporele volgorde van video's te herstellen, zelfs wanneer frames werden geherordend of gehusseld, een capaciteit die afwezig was bij eerdere video watermarking-methoden.
• Efficiëntie: Het framework bereikte deze diverse capaciteiten zonder de onderliggende netwerkarchitectuur te wijzigen, uitsluitend door gebruik te maken van veranderingen in de dimensionale configuratie.

5. Betekenis en Claims

Het paper claimt dat DiM een verenigd modelleringsperspectief biedt dat de kloof tussen uiteenlopende watermarking-taken overbrugt. Door watermarking te behandelen als een dimensie-bewust mapping-probleem, betogen de auteurs dat:

• De functionele diversiteit van watermarking (van eenvoudige copyright-checks tot complexe spatiotemporele lokalisatie) systematisch begrepen en gecontroleerd kan worden via dimensionale configuraties.
• Huidige video watermarking-ontwerpen beperkt worden door hun afhankelijkheid van 1D globale berichten; het expliciet modelleren van ruimtelijke en temporele dimensies (zoals gedaan in DiM-V) vult kritieke gaten in content-authenticatie en integriteitsverificatie.
• Het vermogen om de temporele volgorde te herstellen onder frame-disrupties een significante vooruitgang betekent voor video-integriteit, waarbij men verder gaat dan louter robuustheid naar structureel herstel.

De auteurs positioneren DiM niet als een nieuwe taakspecifieke architectuur, maar als een framework dat onthult hoe bestaande methoden verenigd kunnen worden en hoe nieuwe capaciteiten kunnen worden afgeleid door de dimensionaliteit van de payload-ruimte te manipuleren.