SKeDA: A Generative Watermarking Framework for Text-to-video Diffusion Models

Dit paper introduceert SKeDA, een generatief watermerkingframework voor tekst-naar-video diffusion-modellen dat door middel van shuffle-key gebaseerde steekproeven en differentiële aandacht de robuustheid van watermerken verbetert tegen frame-herordening en tijdsgebonden vervormingen terwijl de videokwaliteit behouden blijft.

De kern

SKeDA: De Onzichtbare Handtekening voor AI-Videos

Stel je voor dat je een magische machine hebt die films kan maken op basis van een simpele tekst. Je typt "een kat die op een skateboard rijdt door de ruimte" en poef, daar is een prachtige video. Dit is wat moderne AI (zoals Sora of CogVideo) doet. Maar er zit een groot probleem aan vast: wie heeft die video gemaakt? En als iemand die video steelt of verandert, hoe weten we dan nog dat het van de oorspronkelijke maker is?

Dit artikel introduceert SKeDA, een slimme oplossing om deze AI-video's te beschermen. Het werkt als een onzichtbare, onuitwisbare vingerafdruk die in de video wordt verwerkt terwijl de video wordt gemaakt, niet erna.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Puzzel" die uit elkaar valt

Eerdere methoden om watermerken in video's te stoppen, waren als het plakken van een sticker op een al afgemaakte foto. Dat ziet er vaak lelijk uit of de sticker valt eraf als je de foto knipt of inkleurt.

Bij video's is het nog lastiger. Video's bestaan uit duizenden frames (beelden) per seconde. Als je een video comprimeert (kleiner maakt voor internet) of als er frames verdwijnen, raakt de volgorde vaak verward.

• De analogie: Stel je voor dat je een verhaal schrijft op 100 losse post-it's. Als je die post-it's in de juiste volgorde plakt, lees je het verhaal. Maar als iemand er een paar weggooit, ze verwisselt of de volgorde verandert, is het verhaal onleesbaar. Eerdere methoden hadden een "streng" systeem: ze hoopten dat de post-it's precies in de juiste volgorde bleven staan. Dat werkt niet goed in de echte wereld.

2. De Oplossing: SKeDA

SKeDA lost dit op met twee slimme trucs:

Truc 1: De "Shuffle-Key" (De Verwarde Sleutel)

In plaats van te hopen dat de post-it's in de juiste volgorde blijven, maakt SKeDA een magische sleutel aan.

• Hoe het werkt: De AI gebruikt één basis-woord (een wachtwoord) om de video te maken. Maar voor elk frame (elk beeldje) wordt dat woord even anders "geschud" of gemixt, net als een deck kaarten dat wordt geschud.
• De analogie: Stel je voor dat je een geheim bericht in een video verstopt. In plaats van het bericht in de juiste volgorde te schrijven, schrijf je het op 100 verschillende manieren op, maar altijd met dezelfde basisletters. Als iemand de video bekijkt en 10 frames mist of de volgorde verandert, maakt dat niet uit. De computer kan de "schuifbeweging" (de shuffle) terugdraaien en het bericht nog steeds reconstrueren, omdat het genoeg stukjes heeft om het hele plaatje te maken. Het is alsof je een puzzel hebt waarbij je niet elke losse puzzelstukjes nodig hebt, maar alleen genoeg stukjes om het patroon te herkennen.

Truc 2: De "Differential Attention" (De Slimme Kijker)

Niet alle frames in een video zijn even belangrijk. Soms is er een heel rustig frame, en soms is er een frame waar veel actie is.

• Hoe het werkt: De SKeDA-methode kijkt tijdens het uitlezen van het watermerk niet naar alle frames met dezelfde kracht. Het let op welke frames het meest stabiel zijn en welke het beste het watermerk dragen.
• De analogie: Stel je voor dat je probeert een fluisterend gesprek te horen in een drukke kamer. Je luistert niet even hard naar iedereen. Je leunt naar voren bij de mensen die het duidelijkst fluisteren en negeert de mensen die schreeuwen of niet duidelijk zijn. SKeDA doet precies dit: het geeft meer gewicht aan de "rustige" frames die het watermerk goed bewaren, en minder gewicht aan de frames die door compressie of ruis zijn beschadigd.

3. Waarom is dit geweldig?

• Onzichtbaar: De video ziet er precies hetzelfde uit als zonder watermerk. Je kunt het niet zien met het blote oog.
• Onuitwisbaar: Zelfs als iemand de video inkleurt, verkleint, of er frames uit haalt, blijft het watermerk herkenbaar.
• Geen extra training: De makers hoeven de AI niet opnieuw te leren; ze voegen gewoon deze "schuif- en kijk-truc" toe aan het proces.

Conclusie

SKeDA is als een onzichtbare, onbreekbare handtekening die in de DNA-structuur van de video wordt gelegd terwijl hij wordt geboren. Of je nu de video op een telefoon bekijkt, op YouTube streamt, of er een screenshot van maakt: de AI kan altijd nog zeggen: "Hey, deze video is gemaakt door Model X, en deze specifieke gebruiker heeft hem gegenereerd."

Het zorgt ervoor dat we in een wereld vol nep-video's en diefstal van intellectueel eigendom, toch nog kunnen weten wie de echte maker is.

Technische samenvatting

Probleemstelling

De snelle opkomst van tekst-naar-video generatiemodellen (zoals CogVideo, Make-A-Video) heeft zorgen gewekt over auteursrecht, authenticiteit en misbruik van gegenereerde content. Hoewel watermerken een oplossing bieden, zijn bestaande methoden onvoldoende voor video:

1. Fragiele synchronisatie: Bestaande generatieve watermerkmethode voor afbeeldingen zijn vaak gebaseerd op strikte alignering tussen videoframes en frame-afhankelijke pseudo-willekeurige binaire sequenties. Zodra deze alignering verstoord wordt door videobewerkingen (zoals het verwijderen van frames, herschikken of opnieuw coderen), faalt de extractie van het watermerk.
2. Videospesifieke vervormingen: Operaties zoals inter-frame compressie (bijv. H.264/H.265) en temporale jitter vernietigen de temporale alignering die nodig is voor extractie op basis van invertie, wat leidt tot een gebrekkige herstelbaarheid van het watermerk.
3. Kwaliteitsverlies: Traditionele post-hoc watermerkmethode (na het genereren) introduceren vaak visuele artefacten of vervorming, wat de onzichtbaarheid en de kwaliteit van de video aantast.

Methodologie: SKeDA

Het paper introduceert SKeDA, een generatief watermerksysteem dat specifiek is ontworpen voor tekst-naar-video diffusiemodellen. Het systeem werkt door het watermerk direct in de latente ruimte van het diffusiemodel te embedden voordat de video gegenereerd wordt. Dit gebeurt in twee hoofdcomponenten:

1. SKe Module: Shuffle-Key-based Distribution-preserving Sampling

Deze module lost het probleem van strikte frame-alignering op en zorgt voor verliesloze kwaliteit.

• Principe: In plaats van unieke sleutels per frame te gebruiken, genereert SKeDA één basis-pseudo-willekeurige binaire sequentie voor het versleutelen van het watermerk.
• Permutatie: Frame-specifieke encryptie-sequenties worden gegenereerd door deze basissequentie te permuteren (herschikken).
• Voordeel: Dit transformeert de extractie van een "synchronisatiegevoelige sequentie-decodering" naar een "permutatietolerante aggregatie op set-niveau". Zelfs als frames verloren gaan of in een andere volgorde worden geplaatst, kan het watermerk nog steeds betrouwbaar worden gereconstrueerd door de verzameling van bits te analyseren.
• Kwaliteit: Omdat de verdeling van de ruis (Gaussian noise) behouden blijft, blijft de visuele kwaliteit van de gegenereerde video onaangetast (lossless embedding).

2. DA Module: Differential Attention

Deze module verbetert de robuustheid tijdens het extraheren van het watermerk.

• Werking: De module berekent de verschillen tussen frames (inter-frame differences) en past dynamisch de aandachtsgewichten toe tijdens het extraheren.
• Adaptieve Weegfactoren: Frames met hoge stabiliteit (hoge gelijkenis met de eerste frame) krijgen een hogere weegfactor, terwijl frames met veel vervorming of beweging minder gewicht krijgen.
• Doel: Dit verhoogt de betrouwbaarheid van de extractie onder compressie, frameverlies en temporale vervormingen zonder dat het onderliggende generatiemodel opnieuw getraind hoeft te worden.

Belangrijkste Bijdragen

1. Nieuwe Generatieve Video-Watermerkmethode: Een methode die gelijktijdig hoge generatiekwaliteit en robuustheid behoudt door de SKe-module, die de Gaussische ruisverdeling behoudt terwijl het watermerk onzichtbaar wordt ingebed.
2. DA-Module voor Extractie: Een innovatieve aanpak die frame-differentiatie gebruikt om adaptieve gewichten toe te kennen, waardoor de stabiliteit van de watermerkhervinding onder diverse vervormingen drastisch verbetert.
3. Robuustheid zonder Retraining: Het systeem vereist geen aanpassing van het bestaande tekst-naar-video model en is effectief tegen een breed scala aan aanvallen, waaronder compressie, frame-manipulatie en ruis.

Resultaten

Uitgebreide experimenten op het WebVid-10M dataset tonen de superioriteit van SKeDA ten opzichte van bestaande baselines (zoals HiDDeN, VideoSeal, REVMark, DVMark):

• Visuele Kwaliteit: SKeDA behoudt een hoge visuele kwaliteit.
  • FVD (Fréchet Video Distance): 361.3 (lager is beter), wat beter is dan baselines zoals DVMark (382.8).
  • CLIP-score: 0.3345, wat aangeeft dat de semantische consistentie met de prompt hoog blijft.
  • Video Quality (VBench): 0.7898, de hoogste score onder alle geteste methoden.
• Robuustheid:
  • Compressie: Bij H.264 compressie (CRF=30) bereikt SKeDA een bit-accuraatheid van 96,87%, wat aanzienlijk hoger is dan de volgende beste methode (DVMark: ~79,96%). Zelfs bij extreme compressie (CRF=40, waarbij de videogrte 1,8% van het origineel is) blijft de nauwkeurigheid rond de 80%.
  • Frame Manipulatie: Het systeem presteert uitstekend bij frameverlies, frame-uitwisseling en frame-averaging, met een gemiddelde bit-accuraatheid van 98,53% over alle testscenario's.
  • Aanvallen: Het systeem behoudt een nauwkeurigheid van >99% bij veelvoorkomende beeldvervormingen zoals ruis, wazigheid en kleurveranderingen.

Betekenis

SKeDA biedt een efficiënte en robuuste technische oplossing voor de bescherming van auteursrechten en de traceerbaarheid van AI-genereren video-inhoud. Door het watermerk diep te integreren in het diffusieproces (in de latente ruimte) en gebruik te maken van permutatie-tolerantie en adaptieve aandacht, overwint het de fundamentele beperkingen van bestaande methoden. Dit maakt het mogelijk om de oorsprong van een video (welk model) en de maker (welke gebruiker) te verifiëren, zelfs nadat de video zwaar bewerkt of gecomprimeerd is. Dit is cruciaal voor het handhaven van vertrouwen in digitale ecosystemen en het naleven van nieuwe regelgeving zoals de EU AI Act.