🤖 machine learning

SPDMark: Selective Parameter Displacement for Robust Video Watermarking

SPDMark is een nieuw framework voor in-generatie videowatermerking dat door selectieve parameterverplaatsing met LoRA robuuste, onzichtbare en computerefficiënte watermerken introduceert die zelfs na tijdelijke manipulaties betrouwbaar gedetecteerd en gelokaliseerd kunnen worden.

Oorspronkelijke auteurs: Samar Fares, Nurbek Tastan, Karthik Nandakumar

Gepubliceerd 2026-04-02

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Samar Fares, Nurbek Tastan, Karthik Nandakumar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een magische filmkast hebt die elke dag nieuwe, ultra-realistische video's maakt op basis van wat je tegen haar zegt. Dit is wat moderne kunstmatige intelligentie (AI) doet. Maar er zit een groot probleem aan: hoe weet je of een video echt door die AI is gemaakt, of dat iemand het heeft vervalst? En hoe kun je bewijzen wie de maker is, als iemand de video bewerkt, knipt of van snelheid verandert?

De wetenschappers in dit artikel hebben een slimme oplossing bedacht, genaamd SPDMark (uit te spreken als 'SpeedMark'). Laten we uitleggen hoe dit werkt, zonder ingewikkelde wiskunde, maar met een paar leuke vergelijkingen.

1. Het probleem: De onzichtbare handtekening

Vroeger probeerden mensen watermerken (zoals een onzichtbaar stempel) in video's te zetten door de pixels zelf te veranderen, net als iemand die een onzichtbare inkt op een foto plakt.

Het nadeel: Als je de foto dan inkleurt, knipt of verkleint, verdwijnt de inkt vaak. Of het maakt de foto er 'ruw' uit.
De nieuwe aanpak: In plaats van de inhoud van de video te veranderen, veranderen deze onderzoekers de machine die de video maakt.

2. De oplossing: De "Knikkerbak" van de AI

Stel je de AI die video's maakt voor als een gigantische, ingewikkelde knikkerbak met duizenden schuiven en wieltjes (de "parameters"). Normaal gesproken staan deze schuiven op een vaste stand om mooie video's te maken.

SPDMark doet iets heel slim:
In plaats van de video zelf te beschadigen, schuiven ze een paar specifieke wieltjes in de machine een heel klein beetje opzij.

De sleutel: Ze hebben een speciale sleutel (een wachtwoord). Afhankelijk van welke sleutel je gebruikt, schuiven ze andere wieltjes opzij.
De magie: Omdat ze alleen een paar wieltjes heel subtiel verplaatsen, ziet de video er voor het menselijk oog precies hetzelfde uit. Het is alsof je een auto een heel klein beetje anders afstelt; hij rijdt nog steeds perfect, maar hij heeft nu een geheime "vibratie" die alleen de fabrikant kan horen.

3. Waarom is dit zo slim? (De LoRA-methode)

Je zou denken: "Als ik de wieltjes verplaats, moet ik dan de hele machine opnieuw leren?" Nee, dat zou te lang duren.
De onderzoekers gebruiken een trucje genaamd LoRA (Low-Rank Adaptation).

De analogie: Stel je voor dat de AI-machine een enorme bibliotheek is. In plaats van alle boeken opnieuw te schrijven, plakken ze een paar handgeschreven post-it-notities op de ruggen van de boeken.
Als je een andere sleutel gebruikt, plak je een ander setje post-its op de boeken. De basisbibliotheek blijft intact, maar de "lezing" verandert subtiel. Hierdoor kunnen ze duizenden verschillende watermerken maken zonder de machine opnieuw te hoeven trainen.

4. Het tijdsprobleem: De "Frame-Per-Frame" code

Video's zijn lastig omdat ze bewegen. Als iemand een video versnelt, vertragen, of een paar frames (beelden) verwisselt, raakt de synchronisatie vaak kwijt.

De oude methode: Zet één groot watermerk in de hele video. Als je één frame verwijdert, is de hele boodschap weg.
De SPDMark-methode: Ze zetten een uniek wachtwoord in elk individueel beeldje (frame) van de video.
- Beeldje 1 heeft code "A".
- Beeldje 2 heeft code "B".
- Beeldje 3 heeft code "C".

Als iemand nu een paar beelden verwijdert of verwisselt, kan de detector (de "politie") nog steeds zien: "Ah, dit beeldje hoort bij code B, maar het staat nu op plek 5. En dit beeldje hoort bij code D, maar dat mist."
Ze gebruiken een slim algoritme (een soort puzzeloplosser) om de beelden weer in de juiste volgorde te leggen, zelfs als de video is geknipt.

5. Wat levert dit op?

De tests in het artikel tonen aan dat SPDMark drie dingen doet die andere methoden niet goed kunnen:

Onzichtbaar: Je ziet niets. De video ziet er net zo mooi uit als zonder watermerk.
Onverwoestbaar: Zelfs als je de video comprimeert (zoals op WhatsApp), er een filter overheen legt, of beelden verwijdert, blijft het watermerk leesbaar.
Snel: Het kost bijna geen extra tijd om de video te maken of te controleren.

Samenvatting in één zin

SPDMark is als het geven van een geheime, onzichtbare "stempel" aan de machine die de video maakt, zodat elke video een unieke, onuitwisbare vingerafdruk heeft die zelfs na het knippen en plakken van de film nog steeds te traceren is.

Dit is een enorme stap voorwaarts om te voorkomen dat AI-video's worden misbruikt, en om de oorsprong van digitale content veilig te stellen.

Probleemstelling

De snelle opkomst van hoogwaardige videogeneratiemodellen (zoals Sora, Stable Video Diffusion) heeft de noodzaak vergroot voor robuuste watermerksystemen om de herkomst van gegenereerde video's te kunnen traceren en misbruik te voorkomen. Bestaande methoden voor video-watermerking kampen echter met een fundamenteel compromis tussen drie cruciale eisen:

Onopvallendheid (Imperceptibility): Het watermerk mag de visuele kwaliteit en de temporale coherentie (beweging) van de video niet verstoren.
Robuustheid: Het watermerk moet herstelbaar blijven na veelvoorkomende bewerkingen zoals compressie, bijsnijden, frame-dropping of -swapping.
Efficiëntie: De methode moet computatie-efficiënt zijn, zowel tijdens het genereren als het extraheren.

Bestaande aanpakken falen vaak in deze balans:

Post-hoc methoden werken na de generatie, voegen latentie toe en kunnen geen gebruik maken van generatieve priors.
In-generation methoden (zoals noise-space technieken) zijn vaak rekenkundig zwaar (bijv. door DDIM-inversie) of fragiel bij temporale manipulaties.
Model fine-tuning methoden moduleren vaak uniform of gebruiken vaste handtekeningen, wat beperkingen oplevert voor per-frame controle en temporale forensiek.

Methodologie: SPDMark

Het paper introduceert SPDMark (Selective Parameter Displacement), een nieuw kader voor in-generation video-watermerking. In plaats van pixels of ruis te manipuleren, worden watermerken ingebed door selectief de parameters van het generatieve model te verplaatsen.

Kerncomponenten:

Selectieve Parameter Verplaatsing (SPD):
- Het watermerk wordt ingebed door een subset van de parameters ( $\Phi_M$ ) van het gefroren generatieve model (specifiek de decoder) te wijzigen.
- De verplaatsing ( $\Delta\Phi$ ) wordt gemodelleerd als een additieve compositie van laag-voor-laag basisverschuivingen.
- Om parameter-efficiëntie te garanderen, worden deze basisverschuivingen geïmplementeerd met Low-Rank Adaptation (LoRA). Dit betekent dat kleine, laag-rang matrices ( $A$ en $B$ ) worden geleerd die de oorspronkelijke parameters aanpassen.
Sleutel-gebaseerde Selectie:
- Een getrainde "woordenlijst" (dictionary) van LoRA-basisverschuivingen ondersteunt willekeurige watermerksleutels zonder hertraining.
- Een specifieke watermerksleutel ( $\kappa$ ) fungeert als index die bepaalt welke combinatie van basisverschuivingen per laag wordt geactiveerd. Dit maakt multi-key watermerking mogelijk met minimale inferentie-overhead.
Per-Frame Watermerking en Forensiek:
- Om temporale manipulaties (zoals het verwijderen of herschikken van frames) te detecteren, wordt een uniek watermerkbericht per frame gegenereerd.
- Deze berichten worden afgeleid van een basis-sleutel ( $K_{base}$ ) via een cryptografische hash-functie (bijv. HMAC-SHA256), zodat elke frame een specifieke, unieke "vingerafdruk" heeft.
Training en Extractie:
- Training: De basisverschuivingen en de watermerk-extractor worden gezamenlijk getraind door een verliesfunctie te minimaliseren die bestaat uit:
  - Message Recovery Loss: Zorgt voor nauwkeurige herwinning van het bericht.
  - Imperceptibility Loss: Een gewogen combinatie van perceptuele gelijkenis (LPIPS) en temporale consistentie (vermijden van flickering door luminantieverschillen tussen frames te minimaliseren).
- Extractie: Een extractor (ResNet-50) voorspelt per frame het ingebedde bericht.
- Verificatie en Alignering: Omdat frames kunnen zijn verwijderd of geswapd, wordt Maximum Bipartite Matching (Hungarian algoritme) gebruikt om de juiste volgorde te herstellen. Een statistische hypothesetoets bepaalt vervolgens of het watermerk geldig is en lokaliseert eventuele manipulaties.

Belangrijkste Bijdragen

SPD Framework: Een schaalbaar kader voor multi-key watermerking in videodiffusiemodellen via selectieve parameterverplaatsing.
Efficiënte Implementatie: Gebruik van LoRA voor basisverschuivingen, wat zorgt voor een lage parameter-voetafdruk en geen hertraining per nieuwe sleutel vereist.
Temporale Forensiek: Een mechanisme voor per-frame watermerking met een verificatieprocedure op basis van bipartite matching, wat het mogelijk maakt om frame-dropping, -swapping en -inserties te lokaliseren.
Robuustheid: Demonstratie van een systeem dat zowel onopvallend is als bestand tegen een breed scala aan aanvallen, zonder de computatiekosten van DDIM-inversie.

Resultaten

De auteurs hebben SPDMark getest op twee modellen: Stable Video Diffusion (SVD-XT) en ModelScope.

Kwaliteit en Onopvallendheid: SPDMark behaalde de hoogste scores voor Subject Consistency (SC) en Motion Smoothness (MS) in vergelijking met bestaande methoden (VideoShield, VideoSeal, VidSig). De visuele kwaliteit bleef intact, zelfs bij hoge watermerkdichtheid.
Extractie Nauwkeurigheid:
- Op SVD-XT werd een bit-nauwkeurigheid van 99,5% bereikt.
- Op ModelScope werd 98,8% bereikt.
Robuustheid: SPDMark presteerde over het algemeen beter dan concurrenten (gemiddeld 93,5% robuustheid op SVD-XT en 93,9% op ModelScope) tegen:
- Fotometrische en ruimtelijke vervormingen (ruis, blur, bijsnijden).
- Temporale manipulaties (frame-dropping, swapping, invoegen).
- Real-world post-processing (hercompressie, schermopnames, inpainting).
Forensische Capaciteit: Het systeem kon frame-dropping en -swapping met een precisie/recall van bijna 99,9% detecteren en lokaliseren.

Betekenis en Conclusie

SPDMark vertegenwoordigt een significante doorbraak in het veld van AI-video-watermerking. Het lost het traditionele compromis tussen onopvallendheid, robuustheid en efficiëntie op door watermerking direct in het generatieve proces te integreren via parametermanipulatie in plaats van signaalmanipulatie.

De belangrijkste voordelen zijn:

Schaalbaarheid: Eén getraind model kan onbeperkt unieke watermerken genereren voor verschillende gebruikers of scenario's zonder extra training.
Temporale Integriteit: Het vermogen om per-frame unieke codes te embedden en deze te aligneren, maakt het systeem uniek geschikt voor het detecteren van complexe tijdsgerelateerde manipulaties, wat essentieel is voor forensisch onderzoek.
Efficiëntie: Door het vermijden van DDIM-inversie en het gebruik van lichte LoRA-aanpassingen, is de methode praktisch inzetbaar voor real-time of near-real-time toepassingen.

SPDMark biedt een robuust en praktisch mechanisme om de herkomst van AI-genererde video's te waarborgen en draagt bij aan de strijd tegen misbruik van generatieve AI.