Towards Robust Content Watermarking Against Removal and Forgery Attacks

Probleemstelling

De opkomst van generatieve modellen, zoals text-to-image diffusion modellen (bijv. Stable Diffusion, DALL-E), heeft ernstige zorgen opgewekt over auteursrechten, de herkomst van afbeeldingen (provenance) en credit toewijzing. Watermerking wordt gezien als een veelbelovende oplossing om te verifiëren of een afbeelding afkomstig is van een specifiek model.

Echter, bestaande watermerkingstechnieken voor diffusion modellen (zoals Tree-Ring, RingID, Gaussian-Shading) zijn kwetsbaar voor twee soorten kwaadaardige aanvallen:

1. Verwijderingsaanvallen (Removal Attacks): Een aanvaller probeert een watermerkte afbeelding zodanig te manipuleren dat het watermerk onherkenbaar wordt, terwijl de visuele kwaliteit behouden blijft.
2. Vervalsingsaanvallen (Forgery Attacks): Een aanvaller probeert een niet-watermerkte (benigne) afbeelding te manipuleren zodat deze door de detector wordt herkend als watermerkt.

Bestaande methoden gebruiken vaak statische, vaste watermerken (bijvoorbeeld een vast patroon in de Fourier-ruimte). Dit biedt aanvallers onbedoeld "voorafgaande kennis" (prior knowledge) over de structuur van het watermerk, waardoor ze gradient-based methoden kunnen gebruiken om het watermerk te verwijderen of te vervalsen, zelfs met slechts één voorbeeldafbeelding.

Methodologie: ISTS

De auteurs stellen een nieuw paradigma voor: Instance-Specific watermarking with Two-Sided detection (ISTS). Deze methode combineert dynamische generatie met een robuuste detectiestrategie.

1. Instance-Specifieke Watermerking (Generatie)

In tegenstelling tot statische methoden, past ISTS het watermerk dynamisch aan per gegenereerde afbeelding op basis van de semantiek van de gebruikersprompt.

• Semantische Analyse: Eerst wordt een niet-watermerkte afbeelding gegenereerd en geëncodeerd naar een semantisch feature-vector met behulp van een CLIP-encoder.
• Dynamische Parameterselectie: Een vooraf getrainde "semantic-based selector" (gebaseerd op K-Means clustering) gebruikt deze feature-vector om unieke parameters te bepalen voor de watermerking:
  • Injectietijdstip ($t$): De stap in het diffusion-proces waarop het watermerk wordt ingebracht.
  • Locatie ($l$): De specifieke coördinaten in het frequentiedomein waar het patroon wordt geplaatst.
• Injectie: Het watermerkpatroon wordt op het specifieke tijdstip $t$ en op locatie $l$ toegevoegd aan het latent noise veld. Omdat de semantiek van de watermerkte en niet-watermerkte afbeelding zeer vergelijkbaar blijft, worden dezelfde parameters voorspeld voor beide, wat consistentie garandeert.

2. Tweezijdige Detectie (Two-Sided Detection)

Bestaande methoden gebruiken vaak een "eenzijdige" detectie, waarbij wordt gekeken of het watermerkpunt overeenkomt met het verwachte patroon. Dit maakt ze kwetsbaar voor aanvallen die de latent representatie naar het tegenovergestelde teken optimaliseren.

• De Oplossing: ISTS introduceert een detectiemetric die rekening houdt met zowel het originele patroon als het omgekeerde patroon.
• Formule: De detectiedistance $d$ wordt berekend als het minimum van de afstand tot het patroon $W$ en de afstand tot het negatieve patroon $-W$:
  $$d = \min \left( \frac{1}{|M|} \sum |W_i - F(z_T)_i|, \frac{1}{|M|} \sum |W_i + F(z_T)_i| \right)$$
  Hierdoor blijft de detector robuust, zelfs als een aanval probeert het watermerk te "flippen".

Belangrijkste Bijdragen

1. Dynamische Watermerking: Het doorbreken van statische patronen door het watermerk te koppelen aan de semantische inhoud van de prompt, waardoor het voor aanvallers onmogelijk wordt om een universeel patroon te extraheren.
2. Tweezijdige Detectie: Een innovatieve detectiemethode die kwetsbaarheden in eerdere systemen (die gevoelig waren voor tegenovergestelde latent representaties) elimineert.
3. Robuustheid: Een nieuw framework dat specifiek is ontworpen om bestand te zijn tegen zowel verwijderings- als vervalsingsaanvallen, zonder de beeldkwaliteit of semantische betekenis te verstoren.

Resultaten

De auteurs hebben ISTS getest tegen drie representatieve verwijderingsaanvallen (Imp-Removal, Avg-Removal, VAE-Removal) en drie vervalsingsaanvallen (Imp-Forgery, Avg-Forgery, VAE-Forgery) op Stable Diffusion 2.1.

• Tegen Verwijderingsaanvallen:

  • Bestaande methoden (zoals Tree-Ring, RingID) zagen hun detectie-AUC (Area Under Curve) instorten tot onder de 0.3 of zelfs 0.0 na aanvallen.
  • ISTS behaalde een AUC van 0.821 tegen Imp-Removal (een stijging van >20% ten opzichte van de beste baseline) en een TPR@1%FPR van 0.18 (een 18-voudige verbetering).
  • In zowel gemiddelde als worst-case scenario's presteerde ISTS superieur aan alle andere methoden.

• Tegen Vervalsingsaanvallen:

  • Voor vervalsing is een lagere AUC beter (minder kans dat een niet-watermerkte afbeelding als watermerkt wordt gezien).
  • Bestaande methoden hadden vaak een AUC > 0.95, wat betekent dat ze makkelijk te vervalsen waren.
  • ISTS bereikte een AUC van 0.634 tegen Imp-Forgery, wat een verbetering van >20% is ten opzichte van de beste baseline (Shallow Diffuse).

• Beeldkwaliteit en Robuustheid:

  • ISTS behoudt hoge beeldkwaliteit (PSNR, SSIM) en semantische consistentie (CLIP-Score), vergelijkbaar met de beste bestaande methoden.
  • De methode is ook robuust tegen standaard beeldvervormingen (rotatie, ruis, JPEG-compressie) en diffusion purification.

Betekenis

Dit paper is significant omdat het een fundamentele zwakte in de huidige generatie van content-watermerking aanpakt: de afhankelijkheid van statische patronen. Door watermerking te maken van een dynamisch, semantisch gebonden proces, creëren de auteurs een systeem dat veel moeilijker te omzeilen is voor kwaadaardige actoren. De combinatie van instance-specifieke injectie en tweezijdige detectie biedt een nieuwe standaard voor het beveiligen van gegenereerde content, wat essentieel is voor de toepassing van AI in de echte wereld waar auteursrechten en herkomstverificatie cruciaal zijn.