SHIFT: Stochastic Hidden-Trajectory Deflection for Removing Diffusion-based Watermark

1. Het Probleem: Kwetsbaarheid van Diffusion-Watermerken

Diffusiemodellen (zoals Stable Diffusion) genereren steeds realistischere afbeeldingen, wat leidt tot zorgen over misinformatie en auteursrechtenschending. Om de herkomst (provenance) van AI-inhoud te traceren, zijn er diffusion-based watermerkingstechnieken ontwikkeld. In plaats van watermerken na de generatie toe te voegen, worden deze diep ingebed in het generatieproces zelf (bijvoorbeeld door de initiële ruis te manipuleren of de trajecten in de latent-space te beperken).

De fundamentele zwakheid:
Alle bestaande verificatiemethoden voor deze watermerken baseren zich op één kritieke aanname: Traject-consistentie.

• De verdediger probeert de gegenereerde afbeelding via deterministische methoden (zoals DDIM-inversie) terug te rekenen naar de initiële ruis of latent-variabele.
• Als het traject van de generatie exact kan worden gereconstrueerd, kan het watermerk worden gedetecteerd.
• Het paper stelt dat deze afhankelijkheid van een exact, deterministisch traject een universeel en uitbuitbaar kwetsbaar punt is. Bestaande aanvallen (zoals regeneratie of optimalisatie) falen vaak omdat ze dit traject niet volledig kunnen verbreken zonder de beeldkwaliteit te verliezen.

2. Methodologie: SHIFT (Stochastic Hidden-Trajectory Deflection)

De auteurs introduceren SHIFT, een trainingsvrije aanval die geen kennis vereist van het specifieke watermerksysteem, de sleutel of het model. Het doel is om het generatietraject te "afbuigen" in de latent-space, zodat het watermerk statistisch ontkoppeld wordt van de gegenereerde afbeelding, terwijl de visuele kwaliteit behouden blijft.

SHIFT bestaat uit twee fasen:

Fase I: Gedeeltelijke Forward Diffusion (Re-noising)

• De watermerkte afbeelding ($x_w$) wordt eerst via de VAE-encoder omgezet naar de latent-space ($z_0$).
• Er wordt een gecontroleerde "forward diffusion" toegepast. Dit betekent dat er nieuwe ruis wordt toegevoegd aan de latent-variabele tot een bepaald tijdstip $t_\lambda$.
• Doel: Dit proces verwijdert traject-specifieke informatie (de "fijne details" van het watermerk) uit de latent-representatie, maar behoudt de grove semantische structuur van de afbeelding. De parameter $\lambda$ bepaalt de intensiteit van deze verwarring.

Fase II: Stochastische Reverse Resampling

• Vanuit het gedeeltelijk verstoord punt ($z_{t_\lambda}$) wordt de afbeelding opnieuw gegenereerd.
• In tegenstelling tot eerdere methoden die deterministische samplers (zoals DDIM) gebruiken, maakt SHIFT gebruik van een stochastische sampler (Euler ancestral sampler).
• Kernmechanisme: Bij elke stap in de reverse-diffusie wordt er nieuwe, onafhankelijke Brownse ruis ($\xi_t$) toegevoegd.
• Gevolg: Dit zorgt ervoor dat het gegenereerde traject niet meer uniek bepaald is door het startpunt. Het nieuwe traject divergeert volledig van het oorspronkelijke watermerk-traject. De score-functie van het model zorgt er nog steeds voor dat het resultaat een realistische afbeelding is, maar de latent-pad die wordt afgelegd is statistisch onafhankelijk van het originele watermerk.

3. Belangrijkste Bijdragen

1. Identificatie van een Universeel Kwetsbaar Punt: Het paper toont aan dat traject-consistentie de gemeenschappelijke zwakke schakel is van alle diffusion-watermerkingsschema's, ongeacht hun specifieke implementatie (ruis-ruimte, frequentiedomein of optimalisatie).
2. De SHIFT-aanval: Een trainingsvrije, "black-box" aanval die geen adversarial optimization of model-finetuning vereist. Het werkt puur door het gebruik van stochastische resampling om het traject te verbreken.
3. Theoretische Garantie: De auteurs leveren een formele analyse gebaseerd op de Wasserstein-afstand. Ze bewijzen wiskundig dat de ruis die wordt gereconstrueerd na de aanval statistisch onafhankelijk is van het originele watermerkruis. Dit bewijst dat deterministische resampling het watermerk niet kan verwijderen, terwijl stochastische resampling dit wel doet.
4. Superieure Prestaties: Experimenten tonen aan dat SHIFT niet alleen watermerken verwijdert, maar ook de hoogste beeldkwaliteit behoudt in vergelijking met bestaande methoden.

4. Resultaten

De methode is getest op negen representatieve watermerkingstechnieken (waaronder Tree-Ring, RingID, Gaussian Shading, SEAL, PRC, enz.) die drie verschillende paradigma's vertegenwoordigen.

• Aanvalssucces (ASR): SHIFT bereikt een aanvalssuccesrate van 95% tot 100% over alle geteste methoden.
  • Voorbeeld: Tegenover de "Tree-Ring" methode (die zeer robuust is tegen andere aanvallen) behaalt SHIFT 98% succes, terwijl een bestaande "black-box" aanval slechts 72% haalt.
  • Tegenover "Gaussian Shading" haalt SHIFT 97%, terwijl een "forgery attack" slechts 4% haalt.
• Beeldkwaliteit:
  • CLIP-score: SHIFT behaalt de hoogste score (32.194), wat aangeeft dat de semantische consistentie met de oorspronkelijke prompt uitstekend blijft.
  • FID (Fréchet Inception Distance): SHIFT heeft de laagste FID (73.47), wat betekent dat de gegenereerde afbeeldingen het meest lijken op de verdeling van echte afbeeldingen. Bestaande methoden hebben aanzienlijk hogere FID-scores (d.w.z. slechtere kwaliteit).
• Efficiëntie: De aanval vereist geen iteratieve optimalisatie of gradient-berekeningen per afbeelding, wat het computatie-efficiënt maakt.

5. Betekenis en Conclusie

Het paper legt een fundamenteel beveiligingsprobleem bloot in de huidige generatie van AI-watermerken. De afhankelijkheid van deterministische trajectreconstructie is een "single point of failure".

• Implicatie: Zolang verificatie afhankelijk blijft van het exact reconstrueren van het generatietraject, kunnen deze watermerken worden omzeild door stochastische afbuiging.
• Toekomstperspectief: De auteurs suggereren dat toekomstige provenance-mechanismen robuuster moeten zijn tegen stochastische trajectafwijkingen. Ze wijzen ook op de uitdagingen voor video-watermerken en andere generatieve modellen (zoals autoregressieve modellen) die mogelijk vergelijkbare traject-afhankelijkheden hebben.

Kortom, SHIFT demonstreert dat diffusion-watermerken niet onoverkomelijk zijn en dat de huidige "gouden standaard" voor AI-provenance een ernstig theoretisch en praktisch zwak punt heeft.