Shallow Diffuse: Robust and Invisible Watermarking through Low-Dimensional Subspaces in Diffusion Models

Probleemstelling

De snelle opkomst van door AI gegenereerde content (AIGC), met name via diffusiemodellen zoals Stable Diffusion en DALL-E, heeft ernstige zorgen opgewekt over desinformatie, auteursrechtenschending en "model collapse" (de degradatie van modellen die op AI-gegenereerde data worden getraind). Watermerken zijn een cruciale techniek om deze content te identificeren en misbruik te voorkomen.

Bestaande methoden kampen echter met twee belangrijke beperkingen:

1. Server-scenario (tijdens generatie): Methoden zoals Tree-Ring en RingID voegen watermerken toe aan het initiële ruispatroon (random seed). Dit verstoort echter de oorspronkelijke Gaussische verdeling aanzienlijk, wat leidt tot inconsistente beelden (zichtbare artefacten of kwaliteitsverlies) en beperkt de toepasbaarheid tot alleen de serverkant, omdat de initiële seed nodig is.
2. User-scenario (na generatie): Traditionele methoden voegen watermerken toe na de generatie, maar deze zijn vaak kwetsbaar voor eenvoudige aanvallen zoals vervaging of compressie.
3. Het compromis: Er ontbreekt een methode die zowel robuust (bestaat tegen aanvallen) als consistent (verandert de afbeelding nauwelijks) is, en die werkt in zowel server- als user-scenario's zonder het model opnieuw te hoeven trainen.

Methodologie: Shallow Diffuse

De auteurs introduceren Shallow Diffuse, een trainingsvrije watermerktechniek die gebruikmaakt van de intrinsieke eigenschappen van diffusiemodellen. De kern van de methode is het ontkoppelen van het watermerken van het generatieproces door gebruik te maken van een laag-dimensionale deelruimte (low-dimensional subspace).

Kernprincipes:

1. Lokale Lineariteit en Lage Rang: Diffusiemodellen vertonen lokale lineariteit in hun Posterior Mean Predictor (PMP). De Jacobiaan van deze predictor ($J_{\theta,t}$) is binnen een bepaald tijdsinterval (tussen $0.2T$ en $0.7T$) van lage rang (low-rank). Dit betekent dat de meeste richtingen in de beeldruimte in de "null space" van deze Jacobiaan liggen.
2. Injectie in de Null Space: In plaats van watermerken toe te voegen aan de initiële ruis, injecteert Shallow Diffuse het watermerk op een specifiek tijdstip $t^*$ (in de praktijk gekozen als $t^* = 0.3T$). Omdat het watermerkpatroon ($\Delta x$) is ontworpen om de ruimte uniform te beslaan, ligt een groot deel van het watermerk in de null space van de Jacobiaan.
   • Formeel: $J_{\theta,t} \cdot \Delta x \approx 0$.
   • Hierdoor heeft de injectie geen invloed op de voorspelling van het uiteindelijke beeld ($x_0$), wat de consistentie garandeert.
3. Frequentiedomein en Hoge Frequenties: Het watermerk wordt toegepast in het frequentiedomein (via DFT) op de hoge frequenties van het beeld op tijdstip $t^*$. Hoge frequenties corresponderen met fijne details en bevatten minder energie, wat zorgt voor onzichtbaarheid (invisibiliteit) en minder visuele vervorming dan methoden die lage frequenties manipuleren.
4. Twee Scenario's:
   • Server: Het watermerk wordt ingebracht tijdens het generatieproces (van $x_T$ naar $x_{t^*}$) via CFG (Classifier-Free Guidance).
   • User: Voor een reeds gegenereerd beeld wordt DDIM Inversion gebruikt om terug te gaan naar tijdstip $t^*$, het watermerk wordt toegevoegd, en het beeld wordt weer naar $x_0$ gedecodeerd.

Detectie:
Om het watermerk te detecteren, wordt het verdachte beeld via DDIM Inversion teruggebracht naar tijdstip $t^*$. Vervolgens wordt de correlatie berekend tussen het verwachte watermerksignaal en het daadwerkelijke signaal in het frequentiedomein.

Belangrijkste Bijdragen

1. Decoupling Strategie: Het eerste werk dat het watermerken succesvol ontkoppelt van het generatieproces door de laag-dimensionale structuur van diffusiemodellen te benutten. Dit elimineert de noodzaak om de initiële seed te kennen en voorkomt verstorende effecten op de beeldkwaliteit.
2. Theoretische Garantie: De auteurs leveren wiskundige bewijzen (Stelling 1 en 2) die aantonen dat de consistentie (de verandering in het gegenereerde beeld) begrensd is door de rang van de Jacobiaan ($r_t$) en niet door de omgevingsdimensie ($d$). Omdat $r_t \ll d$, is de verandering verwaarloosbaar.
3. Universele Toepasbaarheid: De methode werkt naadloos in zowel server- als user-scenario's zonder model-finetuning, wat het uniek maakt ten opzichte van eerdere werken.
4. Robuustheid: Door het watermerk in de null space te plaatsen en hoge frequenties te gebruiken, blijft het watermerk detecteerbaar zelfs na zware aanvallen (zoals regeneratie, compressie of adversarial attacks).

Resultaten

Uitgebreide experimenten met Stable Diffusion 2-1 en FLUX (Transformer-gebaseerd) tonen aan:

• Consistentie: Shallow Diffuse behaalt aanzienlijk hogere PSNR, SSIM en lagere LPIPS scores dan bestaande methoden (zoals Tree-Ring, RingID, Gaussian Shading). Het is bijna onmogelijk om visueel te onderscheiden van het originele beeld.
• Robuustheid: De methode presteert vergelijkbaar met of beter dan de state-of-the-art methoden (zoals RingID en Gaussian Shading) bij diverse aanvallen, waaronder JPEG-compressie, vervaging, en regeneratie-aanvallen (diffusion purification).
• Trade-off: De methode biedt een superieure trade-off tussen consistentie en robuustheid. Waar andere methoden moeten kiezen tussen hoge kwaliteit of hoge robuustheid, combineert Shallow Diffuse het beste van beide.
• Multi-key: De methode ondersteunt meervoudige watermerken (multi-key) voor verschillende gebruikers, hoewel de robuustheid iets afneemt bij zeer grote aantallen gebruikers (>16).

Betekenis en Impact

Shallow Diffuse is een doorbraak in de beveiliging van AI-gegenereerde content.

• Vertrouwen en Transparantie: Het biedt een praktische, trainingsvrije oplossing om de herkomst van afbeeldingen te verifiëren, wat essentieel is voor auteursrechtbescherming en het bestrijden van desinformatie.
• Implementatievriendelijkheid: Omdat het geen herscholing van het model vereist en werkt op bestaande API's (zowel server- als client-kant), is het direct inzetbaar in de industrie.
• Wetenschappelijke Inzicht: Het paper onderstreept het belang van de laag-dimensionale subruimtes in diffusiemodellen, wat niet alleen nuttig is voor watermerken, maar ook voor andere toepassingen zoals controllable image editing.

Kortom, Shallow Diffuse lost het fundamentele probleem op van het vinden van een balans tussen onzichtbaarheid, robuustheid en consistentie, en maakt watermerken voor diffusiemodellen voor het eerst echt praktisch toepasbaar in de echte wereld.