Technische Samenvatting: Geleide Watermerking voor Diffusiemodellen

Probleemstelling

De snelle vooruitgang van diffusiemodellen heeft de generatie van hoogwaardige, fotorealistische afbeeldingen mogelijk gemaakt, wat aanzienlijke zorgen heeft opgewekt over de traceerbaarheid en identificatie van door AI gegenereerde inhoud. Regelgevende instanties en belanghebbenden uit de industrie vereisen robuuste mechanismen om synthetische media te onderscheiden van echte afbeeldingen, om modelinstorting (veroorzaakt door training op door AI gegenereerde data) te voorkomen en gebruikers te waarschuwen voor niet-reële inhoud.

Bestaande watermerkstrategieën voor diffusiemodellen vallen over het algemeen in twee categorieën, beide met beperkingen:

1. Post-hoc Watermerking: Het inbedden van een signaal in de afbeelding na de generatie. Hoewel deze methoden volwassen zijn, behandelen ze de gegenereerde afbeelding als een "host" en slagen ze er vaak niet in om het watermerk te integreren in de semantische inhoud van het generatieproces, wat de robuustheid mogelijk beperkt.
2. In-Generatie Watermerking: Het modificeren van het generatieproces zelf. Huidige benaderingen omvatten:
   • Op zaad gebaseerde methoden (bijv. Tree-Rings, Gaussian Shading): Het inbedden van patronen in de initiële ruiszaad. Deze hebben vaak moeite met geometrische aanvallen (bijv. bijsnijden, roteren) en kunnen de semantische inhoud of compositie van de afbeelding veranderen.
   • Op VAE-gebaseerde methoden (bijv. Stable Signature): Het fijnafstemmen van de Variational Autoencoder (VAE) aan het einde van het diffusieproces. Hoewel effectief, richt dit de watermerk-energie zich op hoogfrequente details, waardoor het kwetsbaar is voor laagdoorlaatfilters (bijv. JPEG-compressie). Bovendien vereist het het hertrainen of fijnafstemmen van het model.

Een kritieke uitdaging blijft bestaan: het converteren van robuuste post-hoc watermerkschema's naar in-generatie methoden zonder het diffusiemodel of de watermerkdecoder opnieuw te trainen, terwijl de beeldkwaliteit en diversiteit behouden blijven.

Methodologie

Het artikel stelt Geleide Watermerking voor, een methode die watermerken inbedt tijdens het diffusieproces door het sampling-traject te sturen met behulp van gradiënten van een kant-en-klare watermerkdecoder.

Kernmechanisme

De methode behandelt de watermerkdecoder als een differentieerbare classifier. In plaats van een afbeelding te genereren en vervolgens te controleren op een watermerk, wordt het diffusieproces gestuurd om afbeeldingen te genereren die de decoder intrinsiek identificeert als gewatermerkt.

1. Gradiënt-gebaseerde Geleiding:
   De standaard ontdenningsstap $\epsilon_\theta(z_t, t)$ wordt gewijzigd door een term evenredig met de gradiënt van een verliesfunctie $L$ met betrekking tot de latente variabele $z_t$ af te trekken:
   $$\hat{\epsilon}(z_t, t) := \epsilon_\theta(z_t, t) - \omega \sqrt{1 - \bar{\alpha}_t} \nabla_{z_t} \log L(z_t)$$
   Hierbij regelt $\omega$ de geleidingssterkte.

2. Verliesfunctie:
   Het verlies $L$ is gedefinieerd om de hoek te minimaliseren tussen de feature-vector die uit de gegenereerde afbeelding is gehaald $\phi(x_0(z_t))$ en het geheime watermerkvector $u_m$. Voor zero-bit detectie is dit gelijk aan het maximaliseren van de cosinus-similariteit:
   $$L(z_t, u_m) := 1 - \cos(\phi(x_0(z_t)), u_m)$$
   Het minimaliseren van dit verlies verlaagt de p-waarde voor een gewatermerkte afbeelding, waardoor de detectiekans toeneemt.

3. Robuustheid via Augmentatie:
   Om robuustheid te garanderen tegen aanvallen waarvoor de decoder oorspronkelijk niet was getraind, omvat de gradiëntberekening een set van afbeeldingstransformaties $\mathcal{T}$ (bijv. JPEG-compressie, helderheid/contrast-aanpassingen, bijsnijden). De gradiënten van deze geaugmenteerde weergaven worden geaggregeerd (met behulp van het PCGrad-algoritme om conflicterende gradiëntrichtingen te behandelen) om de ruis-schatting bij te werken:
   $$\hat{\epsilon}_{\mathcal{T}}(z_t) := \epsilon_\theta(z_t) - \sqrt{1 - \bar{\alpha}_t} \text{Agg}(\{\nabla_{z_t} \log L(z_t, u_m; T) \mid T \in \mathcal{T}\})$$
   Dit stelt de methode in staat de robuustheid van de vooraf getrainde decoder te erven en uit te breiden naar nieuwe transformaties zonder de decoder opnieuw te trainen.

4. Optimalisaties:

   • Partiële Geleiding: Geleiding wordt alleen toegepast tijdens de laatste $T_w$ stappen van het diffusieproces om de rekenkosten te verlagen.
   • Gradiënt-Clipping: Om visuele artefacten te voorkomen, wordt de gradiëntnorm afgeknipt en wordt de geleidingssterkte gecontroleerd via hyperparameters ($\omega, \eta, \tau$).

Belangrijkste Bijdragen

1. Eerste Op Geleiding Gebaseerde In-Generatie Watermerking: Het artikel presenteert de eerste methode om watermerken direct in het diffusieproces in te bedden met behulp van gradiëntgeleiding, waardoor elk post-hoc schema wordt omgezet in een in-generatie methode.
2. Geen Hertraining Vereist: De methode vereist geen fijnafstemming van het diffusiemodel of de watermerkdecoder. Het maakt gebruik van bestaande, kant-en-klare decoders.
3. Verhoogde Robuustheid: Door augmentaties op te nemen in de gradiëntberekening, verbetert de methode de robuustheid tegen aanvallen (inclusief die waarvoor de decoder niet was getraind) zonder de detector opnieuw te trainen.
4. Gebalanceerde Afweging: De benadering vindt een balans tussen op zaad gebaseerde schema's (die de semantische inhoud veranderen) en op VAE-gebaseerde/post-hoc schema's (die onzichtbare signalen toevoegen). Het behoudt de semantische diversiteit en kwaliteit van de generatie terwijl het watermerk wordt ingebed.

Experimentele Resultaten

De methode werd geëvalueerd op drie diffusiemodellen (Stable Diffusion 2, Flux-1.0, Sana) met behulp van twee state-of-the-art detectoren (Stable Signature en VideoSeal).

• Beeldkwaliteit: Kwantitatieve metrieken (FID, CLIP-score) tonen aan dat de gewatermerkte afbeeldingen kwalitatief niet te onderscheiden zijn van niet-gewatermerkte afbeeldingen. Visuele inspectie bevestigt dat de semantische inhoud, toon en compositie grotendeels behouden blijven, in tegenstelling tot de drastische veranderingen die bij sommige op zaad gebaseerde methoden worden waargenomen.
• Robuustheid (Multi-bit & Zero-bit):
  • Geometrische Aanvallen: De methode presteert aanzienlijk beter dan op zaad gebaseerde schema's (Tree-Rings, Gaussian Shading) tegen geometrische aanvallen zoals bijsnijden en roteren, door de robuustheid van de vooraf getrainde decoders te erven.
  • Waarde-gebaseerde Aanvallen: Het behoudt hoge robuustheid tegen JPEG-compressie en helderheid/contrast-veranderingen.
  • Adversariale Aanvallen: De methode toont superieure robuustheid tegen VAE-reiniging, regeneratie en gemiddelde aanvallen in vergelijking met Tree-Rings en Gaussian Shading.
• Foutalarmratio: De methode bereikt extreem lage foutalarmratio's (hoge $-\log_{10}(PFA)$) bij hoge detectiekansen ($PD=0.9$), en presteert beter dan zowel post-hoc als andere in-generatie baselines.
• Efficiëntie: Hoewel generatie 2–13 extra stappen vereist, is decodering direct (enkele forward pass), waardoor het tot 50 keer sneller is bij detectietijd in vergelijking met op zaad gebaseerde methoden die reverse diffusiestappen vereisen.

Betekenis en Claims

Het artikel beweert dat Geleide Watermerking een principiële, modulaire oplossing biedt voor het beveiligen van generatieve AI. De belangrijkste betekenis ligt in:

• Complementariteit: Het werkt naast bestaande technieken (zoals VAE-fijnafstemming) en kan worden toegepast op elk diffusiemodel zonder architecturale wijzigingen.
• Aanpasbaarheid: Het staat de directe implementatie van robuuste watermerking toe door gebruik te maken van bestaande, goed getrainde decoders, waardoor het hulpbronnen-intensieve proces van het hertrainen van modellen of decoders voor nieuwe aanvalsvector wordt vermeden.
• Praktijktoepasbaarheid: Door beeldkwaliteit en diversiteit te behouden terwijl hoge detecteerbaarheid en lage vals-positieven worden gewaarborgd, adresseert het de kritieke behoefte aan traceerbare AI-inhoud in regelgevende en beveiligingscontexten.

De auteurs erkennen beperkingen, waarbij zij opmerken dat robuustheid afhankelijk is van de visuele inhoud van de gegenereerde afbeelding en dat de generatietijd licht toeneemt. Ze benadrukken echter dat de afweging gunstig is gezien het wegvallen van de hertrainingsvereisten en de aanzienlijke winst in detectiesnelheid en robuustheid.