Technische Samenvatting: GhostVAE – Het omzeilen van semantische watermerken in diffusiemodellen via een stealthy backdoor

Probleemstelling

Semantische watermerken zijn uitgegroeid tot een primaire technische oplossing voor het vaststellen van de herkomst van afbeeldingen gegenereerd door Latent Diffusion Models (LDMs). Deze schema's, zoals Tree-Ring, Gaussian Shading en PRCMark, embedden informatie in de initiële latente ruis van het generatieproces, waarbij ze vertrouwen op het behoud van de latente Gaussische distributie om de getrouwheid van de afbeelding te waarborgen. Een cruciale aanname in deze systemen is dat de detectiepipeline, die doorgaans een Variational Autoencoder (VAE) gebruikt om afbeeldingen terug naar de latente ruimte te mappen, betrouwbaar is.

Dit artikel identificeert een fundamentele kwetsbaarheid in deze aanname: het vertrouwen op neurale netwerken voor detectie introduceert een backdoor attack surface. De auteurs postuleren een dreigmodel waarbij een kwaadwillende modelleverancier, terwijl hij extern voldoet aan regelgevende vereisten door een "bewijsbaar veilig" watermerkingsschema te implementeren, stiekem een backdoor in de VAE-encoder plant. Dit stelt de leverancier in staat om een universele trigger te distribueren naar samenzweerderige gebruikers. Wanneer een afbeelding met deze trigger wordt verwerkt door de backdoored encoder, wordt de watermerkdetectie selectief uitgeschakeld, wat de generatie van ontraceerbare, schadelijke inhoud mogelijk maakt die regulatoire audits omzeilt.

Methodologie: GhostVAE

De auteurs stellen GhostVAE voor, een tweestaps backdoor attack framework ontworpen om een stealthy backdoor in de VAE-encoder van LDMs te planten. De aanval is ontworpen om selectief te zijn (detectie alleen omzeilen wanneer getriggerd), stealthy (ondetecteerbaar voor white-box auditors) en generaliseerbaar over verschillende LDM-architecturen en watermerkingsschema's.

Fase 1: Universele Trigger Generatie

De eerste fase richt zich op het construeren van een robuuste, onopvallende trigger ($\delta$) die op elke afbeelding kan worden toegepast.

• Doel: De trigger moet een consistent "sign-flip" effect induceren in de latente ruimte van de gecodeerde afbeelding, terwijl deze robuust blijft tegen veelvoorkomende corrupties en zuiveringstechnieken.
• Optimalisatie: De trigger wordt geoptimaliseerd via Projected Gradient Descent (PGD) om een verliesfunctie te minimaliseren die twee termen combineert:
  1. Flipping Loss ($L_{flip}$): Moedigt de latente representatie van de getriggerde afbeelding ($E_{bd}(x+\delta)$) aan om het negatieve van de schone afbeelding's latente representatie ($E_{cl}(x)$) te zijn. Dit verstoort watermerkingsschema's die vertrouwen op het teken van de latente waarde (bijv. Gaussian Shading, PRCMark) of de Fourier-structuur (Tree-Ring).
  2. Robustness Loss ($L_{robust}$): Maakt gebruik van power spectrum regularisatie (geadapteerd van BlurGuard) om het vermogensspectrum van de getriggerde afbeelding uit te lijnen met het origineel. Dit wordt bereikt door tijdens de optimalisatie een leerbare Gaussische vervaging op de trigger toe te passen, wat ervoor zorgt dat de trigger geen hoogfrequente signaturen heeft die door zuiveringsverdedigingen (zoals DiffPure) kunnen worden onderdrukt.

Fase 2: Backdoored Encoder Training

De tweede fase verfijnt de VAE-encoder ($E_{bd}$) om betrouwbaar te reageren op de trigger, terwijl de normale functionaliteit op ongekwalificeerde inputs behouden blijft.

• Multi-Task Learning: De encoder wordt getraind om een samengestelde verliesfunctie te minimaliseren:
  1. Functionality Loss ($L_{func}$): Zorgt ervoor dat de output van de encoder op schone afbeeldingen overeenkomt met de ongekwalificeerde referentie-encoder ($E_{cl}$), waardoor de generatiegetrouwheid en de detectie van ongekwalificeerde afbeeldingen behouden blijven.
  2. Backdoor Loss ($L_{bd}$): Forceert het sign-flip gedrag specifiek voor getriggerde inputs.
  3. Stealth Loss ($L_{stealth}$): Om detectie in de parameterruimte te voorkomen, gebruiken de auteurs een Maximum Mean Discrepancy (MMD) regularisator. Deze stemt de kanaalsgewijze gewichtsdistributies van de backdoored encoder af op de ongekwalificeerde referentie, waardoor wordt voorkomen dat het backdoor-gedrag geconcentreerd raakt in specifieke neuronen die door pruning- of activatieclustering-verdedigingen gemarkeerd zouden kunnen worden.

Belangrijkste Bijdragen

1. Formalisering van het Dreigmodel: Het artikel identificeert en formaliseert een nieuwe dreiging waarbij de integriteit van de VAE-encoder in gevaar komt, wat de betrouwbaarheid van semantische watermerkingssystemen ondermijnt, zelfs als de watermerkembedding zelf cryptografisch correct is.
2. GhostVAE Attack Framework: De auteurs stellen een praktische, stealthy aanval voor die een hoge evasie-ratio bereikt zonder de beeldkwaliteit te verslechteren of per afbeelding optimalisatie tijdens de inferentie te vereisen.
3. Uitgebreide Defensie Evaluatie: Het werk biedt een rigoureuze evaluatie van 17 representatieve verdedigingen over de dimensies van inputruimte, parameterruimte en latenteruimte, waarmee de beperkingen van huidige mitigatiestrategieën tegen deze specifieke dreiging worden aangetoond.

Experimentele Resultaten

De auteurs evalueerden GhostVAE op drie state-of-the-art LDMs (SD-2.1, SD-XL, FLUX-1.0) en drie semantische watermerkingsschema's (Tree-Ring, Gaussian Shoring, PRCMark).

• Attack Success Rate (ASR): GhostVAE behaalde een gemiddelde ASR van 94,6% in alle settings. Opvallend genoeg bereikte het een ASR van 100% op SD-2.1 onder het PRCMark-schema.
• Benigne Prestaties: De aanval behield de detectie van ongekwalificeerde watermerk-afbeeldingen, met een gemiddelde True Positive Rate (TPR) van 94,4% en een bijna nul False Positive Rate (FPR).
• Beeldkwaliteit: De trigger was onzichtbaar, met minimale impact op de visuele getrouwheid (bijv. de PSNR bleef hoog en LPIPS-scores gaven verwaarloosbare perceptuele degradatie aan).
• Vergelijking met Verwijderingsaanvallen: In tegenstelling tot bestaande watermerkverwijderingsaanvallen (bijv. Embedding, Imprint, Regeneration), die aanzienlijke computationele kosten, iteratieve optimalisatie of diffusie-sampling vereisen, werkt GhostVAE met een verwaarloosbare latentie (ongeveer $5 \times 10^{-5}$ s per afbeelding) en zonder diffusie-sampling tijdens de testtijd.

Evasie van Defensies

GhostVAE demonstreerde robuustheid tegen een breed scala aan verdedigingen:

• Input-ruimte: De trigger bleef effectief tegen beeldcorrupties (JPEG, ruis, rotatie), zuiveringstechnieken (DiffPure) en sociale media-pipelines (X/Twitter).
• Parameter-ruimte: Pruning-gebaseerde verdedigingen (CLP, ANP, gestructureerde pruning) en fine-tuning verdedigingen (FT, FT-SAM, I-BAU) faalden om de backdoor te verwijderen zonder de ongekwalificeerde functionaliteit of de watermerkdetectie aanzienlijk te verslechteren.
• Latente-ruimte: De aanval omzeilde meta-classifier detectoren (Jumbo MNTD), activatieclustering en Kolmogorov-Smirnov tests, aangezien de latente distributies en activatiepatronen van de backdoored encoder statistisch ononderscheidbaar bleven van ongekwalificeerde encoders.

Betekenis en Claims

Het artikel concludeert dat de veiligheid van semantische watermerkingssystemen niet uitsluitend kan worden gegarandeerd door robuuste embedding-algoritmen; de onderliggende neurale netwerkcomponenten, specif kind de VAE-encoder, moeten ook beveiligd worden. De auteurs beweren dat:

• Fundamentele Kwetsbaarheid: Het vertrouwen op neurale netwerken voor detectie creëert een kritiek, onderbelicht aanvalsoppervlak dat de traceerbaarheid van door AI gegenereerde inhoud fundamenteel kan ondermijnen.
• End-to-End Beveiliging: Veilige implementatie vereist end-to-end beveiligingsoverwegingen, inclusief toezicht op het trainingstraject van het model en de integriteit van de VAE-componenten.
• Regulatoire Implicaties: Huidige regulatoire kaders die zich richten op de aanwezigheid van watermerken kunnen onvoldoende zijn als de detectiepipeline zelf gecompromitteerd is. De auteurs suggereren dat toezicht door vertrouwde derde partijen bij de training van VAE's en cryptografische integriteitscontroles voor modelcomponenten noodzakelijke mitigaties zijn.

Het werk benadrukt een kloof tussen de theoretische robuustheid van watermerkingsschema's en hun praktische veiligheid in de aanwezigheid van gecompromitteerde modelcomponenten, en dringt aan bij de gemeenschap om de beveiliging van de gehele generatieve modelpipeline aan te pakken.