SLICE: Semantic Latent Injection via Compartmentalized Embedding for Image Watermarking

Probleemstelling

De opkomst van diffusiemodellen voor het genereren van afbeeldingen heeft de noodzaak van betrouwbare provenance (herkomstverificatie) vergroot. Bestaande watermerktechnieken voor generatieve modellen hebben echter ernstige beperkingen:

1. Inhoudsonafhankelijke methoden: Methoden die patronen in de initiële ruis injecteren (zoals Tree-Ring of Gaussian Shading) zijn kwetsbaar voor generatieve vervalsingsaanvallen (bijv. Latent Forgery Attack). Omdat deze patronen niet gekoppeld zijn aan de semantische inhoud van de afbeelding, kunnen ze worden verwijderd of nagebootst door de afbeelding opnieuw te genereren.
2. Globale semantische binding: Recentere semantische watermerken (zoals SEAL) verbeteren de robuustheid door het watermerk te koppelen aan de inhoud van de afbeelding. Echter, deze methoden vertrouwen op een enkele, globale semantische binding. Dit maakt ze kwetsbaar voor "lokaal gerichte maar globaal coherente" bewerkingen. Een aanvaller kan specifieke elementen (zoals het onderwerp of de actie) manipuleren terwijl de rest van de scène intact blijft. Omdat het watermerk als één geheel wordt verifieerd, kan de afbeelding nog steeds als "geldig" worden gemarkeerd, ondanks dat kritieke lokale informatie is gemanipuleerd.

Er is dus behoefte aan een watermerksysteem dat niet alleen robuust is tegen generatieve aanvallen, maar ook in staat is om lokale semantische manipulaties te detecteren en te lokaliseren.

Methodologie: SLICE

De auteurs stellen SLICE (Semantic Latent Injection via Compartmentalized Embedding) voor, een trainingsvrij framework dat semantische watermerking oplost door de inhoud te ontkoppelen en te compartmentaliseren.

1. Factorisatie van Semantiek:
In plaats van één globale beschrijving te gebruiken, deconstrueert SLICE de afbeelding in vier distincte semantische factoren:

• Onderwerp (Subject): Het hoofdobject.
• Omgeving (Environment): De achtergrond of setting.
• Actie (Action): Wat het onderwerp doet.
• Detail (Detail): Specifieke visuele kenmerken.
  Deze factoren worden geëxtraheerd met behulp van een Vision-Language Model (VLM) en een speciaal ontworpen meta-prompt.

2. Ruimtelijk Gedeelde Injectie (Compartmentalized Embedding):
Elk van de vier semantische factoren wordt gekoppeld aan een niet-overlappend, specifiek gebied in de initiële Gaussische ruis (latent space) van het diffusiemodel.

• Er wordt een sleutelgebaseerde hash-functie gebruikt om voor elke factor een uniek ruispatroon te genereren dat alleen binnen het toegewezen gebied van de latent ruimte geldt.
• Dit creëert een "gecompartmentaliseerd" watermerk: als een aanvaller de "actie" in de afbeelding verandert, wordt alleen het corresponderende gebied in de latent ruimte beïnvloed, terwijl de andere gebieden (onderwerp, omgeving, etc.) stabiel blijven.

3. Detectie en Verificatie:
Tijdens de detectie wordt een verdachte afbeelding via DDIM-inversie teruggevoerd naar de initiële ruis. Vervolgens worden de semantische factoren opnieuw geëxtraheerd en wordt een referentie-ruis gereconstrueerd.

• De system vergelijkt de gereconstrueerde ruis met de inversie-ruis per gebied.
• Het systeem kan drie staten onderscheiden:
  • Staat I (Authentiek & Intact): Alle factoren komen overeen.
  • Staat II (Lokale Semantische Manipulatie): De globale overeenkomst is aanwezig, maar één of meer specifieke factoren (bijv. "actie") falen de lokale verificatie. Dit maakt het mogelijk om waar de manipulatie heeft plaatsgevonden te identificeren.
  • Staat III (Geen Watermerk / Zwaar Beschadigd): Geen enkele overeenkomst.

Kernbijdragen

1. Identificatie van een kritieke zwakte: De auteurs tonen aan dat globale semantische binding kwetsbaar is voor lokale, maar globaal coherente edits, wat leidt tot valse positieven bij watermerkverificatie.
2. SLICE Framework: Een trainingsvrij, semantisch bewust watermerksysteem dat afbeeldingsinhoud ontkoppelt in vier factoren en deze koppelt aan gescheiden ruimtelijke gebieden in de latent ruimte.
3. Theoretische onderbouwing: Het paper biedt theoretische garanties voor robuuste lokalisatie van manipulaties en statistische bewijzen voor lage vals-acceptatiekansen (false-accept rates) bij niet-gewatermerkte invoer.
4. Uitgebreide validatie: Experimenten tonen aan dat SLICE superieur is aan bestaande methoden tegen geavanceerde generatieve aanvallen, terwijl de beeldkwaliteit behouden blijft.

Resultaten

De experimenten zijn uitgevoerd met Stable Diffusion V2 en Qwen3-VL, en getest tegen drie geavanceerde aanvallen: Latent Forgery Attack (LFA), Regeneration with a Private Model (RPM), en Coherence-Preserving Semantic Injection (CSI).

• Robuustheid tegen aanvallen:
  • Bestaande inhoudsonafhankelijke methoden (Gaussian Shading, Tree-Ring, WIND) hebben een aanvalsuccespercentage (ASR) van bijna 100% tegen deze aanvallen.
  • De bestaande semantische methode (SEAL) faalt zwaar tegen de CSI-aanval (ASR van 81%).
  • SLICE presteert uitzonderlijk goed met een ASR van 0% tegen LFA, 5% tegen RPM, en slechts 19% tegen de zeer krachtige CSI-aanval.
• Lokalisatie: Het systeem kan nauwkeurig aangeven welke semantische factor is gemanipuleerd (bijv. een verandering van "meisje" naar "jongen" wordt gedetecteerd als een falen in de 'onderwerp'- en 'actie'-partitie, terwijl de 'omgeving' intact blijft).
• Beeldkwaliteit: De injectie van het watermerk heeft een verwaarloosbaar effect op de beeldkwaliteit en semantische trouw (gemeten via CLIP-scores). Er zijn geen waarneembare artefacten.
• Bestand tegen veelvoorkomende verstoringen: SLICE behoudt een hoge detectienauwkeurigheid (>94%) bij veelvoorkomende bewerkingen zoals JPEG-compressie, blur, ruis en helderheidsaanpassing.
• Beperking: Het systeem is gevoelig voor extreme geometrische vervormingen (zoals sterk bijsnijden of schalen) omdat dit de ruimtelijke correspondentie verstoort. De auteurs stellen echter voor om dit te mitigeren door SLICE te combineren met passieve forensische methoden.

Betekenis

SLICE vertegenwoordigt een belangrijke doorbraak in het domein van AI-provenance. Het lost het fundamentele probleem op van "globale validatie bij lokale manipulatie" door een fine-grained, ruimtelijk gecompartimenteerde aanpak te introduceren.

• Vertrouwen: Het biedt een manier om niet alleen te bevestigen dat een afbeelding door AI is gegenereerd, maar ook om te detecteren welk specifiek aspect van die afbeelding is gemanipuleerd.
• Praktische toepasbaarheid: Omdat het trainingsvrij is en werkt op de initiële ruis, is het direct toepasbaar op bestaande diffusiemodellen zonder de noodzaak van kostbare hertraining.
• Toekomstperspectief: Het paper legt de basis voor een nieuw paradigma waarbij watermerken niet alleen als een "stempel" fungeren, maar als een gedetailleerd audit-spoor dat inzicht geeft in de integriteit van de gegenereerde inhoud.