ShapeMark: Robust and Diversity-Preserving Watermarking for Diffusion Models

ShapeMark introduceert een robuust en diversiteitsbehoudend watermerksysteem voor diffusiemodellen dat watermerkbits encodeert in gestructureerd ruispatroon in plaats van individuele waarden, waardoor de watermerken bestand zijn tegen perturbaties en toch hoge beeldkwaliteit behouden.

De kern

Stel je voor dat je een magische schilderijmachine hebt (een "Diffusion Model") die prachtige, unieke kunstwerken kan maken uit het niets. Maar er is een groot probleem: als iemand een van deze schilderijen steelt, kopieert of er een beetje aan knoeit (bijvoorbeeld door het kleiner te maken of er een filter overheen te leggen), is het onmogelijk om nog te bewijzen wie de oorspronkelijke maker is.

De auteurs van dit paper, ShapeMark, hebben een oplossing bedacht. Ze willen een onzichtbare "handtekening" in het schilderij verstoppen die zelfs na veel mishandeling nog te vinden is, zonder dat het schilderij er minder mooi of minder divers uitziet.

Hier is hoe ze dat doen, vertaald in alledaagse taal:

1. Het oude probleem: De "Waardevolle Steen"

Eerdere methoden probeerden watermerken te maken door de waarde van individuele pixels of ruisdeeltjes te veranderen.

• De analogie: Stel je voor dat je een handtekening zet door een specifieke steen in een muur een beetje lichter te verven. Als de muur nu een beetje vuil wordt, of als de steen een beetje verschuift, is je handtekening weg.
• Het probleem: In de digitale wereld zijn deze "waarden" erg kwetsbaar. Als een foto gecomprimeerd wordt (zoals op WhatsApp of Instagram), veranderen de exacte kleuren een beetje. De oude watermerken gaan dan "kapot" omdat ze te afhankelijk zijn van die exacte kleur.

2. De nieuwe oplossing: De "Puzzel" (Structural Encoding)

ShapeMark doet het anders. Ze veranderen niet de kleur van de steen, maar waar de steen staat ten opzichte van andere stenen.

• De analogie: In plaats van een steen lichter te verven, kijken ze naar een groepje stenen. Ze zeggen: "De steen die het grootst is, moet linksboven staan, en de kleinste rechtsonder."
• Waarom dit werkt: Als je de muur een beetje vuil maakt of een steen een beetje verschuift, is het misschien lastig om te zien hoe groot de steen precies is. Maar het is nog steeds heel duidelijk dat de grootste steen nog steeds linksboven staat en de kleinste rechtsonder. De volgorde (de structuur) blijft behouden, zelfs als de details vervagen.
• In het paper: Ze noemen dit Structural Encoding (SE). Ze groeperen ruisdeeltjes en veranderen de volgorde waarin ze staan om een bericht te coderen. Omdat de volgorde robuuster is dan de exacte waarde, overleeft het watermerk veel meer schade.

3. Het tweede probleem: De "Grijze Muis" (Diversiteit)

Er was nog een ander probleem met eerdere methoden. Als je een watermerk toevoegt, leek het soms alsof alle gegenereerde afbeeldingen een beetje op elkaar leken, of dat er een vast patroon in de ruis zat.

• De analogie: Stel je voor dat je elke keer als je een huis bouwt, de ramen altijd op exact dezelfde manier moet plaatsen om het watermerk te laten werken. Dan lijken al je huizen op elkaar. Ze zijn niet meer uniek.
• Het probleem: Dit maakt de kunst minder mooi en voorspelbaar.

4. De oplossing voor diversiteit: De "Draaimolen" (PDSR)

ShapeMark lost dit op met een tweede stap die ze PDSR noemen.

• De analogie: Nadat ze de ramen op de juiste volgorde hebben gezet (het watermerk), laten ze het hele huis door een draaimolen draaien. De ramen staan nog steeds in de juiste volgorde ten opzichte van elkaar, maar het geheel is nu op een heel andere plek in de tuin beland.
• Waarom dit werkt: Omdat de positie van het huis willekeurig wordt gekozen voor elk nieuw schilderij, ziet elk huis er weer anders uit. Het watermerk is er nog steeds (de volgorde van de ramen), maar het patroon is niet meer vast te pinnen op één specifieke plek. Dit zorgt ervoor dat elke gegenereerde afbeelding uniek blijft.

Samenvatting in één zin

ShapeMark is als een onzichtbare, onvernietigbare puzzel die je in de ruis van een AI-schilderij stopt: je kijkt niet naar de kleur van de stukjes (die verandert), maar naar de volgorde waarin ze liggen (die blijft), en je draait de puzzel elke keer een beetje anders zodat het schilderij er uniek uitziet.

Waarom is dit belangrijk?
Dit betekent dat we in de toekomst AI-schilderijen kunnen maken die:

1. Veilig zijn: Je kunt altijd bewijzen wie ze gemaakt heeft, zelfs als ze gemanipuleerd zijn.
2. Mooi blijven: De AI kan nog steeds prachtige, diverse kunst maken zonder dat het watermerk de kwaliteit bederft.

Het is een grote stap voorwaarts om de eigenaarsrechten van AI-kunst te beschermen zonder de creativiteit te beperken.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "ShapeMark: Robust and Diversity-Preserving Watermarking for Diffusion Models", vertaald en samengevat in het Nederlands.

1. Het Probleem

Diffusiemodellen hebben aanzienlijke vooruitgang geboekt in het genereren van hoogwaardige afbeeldingen, maar de wijdverbreide verspreiding en hergebruik van deze output creëren nieuwe uitdagingen op het gebied van intellectuele eigendom en content-provenance (herkomst).

• Huidige beperkingen: Bestaande methoden voor "Noise-as-Watermark" (NaW), waarbij watermerken direct in het initiële ruispatroon van het diffusieproces worden ingebed, kampen met een fundamenteel compromis tussen robustheid en diversiteit.
  • Robustheid: De meeste bestaande methoden gebruiken waarde-codering (value encoding), waarbij watermerkbits worden gekoppeld aan individuele ruiswaarden (bijv. het teken of de grootte). Dit is extreem kwetsbaar voor verliesrijke bewerkingen (zoals JPEG-compressie, bijsnijden) en onnauwkeurigheden bij het omkeren van het diffusieproces (diffusion inversion). Zelfs kleine verstoringen kunnen de gedecodeerde bits onleesbaar maken.
  • Diversiteit: Methodes die proberen de robuustheid te vergroten door watermerken herhaald in te bedden, leiden vaak tot vaste, waarneembare patronen in de ruis. Dit vermindert de visuele diversiteit van de gegenereerde afbeeldingen en maakt de watermerken makkelijker waarneembaar.

2. Methodologie: ShapeMark

ShapeMark introduceert een nieuw raamwerk dat watermerken op structuurniveau inbedt in plaats van op waarde-niveau. De methode bestaat uit twee hoofdcategorieën:

A. Structurele Codering (Structural Encoding - SE)

In plaats van de waarde van individuele ruis-elementen te manipuleren, encodeert SE watermerkbits in de relatieve rangorde en structuur van groepen ruis-elementen.

• Stap 1: Template Constructie: De initiële ruislatent wordt gerangschikt op basis van de grootte (magnitude) en opgedeeld in kwantiel-bins (groepen met vergelijkbare ruissterkte). Binnen deze bins worden blokken gevormd.
• Stap 2: Groepspermutatie: Watermerkbits worden gecodeerd door de volgorde van deze blokken binnen een groep te permuteren (verplaatsen). De decodering gebeurt door te kijken naar het patroon van deze permutatie.
• Voordeel: Omdat de informatie zit in de relatieve volgorde van blokken uit verschillende kwantiel-regio's, is het bestand tegen verstoringen die individuele waarden veranderen, zolang de onderliggende structuur behouden blijft.

B. Payload-Debiasing Structural Randomization (PDSR)

Om het probleem van vaste patronen en verminderde diversiteit op te lossen, introduceert ShapeMark PDSR.

• Mechanisme: Na het inbedden van het watermerk via SE, worden de posities van de blokken globaal gewijzigd (gerangschikt) op basis van een publieke nonce (een uniek nummer per afbeelding) en een sleutel, maar zonder de waarden zelf te veranderen.
• Doel: Dit zorgt ervoor dat dezelfde watermerkinhoud (payload) kan corresponderen met verschillende ruimtelijke patronen in de ruis. Hierdoor wordt de directe link tussen de payload en een vast ruimtelijk patroon verbroken, wat de visuele diversiteit behoudt en de detectie van artefacten door tegenstanders bemoeilijkt.
• Omkeerbaarheid: Omdat PDSR een zuivere permutatie is, kan deze exact worden ongedaan gemaakt tijdens de verificatie als de juiste sleutel en nonce bekend zijn.

3. Verificatieproces

Bij het decoderen wordt de afbeelding via diffusie-inversie (bijv. DDIM inversie) teruggebracht naar de initiële ruislatent.

1. De PDSR wordt ongedaan gemaakt met behulp van de publieke nonce.
2. De structuur van de ruis wordt vergeleken met een referentie-template (gegenereerd met dezelfde sleutel).
3. Door te kijken naar welke permutatiecode het beste past bij de waargenomen blokken, wordt de payload hersteld.

4. Belangrijkste Resultaten

Uitgebreide experimenten met Stable Diffusion v2.1 tonen aan dat ShapeMark state-of-the-art prestaties levert:

• Robuustheid: ShapeMark bereikt een True Positive Rate (TPR) van 99,9% bij een False Positive Rate (FPR) van $10^{-6}$, zelfs onder zware verliesrijke vervormingen (zoals JPEG-compressie, roterende uitsnijdingen, ruis, en blur).
• Diversiteit: In tegenstelling tot andere methoden, behoudt ShapeMark de hoogste generatiediversiteit (gemeten met LPIPS: 0.7338), wat betekent dat de gegenereerde afbeeldingen visueel uniek en natuurlijk blijven.
• Kwaliteit: De visuele kwaliteit (gemeten met CLIP-score en FID) blijft vergelijkbaar met niet-gewatermerkte afbeeldingen, wat aantoont dat de methode geen waarneembare artefacten introduceert.
• Capaciteit: De methode is schaalbaar en kan zelfs bij hoge payloads (tot 2048 bits) nog steeds een redelijke robuustheid behouden.

5. Belang en Impact

ShapeMark biedt een praktische oplossing voor de uitdagingen van auteursrechten en provenance in de wereld van generatieve AI:

• Betrouwbare Eigendomsclaim: Het stelt platformen en creators in staat om de herkomst van gegenereerde content te verifiëren, zelfs na bewerkingen.
• Balans: Het lost het fundamentele compromis op tussen robuustheid en diversiteit, wat essentieel is voor de adoptie in echte productiepijplijnen waar variatie en kwaliteit cruciaal zijn.
• Toepassingsgebied: Het is specifiek ontworpen voor multi-tenant generatieve diensten voor identiteitsbinding, traceerbaarheid en attributie, zonder de modelgewichten aan te passen (wat het toepasbaar maakt op bestaande modellen).

Kortom, ShapeMark beweert dat door watermerken te coderen in de structuur van de ruis in plaats van in de waarden, men een watermerk kan creëren dat zowel extreem robuust is tegen manipulatie als volledig onzichtbaar voor de menselijke waarneming, terwijl de creatieve diversiteit van het diffusiemodel intact blijft.