Technische Samenvatting: Evaluatie van Dataset-watermerking voor Traceerbaarheid van Gepersonaliseerde Diffusiemodellen bij Fijne Afstelling

1. Probleemstelling

De snelle adoptie van technieken voor fijne afstelling (zoals DreamBooth, LoRA en Textual Inversion) voor diffusiemodellen heeft de generatie van inhoud mogelijk gemaakt die specifieke identiteiten en artistieke stijlen nabootst. Deze mogelijkheid introduceert echter aanzienlijke veiligheids- en ethische risico's, voornamelijk met betrekking tot schending van auteursrechten (onbevoegd gebruik van propriëtaire afbeeldingen voor training) en verantwoordingsplicht (het traceren van de bron van schadelijke of ongepaste gegenereerde inhoud).

Om dit aan te pakken, is dataset-watermerking voorgesteld, waarbij onwaarneembare watermerken worden ingebed in trainingsafbeeldingen. Theoretisch zouden deze watermerken het proces van fijne afstelling moeten doorstaan en detecteerbaar moeten blijven in de uitvoer van het model, wat attributie achteraf mogelijk maakt. Bestaande benaderingen lijden echter onder het ontbreken van een unificerend evaluatiekader, waardoor het moeilijk is om hun effectiviteit te beoordelen in diverse realistische scenario's. Bovendien is de robuustheid van deze methoden tegen vijandelijke verwijderingsaanvallen grotendeels onontgonnen terrein.

2. Methodologie

2.1. Unificerend Bedreigingsmodel en Evaluatiekader

De auteurs formaliseren een universeel bedreigingsmodel met twee partijen: de Eigenaar van de Afbeelding (die watermerken inbedt voor auteursrechtbescherming en traceerbaarheid) en de Gebruiker van de Afbeelding (die mogelijk gemengde datasets gebruikt of nabewerking toepast om watermerken te verwijderen).

Op basis van dit model stelt het paper een uitgebreid evaluatiekader voor dat bestaat uit drie dimensies:

1. Universaliteit: Het vermogen van watermerkingmethoden om te functioneren in diverse paradigma's voor fijne afstelling (zoals Textual Inversion, DreamBooth, LoRA, Full-UNet) en generatietaken (gezichten, virtuele objecten, artistieke stijlen).
2. Transmissibiliteit: Het vermogen van het watermerksignaal om zich voort te planten door het proces van fijne afstelling, zelfs wanneer slechts een subset van de trainingsdata is voorzien van een watermerk (bijvoorbeeld mengverhoudingen van 20%–80%).
3. Robuustheid: De weerstand van het watermerk tegen zowel algemene beeldbewerkingsoperaties (Gaussisch ruis, vervaging, JPEG-compressie) als gerichte vijandelijke verwijderingsaanvallen.

2.2. Uitgebreide Benchmark

De auteurs hebben een benchmark opgezet die vier state-of-the-art open-source methoden voor dataset-watermerking evalueert: DIAGNOSIS, DiffusionShield, SIREN en WatermarkDM.

• Datasets: CelebA-HQ (gezichtsideentiteit), Pokémon (virtuele objecten) en WikiArt (artistieke stijlen).
• Maten: Kwaliteit van generatie (FID, CLIP-T) en nauwkeurigheid van watermerkdetectie (Acc).
• Instellingen: Experimenten zijn uitgevoerd op Stable Diffusion v1.4 (SD1.4) met diverse configuraties voor fijne afstelling, waaronder het bevriezen of trainen van de tekstencoder.

2.3. Voorgestelde Verwijderingsbenadering (DeAttack)

Om de dimensie van robuustheid te evalueren, introduceert het paper DeAttack, een praktisch framework voor het verwijderen van watermerken.

• Mechanisme: DeAttack maakt gebruik van een unificende autoencoder-ruggengraat die degradaties uit meerdere domeinen (pixelruimte en latente ruimte) combineert met hoge kwaliteit restauratie.
• Proces: Het simuleert degradatie (bijvoorbeeld Gaussische vervaging, injectie van ruis) gevolgd door adaptieve restauratie met behulp van voorgetrainde netwerken (IRNeXt voor ontvaging, SwinIR voor ontdoening van ruis en correctie van JPEG-artefacten).
• Doel: Een schone reconstructie schatten die de resterende watermerk-energie minimaliseert terwijl de perceptuele beeldkwaliteit behouden blijft.

3. Belangrijkste Resultaten

3.1. Universaliteit en Transmissibiliteit

• Universaliteit: DiffusionShield toonde de hoogste universaliteit, met een detectienauwkeurigheid van bijna 100% over alle methoden voor fijne afstelling en datasets. SIREN presteerde slecht (~50% nauwkeurigheid, equivalent aan raden), terwijl DIAGNOSIS en WatermarkDM wisselende prestaties lieten zien afhankelijk van de specifieke methode voor fijne afstelling (bijvoorbeeld daalde de prestatie aanzienlijk wanneer de tekstencoder werd getraind).
• Transmissibiliteit: Bij gebruik van gemengde datasets (bijvoorbeeld 20% afbeeldingen met watermerk) behield DiffusionShield een hoge detectienauwkeurigheid (naderend aan 100%), terwijl DIAGNOSIS en WatermarkDM aanzienlijke dalingen in nauwkeurigheid zagen naarmate het aandeel afbeeldingen met watermerk afnam.

3.2. Robuustheid tegen Algemene Vervormingen

Bestaande methoden vertoonden over het algemeen veerkracht tegen algemene beeldbewerkingsoperaties zoals Gaussische vervaging, JPEG-compressie en Gaussisch ruis. De detectienauwkeurigheid bleef hoog voor DiffusionShield en WatermarkDM onder deze omstandigheden.

3.3. Kwetsbaarheid voor Gerichte Verwijdering

De meest kritieke bevinding betreft de dimensie Robuustheid tegen vijandelijke aanvallen.

• Effectiviteit van DeAttack: De voorgestelde DeAttack-methode slaagde erin dataset-watermerken van alle geëvalueerde methoden te verwijderen, waardoor de detectienauwkeurigheid werd teruggebracht tot bijna willekeurige niveaus (bijvoorbeeld ~50-55% voor DiffusionShield, wat eerder ~100% was).
• Behoud van Kwaliteit: Cruciaal bereikte DeAttack deze verwijdering terwijl de perceptuele kwaliteit van de afbeeldingen en de prestaties van de modellen met fijne afstelling behouden bleven (FID- en CLIP-T-scores bleven vergelijkbaar met schone baselines).
• Generaliseerbaarheid: De effectiviteit van DeAttack werd gevalideerd over verschillende diffusie-architecturen (SD1.4 en SDXL) en diverse strategieën voor fijne afstelling, wat aangeeft dat huidige watermerkingontwerpen niet robuust zijn tegen principiële verwijderingsaanvallen.

4. Betekenis en Bijdragen

Het paper levert drie primaire bijdragen:

1. Principiële Evaluatiebasis: Het vestigt een unificerend bedreigingsmodel en een drie-dimensionaal evaluatiekader (Universaliteit, Transmissibiliteit, Robuustheid) om dataset-watermerking voor diffusiemodellen systematisch te beoordelen.
2. Uitgebreide Benchmark: Het biedt een rigoureuze benchmark die aantoont dat, hoewel bestaande methoden (met name DiffusionShield) effectief zijn in universaliteit en transmissibiliteit, ze gebrekkig zijn in robuustheid tegen gerichte verwijdering.
3. Blootlegging van Kwetsbaarheden: Door DeAttack voor te stellen, demonstreert het paper dat huidige technieken voor dataset-watermerking breekbaar zijn tegen geavanceerde verwijderingsstrategieën. Dit benadrukt een kritieke kloof in huidige ontwerpen en onderstreept de dringende noodzaak om robuustere, vijandbewuste watermerkingstrategieën te ontwikkelen.

De auteurs concluderen dat, hoewel dataset-watermerking veelbelovend is voor traceerbaarheid, de huidige implementaties ontoereikend zijn voor realistische veiligheidsscenario's waarin kwaadwillenden gerichte verwijderingstechnieken kunnen toepassen. Het werk dient als een oproep tot actie voor de gemeenschap om watermerkingmethoden te ontwikkelen die bestand zijn tegen dergelijke vijandelijke druk.