Technische Samenvatting: SafeMark voor Watermerkbehoud bij Tekstgeleide Beeldbewerking

Probleemstelling

De snelle vooruitgang van tekst-naar-beeldmodellen (bijv. Stable Diffusion, DALL-E 3) heeft krachtige, semantisch gedreven beeldbewerking mogelijk gemaakt via iteratieve denoising. Hoewel onzichtbare beeldwatermerken zijn gevestigd als een cruciaal hulpmiddel voor eigendomsverificatie en herkomsttracking bij statische generatie, blijft de robuustheid ervan onder tekstgeleide diffusiebewerking grotendeels onontgonnen.

Bestaande robuuste watermerkmethode (bijv. HiDDeN, VINE, SleeperMark) hanteren doorgaans een paradigma van adversariele verdediging, waarbij encoders worden getraind tegen vooraf gedefinieerde vervormingen (JPEG, herschaling) of specifieke bewerkingsgedragingen. De paper toont echter aan dat deze methoden niet generaliseren over diverse, heterogene diffusie-editors. Wanneer afbeeldingen worden bewerkt met tekstgeleide editors zoals DiffusionCLIP, Asyrp of Eff-Diff, degradeert de nauwkeurigheid van watermerkbits aanzienlijk (bijvoorbeeld van ~0,99 tot ~0,30 in sommige gevallen). De kernvraag van het onderzoek is: Kunnen afbeeldingen met watermerken bewerkbaar blijven zonder de integriteit van het watermerk te compromitteren? De paper betoogt dat huidige "robuuste" watermerken editor-afhankelijk zijn en dat een nieuwe aanpak nodig is om integriteit tijdens het bewerkingsproces zelf af te dwingen.

Methodologie: SafeMark

De auteurs stellen SafeMark voor, een raamwerk dat watermerkbehoud behandelt als een expliciet doel binnen het optimalisatieproces voor beeldbewerking, in plaats van uitsluitend te vertrouwen op de intrinsieke robuustheid van het watermerk.

1. Probleemformulering

SafeMark vormt watermerkbehoudende bewerking als een geconstrueerd optimalisatieprobleem. Gegeven een afbeelding met watermerk $x_{orig}$ met bericht $w$, een editor $E_\theta$ en een prompt $p$, is het doel om parameters $\theta^*$ te vinden die semantisch verlies minimaliseren terwijl een constraint voor watermerknauwkeurigheid wordt voldaan:
$$\min_\theta \mathbb{E}[L_{sem}(x_{edit}, x_{ref})] \quad \text{s.t.} \quad \text{Acc}(\hat{w}, w) \geq \tau$$
waarbij $x_{edit} = E_\theta(x_{orig}, p)$, $\hat{w}$ het gedecodeerde watermerk is en $\tau$ een drempel voor doelnauwkeurigheid.

2. Informatietheoretische Grondslag

De paper biedt een theoretische rechtvaardiging voor het direct optimaliseren van bitnauwkeurigheid.

• Grens voor wederzijdse informatie: De herwinbaarheid van watermerken wordt begrensd door de wederzijdse informatie $I_\theta(W; X_e)$ die door de editor-kanaal wordt behouden.
• Bitnauwkeurigheid als Surrogaat: De auteurs bewijzen (via de ongelijkheid van Fano en Lemma 1) dat het handhaven van een hoge gemiddelde bitnauwkeurigheid $\bar{a}$ deze wederzijdse informatie ondergrenst. Specifiek garandeert het afdwingen van $\bar{a} \geq \tau$ een minimumniveau van informatiebehoud dat vereist is voor herstel.

3. Trainingsdoel en Hinge-boete

Omdat harde bitnauwkeurigheid niet differentieerbaar is, verlicht SafeMark de constraint met een gedrempelde hinge-boete op een differentieerbaar surrogaat (Brier-type verlies):
$$L_{wm} = \max(0, \tau - \hat{g}_{Acc}(\hat{w}, w))$$
waarbij $\hat{g}_{Acc}$ een gladde benadering is van bitnauwkeurigheid. Het totale trainingsdoel combineert semantische trouw en watermerkbehoud:
$$L_{total} = \lambda_{sem} L_{sem} + \lambda_{wm} L_{wm}$$

• Semantische Uitlijning: Om ervoor te zorgen dat de bewerking trouw blijft aan de intentie van de gebruiker, wordt een referentiebewerking $x_{ref}$ gegenereerd met een bevroren, vooraf getrainde editor $E_{\theta_0}$. Het semantische verlies $L_{sem}$ moedigt de output van de trainbare editor aan om dicht bij deze referentie te blijven ($L_1$-afstand).
• Architectuur: SafeMark vereist geen architecturale wijziging aan de onderliggende diffusie-editor. Het werkt door de editor-parameters $\theta$ te finetunen terwijl de watermerkencoder/-decoder vast blijft. Gradienten stromen uitsluitend door de uiteindelijke gedenoiste output.

Belangrijkste Bijdragen

1. Empirische Identificatie van Editor-Afhankelijkheid: De paper toont aan dat bestaande robuuste watermerkmethode niet generaliseren over verschillende tekstgeleide bewerkingspijplijnen, waarbij de prestaties drastisch variëren afhankelijk van de specifieke gebruikte editor.
2. Theoretische Grondslag: Het vestigt een informatietheoretische basis voor watermerkbehoudende bewerking, waarbij wordt aangetoond dat bitnauwkeurigheid een hanteerbare proxy is voor behoud van wederzijdse informatie, wat het gebruik van hinge-boete-doelen rechtvaardigt.
3. SafeMark-raamwerk: Een nieuwe methode die watermerksupervisie direct integreert in het bewerkingsdoel, wat bijna perfecte watermerkhervinding (bitnauwkeurigheid $\approx 1,0$) bereikt over diverse editors en datasets zonder in te leveren op de kwaliteit van de semantische bewerking.
4. Validatie van Robuustheid: De auteurs tonen aan dat door SafeMark beschermde afbeeldingen robuust blijven tegen veelvoorkomende vervormingen na bewerking (rotatie, vervaging, herschaling), wat bevestigt dat het afdwingen van behoud tijdens bewerking de veerkracht tegen standaard beeldcorrupties niet verslechtert.

Experimentele Resultaten

Het raamwerk werd geëvalueerd op echte afbeeldingen (LSUN-Church, LSUN-Slaapkamer, CelebA, AFHQ-Hond) en door AI gegenereerde afbeeldingen, met gebruik van meerdere watermerkschema's (HiDDeN, VINE, Stable Signature, SleeperMark) en drie verschillende diffusie-editors (DiffusionCLIP, Asyrp, Eff-Diff).

• Watermerkbehoud: Terwijl directe bewerking ("Mani") leidde tot een aanzienlijke daling van de bitnauwkeurigheid (bijvoorbeeld VINE op Slaapkamer-afbeeldingen daalde van 0,999 naar 0,299 onder Asyrp), herstelde SafeMark de nauwkeurigheid consequent tot 1,000 (of bijna perfecte niveaus zoals 0,999) in alle instellingen.
• Semantische Trouw: SafeMark heeft de kwaliteit van de bewerking niet in het gedrang gebracht. Metrieken zoals FID, Inception Score (IS) en CLIP-ähnelijkheid toonden aan dat SafeMark-outputs perceptueel en semantisch dicht bij directe bewerkingen bleven. De "Comp"-metriek (vergelijking van SafeMark-bewerkingen met directe bewerkingen) leverde lage FID-waarden op, wat aangeeft dat de watermerkconstraint de afbeelding niet terug naar het origineel forceerde of de output deed instorten.
• Robuustheid na Bewerking: Onder vervormingen zoals bijsnijden en vervaging behield SafeMark een hoge bitnauwkeurigheid (mislukkingspercentages doorgaans onder de 0,15), wat aantoont dat het behouden watermerksignaal robuust is voor daaropvolgende verwerking.

Betekenis en Claims

De paper claimt dat semantische bewerkbaarheid en watermerkintegriteit fundamenteel compatibel zijn. De degradatie van watermerken onder semantische bewerking is geen inherente beperking van het bewerkingsproces, maar het gevolg van onbeperkte bewerkingsdynamiek.

Door het paradigma te verschuiven van "robuuste watermerken tegen bewerking" naar "watermerkbehoudende bewerking", biedt SafeMark een ontwerptijdoplossing voor betrouwbare afbeeldingsherkomst. De auteurs positioneren SafeMark als een mechanisme dat aanbieders van beeldbewerkingsdiensten in staat stelt hoogwaardige, semantisch gedreven manipulatie aan te bieden, terwijl wordt gegarandeerd dat eigendomssignalen herwinbaar blijven. Dit herformuleert bescherming van herkomst als een integraal onderdeel van de bewerkingspijplijn in plaats van een externe toevoeging, wat betrouwbare afbeeldingsherkomst mogelijk maakt in generatieve bewerkingsworkflows.

De paper erkent bescheiden beperkingen: SafeMark vereist momenteel witte-kasttoegang tot de editor en een aparte finetuningstap voor elke architectuur, en het kan uitdagingen ondervinden bij extreem agressieve structurele bewerkingen die de lay-out van het tafereel fundamenteel veranderen buiten de capaciteit van het watermerk. Het vestigt echter een kritisch bewijs van concept dat watermerkbehoud door ontwerp kan worden afgedwongen.