🤖 machine learning

SemBind: Binding Diffusion Watermarks to Semantics Against Black-Box Forgery Attacks

Het artikel stelt SemBind voor, een verdedigingsframework dat black-box vervalsingsaanvallen op latente diffusiemodellen verzacht door watermerksignalen aan beeldsemantiek te koppelen via een geleerde semantische masker, waardoor een robuuste herkomst wordt gewaarborgd zonder de beeldkwaliteit aan te tasten.

Oorspronkelijke auteurs: Xin Zhang, Zijin Yang, Kejiang Chen, Linfeng Ma, Weiming Zhang, Nenghai Yu

Gepubliceerd 2026-01-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xin Zhang, Zijin Yang, Kejiang Chen, Linfeng Ma, Weiming Zhang, Nenghai Yu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Probleem: De "Vals ID"-scam

Stel je een beroemde kunstenaar voor (de AI-provider) die een kleine, onzichtbare handtekening in elk schilderij plaatst dat hij maakt. Deze handtekening is verborgen in de allereerste "schets" die de kunstenaar maakt voordat de definitieve afbeelding klaar is. Dit wordt een latent-gebaseerde watermerk genoemd. Dit is effectief omdat het bewijst dat het schilderij van die kunstenaar komt.

Echter, een slimme vervalser heeft een mazen in de wet gevonden. De vervalser hoeft niet te weten hoe je moet schilderen of hoe de handtekening van de kunstenaar werkt. Hij hoeft alleen maar:

Een van de ondertekende schilderijen van de kunstenaar te stelen.
Naar de "schets" onder het schilderij te kijken.
Die schets te kopiëren op een compleet ander schilderij dat hij zelf heeft gemaakt.

Nu heeft het neppe schilderij van de vervalser de onzichtbare handtekening van de kunstenaar. Wanneer een detector het scant, zegt het: "Dit is authentiek!", ook al heeft de vervalser het geschilderd. Dit is de Black-Box Forgery Attack. Het breekt het vertrouwen omdat iedereen de handtekening kan stelen en op alles kan plakken.

De Oplossing: SemBind (Het "Semantische Slot")

De onderzoekers stellen een nieuwe verdediging voor genaamd SemBind. In plaats van de handtekening alleen op de schets te plaatsen, "vergrendelen" ze de handtekening aan de betekenis van de afbeelding.

Denk er als volgt over:

De oude manier: De handtekening is gewoon een sticker op het canvas. Als je hem eraf pelt en op een ander canvas plakt, werkt hij nog steeds.
De SemBind-manier: De handtekening is nu een magnetisch slot dat alleen past als het canvas is geschilderd met een specifieke scène (bijv. een "kat op een mat").

Hoe het werkt (De Magische Stappen)

1. De "Betekenisscanner" (Semantic Masker)
Voordat de AI de afbeelding schildert, gebruikt SemBind een speciaal hulpmiddel (een neuraal netwerk) om de prompt (bijv. "een kat op een mat") te lezen. Het zet dit idee om in een unieke, geheime binaire code (een reeks enen en nullen).

Als je vraagt om "een kat", is de code 1011...
Als je vraft om "een vampier vleermuis", is de code totaal anders, zoals 0100...

2. Het "Onzichtbare Filter"
De AI genereert de afbeelding zoals gebruikelijk, maar voordat de definitieve handtekening wordt toegevoegd, neemt SemBind die geheime code en verandert deze in een gigantisch, onzichtbaar filter (een masker).

Dit filter wordt toegepast op de "schets" (de initiële ruis) van de afbeelding.
Het is alsof je een specifieke soort kleurstof door de verf mengt. Als de verf voor een "kat" is, past de kleurstof bij de "kat"-code.

3. De Verificatie (De Controle)
Wanneer iemand de afbeelding later probeert te verifiëren:

De detector kijkt naar de afbeelding en vraagt: "Wat is dit plaatje?"
De detector genereert de geheime code voor wat hij ziet.
Als de afbeelding overeenkomt met de code: Het onzichtbare filter sluit perfect aan, de handtekening wordt zichtbaar en de afbeelding wordt gemarkeerd als "Echt".
Als de afbeelding een vervalsing is: Stel je voor dat een vervalser de "kat"-handtekening neemt en probeert deze op een plaatje van een "vampier vleermuis" te plakken. De detector ziet een vleermuis, genereert de "vleermuis"-code en probeert het filter toe te passen. Het "kat"-filter en de "vleermuis"-code botsen. De handtekening raakt verstoord en de detector zegt: "Fout! Dit komt niet overeen!"

Waarom het een groot ding is

Het stopt de kopieerders: Zelfs als een vervalser de handtekening van een "kat"-afbeelding steelt, kan hij deze niet gebruiken op een "vleermuis"-afbeelding. De handtekening wordt nutteloos tenzij de nieuwe afbeelding exact dezelfde betekenis heeft als de originele.
Het verpest de kunst niet: Het paper laat zien dat het toevoegen van dit slot de afbeeldingen niet slechter maakt. De kwaliteit, kleuren en details blijven exact hetzelfde.
Het is aanpasbaar: De onderzoekers kunnen aan een draaiknop (genaamd de "mask ratio") draaien om te beslissen hoe strikt het slot is.
- Strenge modus: Zeer moeilijk te vervalsen, maar iets gevoeliger voor kleine veranderingen (zoals het veranderen van de grootte van de afbeelding).
- Losse modus: Makkelijker om te gaan met kleine veranderingen, maar iets makkelijker te misleiden.
- Je kunt de perfecte balans vinden voor jouw behoeften.

De Kernboodschap

SemBind is als het upgraden van een beveiligingssysteem van een simpele "sleutel" (die gekopieerd kan worden) naar een "biometrische vergrendeling" (die alleen werkt als de persoon en de deur bij elkaar passen). Het bindt het onzichtbare watermerk aan het verhaal van de afbeelding, waardoor het voor aanvallers onmogelijk wordt om de handtekening te stelen en deze op een vals verhaal te plakken. Dit beschermt de reputatie van AI-kunstenaars en zorgt ervoor dat wanneer we een watermerk-afbeelding zien, we kunnen vertrouwen op waar deze echt vandaan komt.

Technische Samenvatting: SemBind – Het binden van diffusie-watermerken aan semantiek tegen black-box vervalsingsaanvallen

Probleemstelling

Latente watermerken, die informatie inbedden in de initiële ruis van Latent Diffusion Models (LDM's), bieden een robuuste methode voor beeldattributie en auteursrechtbescherming. Ze worden geprefereerd vanwege hun vermogen om ondetecteerbaar te blijven (statistisch ononderscheidbaar van niet-watermerkede outputs) en robuust te zijn tegen veelvoorkomende beeldtransformaties. Deze schema's kampen echter met een kritieke kwetsbaarheid: black-box vervalsingsaanvallen (black-box forgery attacks).

In deze aanvallen gebruikt een tegenstander met black-box toegang tot het model van een provider en ten minste één watermerk beeld om het watermerk over te dragen naar illegaal gegenereerde inhoud onder andere prompts of van andere modellen. Twee primaire strategieën maken dit mogelijk:

Imprinting: De aanvaller optimaliseert een perturbatie op de latente ruimte van een doelbeeld, zodat deze, wanneer deze via een proxy-model wordt geïnverteerd, overeenkomt met de gestolen watermerk-latente.
Reprompting: De aanvaller hergebruikt de geïnverteerde initiële latente van een watermerk beeld om nieuwe beelden te genereren met andere, potentieel kwaadwillende prompts.

Huidige verdedigingen zijn ineffectief omdat latente watermerken puur in de initiële ruis verblijven. Het versterken van de robuustheid tegen natuurlijke perturbaties verhoogt onbedoeld de tolerantie voor vervalste latentes, wat een trade-off creëert waarbij het verbeteren van de ene metriek de veiligheid tegen vervalsing verslechtert.

Methodologie: SemBind

De auteurs stellen SemBind voor, het eerste defensieve framework dat is ontworpen om weerstand te bieden aan black-box vervalsing door latente watermerk-signalen te binden aan de semantiek van het beeld. De kern van het mechanisme is een geleerde semantische masker (learned semantic masker) die de watermerk-latente moduleert op basis van de semantische inhoud van het gegenereerde beeld.

1. Architectuur en Training van de Semantische Masker

Architectuur: De masker $f_\theta$ bestaat uit een bevroren semantische beeldencoder (bijv. DINOv2-Giant) gekoppeld aan een lichtgewicht MLP-gebaseerd hashing-netwerk. Het brengt een beeld $x$ in kaart naar een binaire code $m \in \{0, 1\}^B$ .
Trainingsdoel: De masker wordt getraind middels contrastief leren op een grote corpus van prompt-geconditioneerde beelden. Het doel is om te produceren:
- Bijna invariante codes voor beelden gegenereerd vanuit dezelfde prompt (lage Hamming-afstand).
- Bijna orthogonale codes voor beelden van verschillende prompts (Hamming-afstand $\approx B/2$ ).
Twee fasen van training:
- Fase 1: Leert een compacte, clusterbare representatieruimte met behulp van supervised contrastieve loss op genormaliseerde features.
- Fase 2: Traint een hash-head om deze features te kwantiseren in binaire codes, geoptimaliseerd met een contrastieve loss plus regularisaties voor kwantisatie, bitbalans, decorrelatie en consistentie.

2. Inbeddingsprocedure
Om een watermerk in te bedden, wijzigt SemBind de onderliggende watermerk-methode niet (bijv. Tree-Ring, Gaussian Shading). In plaats daarvan:

De provider genereert een hulp-clean beeld $x$ voor de doelprompt met behulp van het diffusiemodel.
De semantische masker extraheert een binaire code $m = f_\theta(x)$ .
Deze code wordt uitgebreid naar een ruimtelijk masker via tiling, ratio-selectie (gecontroleerd door parameter $\sigma$ ), en permutatie met behulp van een geheime sleutel.
Het resulterende teken-masker $S(x; \sigma, K_{perm}) \in \{-1, +1\}^{C \times H \times W}$ wordt elementgewijs vermenigvuldigd met de standaard watermerk-initiële latente $z_T^{(w)}$ :
$z_T^{(w, sem)} = S(x; \sigma, K_{perm}) \odot z_T^{(w)}$
De denoising scheduler gaat voort met deze gemoduleerde latente om het uiteindelijke beeld te genereren.

3. Extractieprocedure
Tijdens verificatie:

De verifieerder extraheert de binaire code uit het watermerk-beeld $\hat{x}$ met behulp van dezelfde semantische masker om het masker $\hat{S}$ te reconstrueren.
Het beeld wordt geïnverteerd om de initiële latente $\hat{z}_T^{(w, sem)}$ te schatten.
De semantische modulatie wordt verwijderd door te vermenigvuldigen met het masker: $\hat{z}_T^{(w)} = \hat{S} \odot \hat{z}_T^{(w, sem)}$ .
De onderliggende watermerk-decoder verwerkt $\hat{z}_T^{(w)}$ om de boodschap te extraheren.

Defensiemechanisme: Als een aanvaller probeert een beeld te vervalsen met andere semantiek (andere prompt), zal de gereconstrueerde $\hat{S}$ niet overeenkomen met de oorspronkelijke modulatie-masker. Deze mismatch introduceert een sterke perturbatie die ervoor zorgt dat de watermerk-extractie faalt, zelfs als de latente structuur lijkt op de gestolen watermerk-latente.

Belangrijkste Bijdragen

Eerste Defensie tegen Black-Box Vervalsing: SemBind is het eerste framework dat specifiek is ontworpen om latente watermerken te beschermen tegen black-box vervalsingsaanvallen zonder de generatieve capaciteiten van het model op te offeren.
Semantische Binding via Contrastief Leren: Het introduceert een geleerde semantische masker die latente signalen bindt aan beeldsemantiek, waardoor watermerken alleen geldig zijn wanneer de beeldsemantiek overeenkomt met de oorspronkelijke generatiecontext.
Behoud van Theoretische Ondetecteerbaarheid: De auteurs bewijzen theoretisch dat voor schema's die bewijsbare ondetecteerbaarheid toestaan (bijv. Gaussian Shading, PRC), de SemBind-variant deze garantie behoudt. Omdat het teken-masker onafhankelijk en $\{-1, +1\}$ is, laat het vermenigvuldigen van een Gaussisch verdeelde latente met dit masker de distributie invariant.
Afstembare Trade-off: Een enkele parameter, de masker-ratio ( $\sigma$ ), stelt gebruikers in staat om de balans tussen anti-vervalsingskracht en robuustheid tegen natuurlijke verstoringen te controleren.

Experimentele Resultaten

De auteurs hebben SemBind geëvalueerd op vier representatieve latente-gebaseerde schema's: Tree-Ring, Gaussian Shading, PRC, en Gaussian Shading++.

Beeldkwaliteit: SemBind behoudt een beeldkwaliteit die vergelijkbaar is met de baselines. FID- en CLIP-scores tonen geen statistisch significante degradatie (t-testen bevestigen ononderscheidbaarheid van de originele SD 2.1 outputs). Voor Tree-Ring verbeterde SemBind zelfs licht de FID.
Defensie tegen Imprinting:
- In "match" scenario's (aanvaller gebruikt hetzelfde model, SD 2.1), verminderde SemBind de detectiepercentages van ~~100% naar <10% voor Tree-Ring en Gaussian Shading, en de bit-accuratesse daalde naar bijna willekeurig gokken (~~0.5).
- In "mismatch" scenario's (aanvaller gebruikt SD 1.5), daalden de detectiepercentages naar bijna nul over alle schema's heen, met een bit-accuratesse die 0.5 benadert.
Defensie tegen Reprompting: SemBind verminderde de detectiepercentages met meer dan 40% en de bit-accuratesse met ten minste 25% over alle schema's en datasets (SDP en COCO). In mismatchen settings werden vervalste beelden zelden geaccepteerd.
Robuustheid: SemBind introduceert slechts een milde daling in robuustheid tegen veelvoorkomende perturbaties (JPEG-compressie, ruis, blur, etc.). Schema's met een hoge baseline robuustheid (Tree-Ring, Gaussian Shading) behielden bijna de originele prestaties, terwijl schema's met zwakkere baselines (PRC, Gaussian Shading++) een matige maar acceptabele degradatie vertoonden (3–5% daling in detectie).

Betekenis en Claims

Het artikel claimt dat SemBind de fundamentele spanning tussen robuustheid en veiligheid in latente watermerken oplost. Door het watermerk aan semantiek te binden, voorkomt het dat aanvallers watermerken overdragen naar beelden met andere inhoud, waardoor black-box vervalsing effectief wordt geneutraliseerd.

Cruciaal is dat de auteurs benadrukken dat SemBind de bewijsbare ondetecteerbaarheid van de onderliggende schema's behoudt. Dit is een belangrijke vooruitgang, aangezien eerdere pogingen om watermerken te verharden vaak de statistische onzichtbaarheid in gevaar brachten die vereist is voor verantwoorde AI-implementatie. Het framework wordt gepresenteerd als een algemeen, plug-in defensief mechanisme dat compatibel is met bestaande latente-gebaseerde watermerk-methoden, waarbij een controleerbare trade-off tussen veiligheid en robuustheid wordt geboden via de masker-ratio parameter.