Breaking Semantic-Aware Watermarks via LLM-Guided Coherence-Preserving Semantic Injection

Dit paper introduceert de Coherence-Preserving Semantic Injection (CSI)-aanval, die gebruikmaakt van LLM-gestuurde semantische manipulatie om semantische watermerken in gegenereerde afbeeldingen te omzeilen terwijl de globale beeldcoherentie behouden blijft.

De kern

Stel je voor dat je een heel waardevol schilderij hebt gemaakt. Om te bewijzen dat het van jou is, heb je een onzichtbare, magische stempel in de verf aangebracht. Dit is een watermerk voor AI-gegenereerde afbeeldingen.

Vroeger was deze stempel als een onzichtbare inkt die je in de textuur van het canvas (de "ruis" of het ruispatroon) stopte. Maar hackers ontdekten dat ze die inkt eruit konden "wassen" of namaken zonder het schilderij zelf aan te raken.

Om dit op te lossen, hebben wetenschappers een slimmer idee bedacht: Semantische Watermerken.
In plaats van alleen in de textuur te stempelen, koppelen ze de stempel nu aan het onderwerp van het schilderij. Als je het schilderij wilt vervalsen, moet je het onderwerp (bijvoorbeeld een hond) veranderen in een kat. Maar dan breekt de magische stempel, want de stempel zegt: "Dit is een hond!" en de afbeelding toont een kat. De stempel wordt dan ongeldig. Het lijkt onmogelijk om te vervalsen zonder de stempel te breken.

Maar hier komt de twist in dit nieuwe onderzoek:

De onderzoekers van de Universiteit van New South Wales hebben ontdekt dat LLMs (grote taalmodellen, zoals de slimme AI's die tekst schrijven) een superkracht hebben die deze nieuwe beveiliging omzeilt.

De Analogie: De Meester-Verteller en de Vaste Regels

Stel je voor dat de beveiliging werkt als een strenge regisseur die zegt: "Je mag het verhaal veranderen, maar je mag de hoofdpersoon niet vervangen en de sfeer mag niet veranderen."

1. De oude aanval (De brute kracht): Een hacker probeert het schilderij zomaar te vervormen. De regisseur schreeuwt: "Stop! De sfeer is kapot!" en de beveiliging slaat aan.
2. De nieuwe aanval (CSI - De slimme verteller): De onderzoekers gebruiken een AI (een LLM) als een meester-verteller. Ze geven deze AI een opdracht: "Verander dit schilderij van een hond in een kat, maar doe het zo slim dat het er nog steeds uitziet als een verhaal over een huisdier, en zorg dat de magische stempel (die zegt 'dit is een hond') niet merkt dat er iets mis is."

De AI denkt na als een schrijver:

• "Oké, ik verander 'hond' in 'kat'."
• "Maar ik pas ook de achtergrond aan: in plaats van een hondenmand, komt er een kattenmand. In plaats van een hondensnuit, een kattenneus."
• "Ik zorg dat alles logisch samenhangt. Het verhaal klopt nog steeds, alleen het personage is anders."

Wat gebeurt er nu?

De AI maakt een perfecte, logische aanpassing.

• Het schilderij ziet er nog steeds uit als een samenhangend geheel (de "coherentie" is behouden).
• Maar de watermerk-beveiliging wordt bedrogen. Omdat de AI zo slim is, verandert hij de betekenis van het beeld op een manier die de watermerk niet kan onderscheiden van een "normale" verandering. De watermerk denkt: "Oh, het verhaal is nog steeds logisch, dus dit is nog steeds een origineel werk!" terwijl het eigenlijk een vervalsing is.

De Kern van het Onderzoek in Eén Zin

De onderzoekers tonen aan dat je met een slimme AI (een taalmodel) een schilderij kunt "herschrijven" alsof je een verhaal aanpast, zodat de beveiliging denkt dat het nog steeds hetzelfde is, terwijl je in feite de inhoud volledig hebt veranderd.

Waarom is dit belangrijk?

Het is alsof je dacht dat je slot op je deur (de watermerk) onbreekbaar was omdat het gekoppeld was aan de vorm van je huis. Maar deze nieuwe aanval laat zien dat je met de juiste sleutel (de AI) het huis kunt verbouwen tot een ander huis, terwijl het slot denkt dat het nog steeds het originele huis is.

Conclusie:
Deze "Semantische Watermerken" die we hadden bedacht om AI-beveiliging te verbeteren, zijn kwetsbaar voor slimme taal-AI's. De beveiliging moet nu veel sterker worden, niet alleen tegen brute kracht, maar tegen slimme, logische herschrijvingen van de inhoud zelf.

Technische samenvatting

Probleemstelling

Met de snelle verspreiding van door AI gegenereerde afbeeldingen (voornamelijk via diffusion-modellen) op sociale media, is de noodzaak voor betrouwbare provenance-tracking en copyrightbescherming toegenomen. Traditionele watermerken op pixelniveau zijn kwetsbaar voor compressie en filtering. Daarom zijn er semantische watermerken ontwikkeld die signalen coderen in de initiële ruis (noise) van het generatieproces (bijv. Tree-Ring, Gaussian Shading, WIND).

Echter, deze methoden hebben een fundamenteel zwak punt:

1. Content-onafhankelijke watermerken (CIW): Deze zijn kwetsbaar voor "inversion attacks", waarbij de ruis wordt gereconstrueerd om willekeurige inhoud met valse watermerken te genereren.
2. Content-bewuste semantische watermerken (CSW): Om CIW te verhelpen, zijn methoden zoals SEAL ontwikkeld. Deze koppelen het watermerksignaal strikt aan de hoge-level semantiek van de afbeelding. Om een CSW te omzeilen, moet een aanvaller de lokale semantiek veranderen (voor de aanval) terwijl de globale semantische coherentie behouden blijft.

De kern van het probleem is dat eerdere aannames veronderstelden dat het oplossen van dit multi-beperkte optimalisatieprobleem in een discrete prompt-ruimte te complex is voor aanvallen. Dit paper toont aan dat Large Language Models (LLMs) deze barrière kunnen doorbreken door hun vermogen tot gestructureerd redeneren en het zoeken naar optimale semantische oplossingen.

Methodologie: Coherence-Preserving Semantic Injection (CSI)

De auteurs introduceren de CSI-aanval, een framework dat LLMs gebruikt om semantische manipulaties uit te voeren die de watermerkdetectie omzeilen zonder de visuele coherentie te verbreken. Het proces bestaat uit twee hoofdcomponenten:

1. Adversarial Semantic Injection via Semantically Coherent Manipulations (ASI)

Het doel is om een nieuwe prompt $t'$ te vinden die:

• De globale ankers (hoofdonderwerpen) behoudt.
• Een specifieke, door de aanvaller gewenste attribuut ($a^*$) injecteert.
• Zorgt dat de gegenereerde afbeelding $x'$ nog steeds voldoet aan de semantische voorwaarden van het watermerk (d.w.z. de detector denkt dat het watermerk aanwezig is).

In plaats van de discrete prompt-ruis direct te optimaliseren (wat instabiel is), gebruiken de auteurs een "optimization-by-prompting" aanpak:

• Een LLM fungeert als een "black-box proposer".
• Er wordt een meta-prompt gegeven die de doelstellingen en beperkingen in natuurlijke taal beschrijft (bijv. "Behoud het hoofdonderwerp, maar pas de kleur of stijl aan").
• De LLM genereert een batch van semantisch samenhangende prompt-candidaten.
• Tijdens het regeneratieproces wordt de originele watermerk-ruis ($z_T$) gekopieerd en hergebruikt, zodat elke verandering in detectie puur toe te schrijven is aan de semantische wijziging in de prompt en niet aan stochastische variatie.

2. Consistency-Based Hierarchical Filtering (CHF)

Om ervoor te zorgen dat de gegenereerde prompts daadwerkelijk werken, worden ze gefilterd via een hiërarchisch proces:

1. Tekstuele Semantische Filtering: Kandidaten die te veel afwijken van de globale ankers (hoofdonderwerpen) worden verwijderd op basis van tekstuele vergelijkingsmetrieken.
2. Visuele Anker Filtering: Voor de overgebleven prompts wordt een nieuwe afbeelding gegenereerd (met de originele ruis). Een beeldbeschrijvingsmodel (BLIP) genereert een beschrijving van deze nieuwe afbeelding. Deze wordt vergeleken met de oorspronkelijke ankers om te verifiëren of de visuele inhoud consistent blijft.
3. CSW Semantische Matching: Er wordt gecontroleerd of de gegenereerde afbeelding en de gekopieerde ruis nog steeds een hoge semantische overeenkomst hebben (gemeten via cosine similarity in de embedding-ruimte). Alleen prompts die aan alle criteria voldoen, worden gebruikt voor de uiteindelijke aanval.

Belangrijkste Bijdragen

1. Ontdekking van een nieuwe kwetsbaarheid: Het paper toont aan dat bestaande content-bewuste semantische watermerken (zoals SEAL) fundamenteel kwetsbaar zijn voor LLM-gestuurde semantische perturbaties.
2. CSI-framework: De eerste systematische aanval op CSW-methoden die gebruikmaakt van LLMs voor semantische manipulatie onder strikte coherentie-beperkingen.
3. Empirisch bewijs: Uitgebreide experimenten tonen aan dat zelfs state-of-the-art watermerken niet bestand zijn tegen deze aanval, wat wijst op een urgentie voor nieuwe, robuustere watermerktechnieken.

Resultaten

De auteurs hebben hun methode getest tegen vier semantische watermerktechnieken: Gaussian Shading, Tree-Ring, WIND en SEAL (de meest geavanceerde content-bewuste methode).

• Tegen Content-onafhankelijke watermerken: Alle methoden (LFA, RPM, en CSI) behaalden een aanvalssuccespercentage (ASR) van bijna 100%. Dit bevestigt de bekende kwetsbaarheid van deze oudere methoden.
• Tegen Content-bewuste watermerken (SEAL):
  • Bestaande aanvallen (RPM en LFA) faalden bijna volledig met een ASR van respectievelijk 7% en 0%.
  • CSI (de voorgestelde methode) behaalde een ASR van 81%. Dit is een dramatisch verschil en bewijst dat LLMs effectief kunnen navigeren in de semantische ruimte om de watermerk-beperkingen te omzeilen.
• Semantische Coherentie: De analyse van de Fréchet Inception Distance (FID) toont aan dat CSI de semantische drift aanzienlijk beperkt. Terwijl ongecontroleerde regeneratie (RPM) een hoge FID had (235.4), behaalde CSI een FID van 178.8, wat veel dichter bij de originele, ongewijzigde afbeeldingen ligt (164.3). Dit bevestigt dat de aanval de globale semantiek behoudt terwijl lokale attributen worden gewijzigd.
• Detectie-metrieken: De aanval verlaagde de detectiescores van alle geteste watermerken (zoals L1-afstand bij Tree-Ring en patch-matching bij SEAL) ver onder de detectiedrempels, wat leidde tot misclassificatie door de detectors.

Betekenis en Conclusie

Dit paper legt een fundamentele zwakte bloot in de huidige generatie semantische watermerken voor AI-gegenereerde afbeeldingen. De conclusie is dat content-bewuste watermerken niet voldoende zijn als aanvallen gebruikmaken van de redeneervermogens van LLMs om semantisch samenhangende manipulaties uit te voeren.

De bevindingen suggereren dat toekomstige watermerktechnieken niet alleen moeten focussen op ruis of lokale semantiek, maar moeten evolueren naar hiërarchische en robuustere mechanismen die bestand zijn tegen geavanceerde, semantische adversariale aanvallen. De auteurs waarschuwen dat de huidige veiligheidsaannames over de complexiteit van het manipuleren van discrete prompt-ruimtes onjuist zijn in het licht van de snelle vooruitgang van LLMs.