🤖 AI

Vaporizer: Breaking Watermarking Schemes for Large Language Model Outputs

Dit artikel toont aan dat state-of-the-art watermerkschema's voor grote taalmodellen effectief kunnen worden omzeild door diverse semantisch behoudende tekstbewerkingsaanvallen, wat kritieke kwetsbaarheden in huidige systemen blootlegt en de noodzaak onderstreept van robuustere beveiligingsontwerpen.

Oorspronkelijke auteurs: Jonathan Hong Jin Ng, Anh Tu Ngo, Anupam Chattopadhyay

Gepubliceerd 2026-05-11

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jonathan Hong Jin Ng, Anh Tu Ngo, Anupam Chattopadhyay

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een magische stempel hebt die op elke zin die een computer schrijft een onzichtbaar merkteken achterlaat. Deze "watermerk" zou moeten bewijzen dat een mens het verhaal niet heeft geschreven, maar een robot. De makers van deze stempels beweren dat ze onbreekbaar zijn, zoals een geheime code die niet kan worden gewist zonder het verhaal zelf te vernietigen.

Dit artikel is als een groep beveiligingsexperts die proberen die stempels te breken. Ze stelden een simpele vraag: "Kunnen we de onzichtbare inkt afwassen zonder het papier te schrobben tot het scheurt?"

Hier is wat ze vonden, uitgelegd via alledaagse analogieën:

De Drie Soorten "Onzichtbare Stempels"

De onderzoekers testten drie verschillende manieren waarop bedrijven proberen AI-tekst van een watermerk te voorzien:

Het "Groen Licht"-systeem (Bewezen Robuust): Stel je een verkeerslicht voor dat de AI subtiel aanzet om iets vaker "groene" woorden te kiezen dan "rode" woorden. Het is een statistische truc. Het artikel beweert dat dit het moeilijkst te breken is, maar zelfs deze is niet onbreekbaar.
Het "Geheime Handgebaar"-systeem (SynthID): Dit is als een spel waarbij de AI woorden kiest op basis van een geheime score-regel. Als de woorden in het geheime patroon passen, is het van een watermerk voorzien. De onderzoekers vonden dat dit matig kwetsbaar is.
Het "Digitaal Handtekening"-systeem (Publiek Detecteerbaar): Dit probeert een cryptografische code direct in de tekst te verstoppen, zoals een verborgen barcode. De onderzoekers vonden dat dit volledig gebroken was. Elke aanval die ze probeerden, wiste deze handtekening direct uit.

De "Was"-methoden (De Aanvallen)

Het team gebruikte niet zomaar een spons; ze gebruikten drie verschillende "was"-technieken om de merktekens te proberen te verwijderen:

De Synoniemen-ruil (Lexicale Veranderingen): Net als het vervangen van "gelukkig" door "blij" of "groot" door "enorm". Ze vonden dat dit de zwakste methode was. Het raakte het watermerk nauwelijks en maakte de tekst vaak onhandig klinkend of vol met grammaticafouten.
De Vertaal-lus: Stel je voor dat je een zin van het Engels naar het Frans vertaalt en vervolgens terug naar het Engels. Het is alsof je een bericht door een spelletje "telefoon" laat gaan. Dit verwijderde sommige watermerken, maar maakte de tekst vaak onhandig klinkend of veranderde de betekenis lichtjes.
De "AI-herschrijver" (Neurale Parafrase): Dit was de nucleaire optie. Ze gebruikten een superslimme AI (zoals Pegasus) om de tekst te herschrijven. Het is alsof je een professionele redacteur huurt om je verhaal volledig te herschrijven terwijl je de exacte betekenis behoudt.
- Het Resultaat: Dit was het meest effectieve wapen. Het slaagde erin om de "Groen Licht"- en "Geheime Handgebaar"-stempels in veel gevallen te wissen, en het wiste de "Digitaal Handtekening" 100% van de tijd uit.

De Vangst: De "Kwaliteit versus Beveiliging"-afweging

Dit is het belangrijkste deel van het verhaal: Je kunt niet beide hebben.

Het artikel vond een duidelijke regel: Om het watermerk te breken, moet je de tekst meestal beschadigen.

Als je probeerde de stempel te agressief te verwijderen, werd de tekst vol met grammaticafouten, moeilijk leesbaar of verloor het zijn oorspronkelijke betekenis.
De "AI-herschrijver" (Pegasus) was echter de meester-dief. Het slaagde erin de watermerken te verwijderen terwijl de tekst er nog steeds grotendeels normaal uitzag. Het was de beste balans tussen "de code breken" zonder "het papier te vernietigen".

De Grote Conclusie

De onderzoekers concludeerden dat de huidige "onzichtbare stempels" breekbaar zijn.

De "Digitaal Handtekening"-stempel is al nutteloos; hij breekt bij de geringste aanraking.
De "Groen Licht"- en "Geheime Handgebaar"-stempels zijn sterker, maar een slimme AI-herschrijver kan ze nog steeds eraf halen.

Het Uiteindelijke Oordeel:
Het artikel betoogt dat we niet kunnen vertrouwen op deze huidige watermerken om te bewijzen of tekst door AI is gegenereerd. De "sloten" zijn te makkelijk te kraken. Om dit op te lossen, suggereren de auteurs dat we moeten stoppen met het verstoppen van het merkteken in de woorden zelf (zoals de kleur van de inkt) en moeten beginnen met het verstoppen ervan in de diepe betekenis van het verhaal, wat veel moeilijker te veranderen is zonder het verhaal zelf te vernietigen.

Tot die tijd, als iemand probeert te verbergen dat een AI iets heeft geschreven door het te herschrijven, kan de huidige technologie hen niet betrouwbaar stoppen.

Technische Samenvatting: Vaporizer - Kraken van Watermerksystemen voor Output van Grootte Taalmodellen

Probleemstelling

De snelle adoptie van Grootte Taalmodellen (LLM's) heeft kritieke zorgen opgewekt over inhoudsauthenticiteit, plagiaat en modelattributie. Om dit aan te pakken, zijn watermerktechnieken voorgesteld om onzichtbare signalen in gegenereerde tekst in te bedden om auteurschap te verifiëren. Echter, bestaande systemen worden beweerde robuust en productieklaar te zijn, terwijl hun kwetsbaarheid voor semantisch behoudende tekstmanipulaties onderbelicht blijft. Het kernprobleem dat in dit artikel wordt aangepakt, is dat huidige watermerkmethode, of ze nu statistisch of cryptografisch zijn, vatbaar kunnen zijn voor aanvallen die de oppervlaktestructuur van de tekst veranderen terwijl de semantische integriteit behouden blijft, waardoor het watermerksignaal effectief wordt vernietigd zonder de tekst onbruikbaar te maken.

Methodologie

De auteurs ontwikkelden een systematisch evaluatiekader om de robuustheid van drie state-of-the-art LLM-watermerksystemen te testen tegen een uitgebreide collectie van gemodificeerde tekstaanvallen. De studie gebruikte een dataset van 100 diverse schrijfprompten gegenereerd door ChatGPT, die werden verwerkt via de doelwatermerksystemen om gewatermerkte output te creëren. Een controlegroep van niet-gewatermerkte tekst werd eveneens gegenereerd voor basislijnvergelijking.

Doelwatermerksystemen

De studie evalueerde drie verschillende benaderingen die huidige vooruitgang vertegenwoordigen:

Bewijsbaar Robuust Watermerken (Zhao et al., 2024): Een statistische methode die "groene" en "rode" tokenlijsten gebruikt om tokenselectie tijdens generatie te beïnvloeden.
Publiek Detecteerbaar Watermerken (Fairoze et al., 2025): Een cryptografische aanpak die digitale handtekeningen codeert binnen specifieke tokenreeksen met behulp van hash-functies.
SynthID (Dathathri et al., 2024): Een hybride strategie van Google DeepMind die toernooi-gebaseerde steekproeven en een met een geheime sleutel gezaaide scorefunctie gebruikt om tokens te selecteren.

Aanvalsstrategieën

De auteurs implementeerden drie hoofdcategorieën van aanvallen, waarbij effectiviteit in evenwicht werd gebracht met behoud van tekstkwaliteit:

Lexicale Transformaties: Omvatte synoniemvervanging (met behulp van WordNet), willekeurige woordverwijdering, willekeurige woordverwisseling en verwisseling van aangrenzende woorden.
Machinevertaling: Bidirectionele vertaling (Engels $\leftrightarrow$ Frans/Duits/Spaans) met behulp van het MarianMT-kader.
Neurale Parafrase: Gebruik van BART (facebook/bart-large-cnn) en Pegasus-modellen om tekst te herschrijven terwijl de betekenis behouden blijft.

Zowel single-step als incrementele aanvallen werden uitgevoerd om de relatie tussen modificatie-intensiteit en watermerkdegradatie te analyseren.

Evaluatiemetrics

De effectiviteit van de aanvallen werd gemeten tegen twee primaire criteria:

Watermerkverwijdering: Gekwantificeerd door detectiescores (Z-scores voor statistische methoden, g-scores voor SynthID). Een score onder een specifieke drempel (bijv. 0 of 0,5) gaf succesvolle verwijdering aan.
Semantisch en Kwaliteitsbehoud: Beoordeeld met behulp van:
- BERT-scores: Om semantische gelijkenis met de originele tekst te meten.
- Tekstcomplexiteit: Gemeten via de Gunning Fog Index.
- Leesbaarheid: Beoordeeld met Flesch Reading Ease indices.
- Grammaticale fouten: Gedetecteerd en geclassificeerd met LanguageTool.

Belangrijkste Resultaten

De experimentele resultaten onthulden verschillende niveaus van kwetsbaarheid over de drie systemen heen, met een consistente bevinding dat watermerken met redelijke inspanning kunnen worden verwijderd.

1. Bewijsbaar Robuust Watermerken

Kwetsbaarheid: Toonde de sterkste weerstand van de drie.
Beste Aanval: Neuraal parafraseren, specifiek Pegasus Parafrase, behaalde het hoogste succespercentage (23% van de steekproeven viel onder de detectiedrempel) met de laagste gemiddelde Z-score (0,93).
Andere Aanvallen: Vertalingsgebaseerde aanvallen toonden matige effectiviteit (4-5% succes), terwijl lexicale transformaties zoals synoniemvervanging het minst effectief waren (1-4% succes).
Kwaliteitsoverweging: Pegasus Parafrase behield redelijke grammaticale foutpercentages terwijl verwijdering werd bereikt, terwijl eenvoudige parafrase en synoniemvervanging ernstige kwaliteitsdegradatie veroorzaakten (bijv. 797% toename in grammaticale fouten voor synoniemvervanging).

2. SynthID

Kwetsbaarheid: Toonde matige kwetsbaarheid.
Beste Aanval: Pegasus Parafrase bleek opnieuw het meest effectief met een succespercentage van 14%. Synoniemvervanging (11%) en woordverwisselingen (9%) volgden.
Kwaliteitsoverweging: Neuraal parafraseren bood de beste balans, waarbij de reductie van de BERT-score beperkt werd tot 12,8% terwijl verwijdering werd bereikt. Vertalingsgebaseerde aanvallen waren minder effectief (2-3% succes) maar behielden de semantische inhoud goed.

3. Publiek Detecteerbaar Watermerken

Kwetsbaarheid: Toonde volledige kwetsbaarheid.
Resultaat: Alle geteste aanvalsmethoden behaalden een succespercentage van 100% in het verwijderen van het watermerk.
Kwaliteitsoverweging: Hoewel verwijdering universeel was, varieerde de impact op tekstkwaliteit. Woordverwisseling behield de semantische inhoud goed (9,25% BERT-reductie), terwijl vertalingsgebaseerde aanvallen ernstige vervorming veroorzaakten (bijv. Duitse vertaling verhoogde de tekstcomplexiteit met 315%).

Algemene Bevindingen

Dominantie van Neuraal Parafraseren: Over alle systemen heen waren neurale parafrasetechnieken (met name Pegasus) het meest effectief in het degraderen van watermerkdetecteerbaarheid terwijl linguïstische kwaliteit behouden bleef.
Omgekeerde Relatie: Er is een duidelijke trade-off tussen aanvalseffectiviteit en tekstkwaliteit. Succesvolle verwijdering degradeerde onvermijdelijk semantisch behoud, leesbaarheid of grammaticale correctheid.
Incrementele Aanvallen: Progressieve tekstmodificaties verminderden de watermerkdetecteerbaarheid geleidelijk in een bijna lineaire relatie met de degradatie van semantisch behoud.

Belangrijkste Bijdragen

Het artikel levert de volgende bijdragen:

Eerste Omvattende Demonstratie: Het biedt empirisch bewijs dat toonaangevende LLM-watermerksystemen kwetsbaar zijn voor een breed scala aan semantisch behoudende aanvallen.
Systematisch Evaluatiekader: De auteurs ontwikkelden een kader dat meerdere aanvalsvectoren (lexicaal, vertaling, neurale) en detectiemetrics (Z-scores, BERT, leesbaarheid, fouten) omvat.
Kwantificering van Trade-offs: De studie kwantificeert de specifieke trade-off tussen effectiviteit van watermerkverwijdering en tekstkwaliteitsdegradatie voor verschillende aanvalstypen.
Analyse van Incrementele Modificaties: Het analyseert hoe incrementele tekstveranderingen zowel detectiescores als semantisch behoud beïnvloeden.
Ontwerpaanbevelingen: De auteurs bieden inzichten die suggereren dat toekomstige systemen zich moeten richten op het blokkeren van neuraal parafraseren in plaats van eenvoudige lexicale manipulaties en hybride detectiebenaderingen moeten overwegen.

Betekenis en Claims

De auteurs stellen dat hun werk licht werpt op de sterke en zwakke punten van bestaande LLM-watermerksystemen. De primaire betekenis ligt in het empirische bewijs van de fragiliteit van huidige systemen, met name het totale falen van het Publiek Detecteerbaar Watermerksysteem en de kwetsbaarheid zelfs van "bewijsbaar" robuuste methoden voor geavanceerd neuraal parafraseren.

Het artikel claimt dat terwijl watermerken bedoeld zijn om onwaarneembare modificaties in te brengen, adaptieve transformaties de inherente flexibiliteit van taal exploiteren om deze signalen uit te wissen. De auteurs concluderen dat:

Huidige systemen ontoereikend zijn voor betrouwbare attributie in adversariële omgevingen.
Er een onvermijdelijke trade-off bestaat tussen verwijderingsefficiëntie en teksttrouw, wat suggereert dat hybride detectiesystemen die kwaliteitsmetrics integreren (bijv. het markeren van inhoud met marginale watermerkscores maar gedegradeerde kwaliteit) de robuustheid kunnen verbeteren.
Toekomstige watermerkontwerpen voorbij oppervlakkige tekstkenmerken moeten gaan en signalen moeten inbedden binnen diepe semantische structuren om bestand te zijn tegen neuraal parafraseren.
Onder de geteste systemen biedt Bewijsbaar Robuust Watermerken momenteel de veiligste optie, hoewel het kwetsbaar blijft voor geavanceerde aanvallen.

De studie benadrukt dat deze bevindingen cruciaal zijn voor het versterken van de betrouwbaarheid van watermerkmethode in real-world toepassingen en het leiden van de ontwikkeling van veiligere contentauthenticatietechnologieën.