Technische Samenvatting: Het Mitigeren van Watermerkvervalsing in Generatieve Modellen via Gekwalificeerde Selectie van Willekeurige Sleutels

1. Probleemstelling

Aanbieders van Generatieve AI (GenAI) maken gebruik van watermerken om inhoud toe te schrijven aan hun modellen, door verborgen signalen in te bedden die detecteerbaar zijn via een geheime sleutel. Een kritieke veiligheidsbedreiging voor dit ecosysteem is vervalsingsaanvallen, waarbij tegenstanders het watermerk van een aanbieder in inhoud invoegen die niet door die aanbieder is gegenereerd. Dit stelt aanvallers in staat om schadelijke inhoud (bijvoorbeeld desinformatie, geweld of spam) vals toe te schrijven aan een gerenommeerde aanbieder, waardoor hun reputatie wordt geschaad en ze worden blootgesteld aan juridische aansprakelijkheid.

Bestaande verdedigingsmechanismen hebben aanzienlijke beperkingen:

• Statistische detectie: Het analyseren van tokenverdelingen of artefacten faalt vaak tegen adaptieve aanvallers.
• Sleutelrotatie: Het roteren van sleutels na $N$ samples introduceert beheerscomplexiteit en laat de optimale waarde voor $N$ onduidelijk.
• Inbedding van meerdere sleutels: Het inbedden van meerdere sleutels in één sample degradeert de bruikbaarheid van het model en, zoals eerder onderzoek aantoont, blijft het kwetsbaar als een aanvaler voldoende watermerksamples ($N$) verzamelt om het watermerkpatroon te distilleren.

De kernuitdaging is het bereiken van vervalsingsresistentie die effectief blijft, ongeacht het aantal watermerksamples dat een aanvaler kan verzamelen, zonder de bruikbaarheid van het generatieve model te degraderen.

2. Methodologie

De auteurs stellen een strategie voor gekwalificeerde selectie van willekeurige sleutels voor die fungeert als een black-box wrapper voor bestaande watermerkmethoden (toepasbaar op zowel tekst- als beeldmodaliteiten).

Kernmechanisme

1. Generatie: Voor elke gebruikersvraag selecteert de aanbieder exact één geheime sleutel uit een pool van $r$ sleutels ($K = \{k_1, ..., k_r\}$) om de gegenereerde inhoud van een watermerk te voorzien. Dit is qua generatie- overhead identiek aan standaard single-key watermerking.
2. Detectie: De aanbieder voert detectietests uit voor alle $r$ sleutels in de pool op de inhoud.
3. Beslissingsregel:
   • Echt: Precies één sleutel wordt gedetecteerd (statistisch significant).
   • Vervalst: Geen sleutels worden gedetecteerd (inhoud is niet van de aanbieder) OF twee of meer sleutels worden gedetecteerd.
   • Logica: Een aanvaler die probeert een watermerk te vervalsen door patronen te distilleren uit een dataset van watermerksamples (waarbij elk sample een andere willekeurige sleutel gebruikt), zal onbedoeld een "mengsel" van watermerksignalen leren. Bijgevolg zal hun vervalste inhoud waarschijnlijk gelijktijdig detectie voor meerdere sleutels activeren, wat leidt tot afwijzing.

Theoretisch Kader

De methode rust op de aanname van "blinde" aanvallers die niet kunnen onderscheiden welke specifieke sleutel is gebruikt om een specifiek sample te genereren.

• Drempelkalibratie: Om de familie-ware foutkans (FWER) over $r$ tests te beheersen, wordt de drempel per sleutel $\tau$ aangepast met behulp van de Šidák-correctie: $\alpha = 1 - (1 - \alpha_{fw})^{1/r}$.
• Theoretische Grens: Voor blinde aanvallers is de kans op succesvol vervalsen van een sample (het activeren van precies één sleutel) begrensd. Het slagingspercentage is maximaal wanneer de detectiekans per sleutel $1/r$ is, wat een bovengrens oplevert van $(1 - 1/r)^{r-1}$. Cruciaal is dat deze grens onafhankelijk is van het aantal samples ($N$) dat beschikbaar is voor de aanvaler, in tegenstelling tot eerdere multi-key benaderingen waarbij garanties verslechteren naarmate $N$ toeneemt.

3. Belangrijkste Bijdragen

1. Strategie voor Gekwalificeerde Selectie van Willekeurige Sleutels: Een eenvoudige, black-box aanpak die de weerstand tegen watermerkvervalsing aanzienlijk verbetert bij diverse aanvallen, zonder dat nieuwe watermerkschema's vereist zijn.
2. Theoretische Garanties: De eerste theoretische grens voor vervalsingssucces die onafhankelijk is van de steekproefgrootte van de aanvaler, mits de aanvaler sleutels niet kan onderscheiden (blinde aanval).
3. Empirische Validatie: Uitgebreide tests op tekst (LLM's) en beeld (diffusiemodellen) modaliteiten, die consistente verminderingen in vervalsingssucces aantonen.
4. Open Source: Publicatie van de implementatiecode.

4. Experimentele Resultaten

De auteurs evalueerden hun methode tegen adaptieve aanvallers (zowel "blind" als "informed") met behulp van datasets zoals AdvBench, HarmfulQ en CelebA.

• Tekstmodaliteit:
  • Met behulp van vier watermerkvarianten (KGW-SelfHash, Unigram, KGW-Soft, KGW-Hard) verlaagde de methode de vervalsingssuccespercentages van bijna perfect (tot 100% voor single-key baselines) tot zo laag als 2% bij gebruik van 4 sleutels.
  • Bijvoorbeeld, met het Unigram-schema op AdvBench daalde het vervalsingssucces van 68% (single-key) naar 16% (4 sleutels).
  • De methode bleef effectief zelfs bij schaling naar grotere modellen (bijvoorbeeld LLaMA-13B) en tegen op distillatie gebaseerde aanvallen.
• Beeldmodaliteit:
  • Toegepast op de Tree-Ring watermerk methode, verlaagde de aanpak het vervalsingssucces van 100% (single-key) naar 2% met 4 sleutels.
  • De verdediging behield lage vervalsingspercentages ongeacht het aantal trainingsafbeeldingen dat beschikbaar was voor de aanvaler (getest tot 5.000 samples).
• Bruikbaarheid en Robuustheid:
  • False Negative Rate (FNR): De methode behoudt de detectie van echte inhoud. De FNR voor echte watermerkinhoud bleef verwaarloosbaar (0–3% zelfs met 4 sleutels), wat aangeeft dat er geen significante degradatie is in modelbruikbaarheid of detectienauwkeurigheid.
  • Robuustheid: De robuustheid tegen parafrase-aanvallen (bijvoorbeeld Dipper) bleef consistent met het onderliggende watermerkschema, aangezien de wrapper het inbeddingsproces niet verandert.

5. Betekenis en Beperkingen

Betekenis:
Het artikel betoogt dat deze aanpak een praktische, inzetbare beveiligingslaag biedt voor bestaande watermerksystemen. Door de selectie van sleutels te randomiseren en een "exact-één" detectieregel af te dwingen, creëert het een statistische barrière die op gemiddelde gebaseerde aanvallen niet kan overwinnen. Het elimineert de noodzaak voor complexe schema's voor sleutelrotatie en behoudt een hoge modelbruikbaarheid.

Beperkingen en Aannames:

• Blinde versus Informed Aanvallers: De theoretische garanties gelden voor "blinde" aanvallers. Als een aanvaler kan afleiden welke sleutel een specifiek sample heeft gegenereerd (bijvoorbeeld via een systeeminbraak of zijkanaal), kunnen ze samples clusteren op sleutel en effectiever vervalsen. In experimenten met "informed" aanvallers (die sleutellabels hadden) plateauerde het vervalsingssucces op ongeveer 65%, hoewel dit in de praktijk onrealistische toegang tot sleutellabels vereist.
• Instance-gebaseerde Aanvallen: De methode kan geen verdediging bieden tegen "instance-gebaseerde" aanvallen waarbij een watermerk kan worden vervalst met behulp van één enkel sample ($N=1$). Dit is een kwetsbaarheid van het onderliggende watermerkschema (bijvoorbeeld Tree-Ring) en niet van de voorgestelde verdediging.
• Berekeningskosten: Verificatie schaalt lineair met het aantal sleutels ($r$). Hoewel verwaarloosbaar voor tekst (microseconden), is het rekenkundig intensiever voor beeldwatermerken die diffusiemodel-inversie vereisen.
• Afwegingen: Het verhogen van het aantal sleutels vereist het verhogen van de detectiedrempel om het globale vals-positieve percentage te handhaven, wat de true positive rate (robuustheid) van het onderliggende watermerk licht verlaagt, hoewel empirische resultaten aantonen dat deze impact marginaal is (2–3%).

Concluderend stellen de auteurs dat gekwalificeerde selectie van willekeurige sleutels een kant-en-klare oplossing is die de bedreiging van watermerkvervalsing voor huidige heuristische watermerkschema's effectief mitigeert, mits de geheimhouding van sleutels wordt gehandhaafd tegen inferentie.