Watermarking Diffusion Language Models

Probleemstelling

De opkomst van Diffusion Language Models (DLMs) biedt een alternatief voor traditionele autoregressieve taalmodellen (ARLMs). In tegenstelling tot ARLMs, die tokens sequentieel (links-naar-rechts) genereren, kunnen DLMs tokens in willekeurige volgorde genereren en meerdere tokens tegelijk "ontmaskeren" (unmasken) tijdens het diffusieproces.

Hoewel er veel onderzoek is gedaan naar watermerken voor ARLMs (zoals de populaire Red-Green watermerken), zijn deze methoden niet direct toepasbaar op DLMs. De kernuitdaging is dat bestaande watermerkingsalgoritmen afhankelijk zijn van een hash van de reeds gegenereerde context om de sampling te sturen. Bij DLMs is de context vaak nog niet volledig vastgesteld wanneer een token wordt gegenereerd, waardoor het hashen en het toepassen van het watermerk onmogelijk of inefficiënt wordt. Een naïeve aanpak, waarbij alleen tokens worden gewatermerkt als hun volledige context beschikbaar is, resulteert in een te zwak watermerk omdat slechts een klein aantal tokens aan dit criterium voldoet.

Methodologie

De auteurs introduceren het eerste watermerkschema dat specifiek is ontworpen voor DLMs. De methode is gebaseerd op een theoretisch raamwerk dat het watermerken vormgeeft als een geconstrueerd optimalisatieprobleem.

1. Optimalisatieformulering:
   Het doel is om de verwachte verhouding van "groene" tokens (tokens die deel uitmaken van het watermerk) te maximaliseren over de gegenereerde sequentie, terwijl de impact op de kwaliteit van de tekst (gemeten via KL-divergentie) beperkt blijft.
   $$q^* = \arg \max_{q} \mathbb{E}_{\Omega \sim q}[\hat{\gamma}(\Omega)] \quad \text{onder de voorwaarde} \quad \forall t, \text{KL}(q_t, p_t) \leq \varepsilon$$
   Hierbij is $p$ de oorspronkelijke verdeling van het DLM en $q$ de gewatermerkte verdeling.

2. Oplossing en Afleiding:
   De auteurs leiden af dat de optimale verdeling $q^*$ kan worden verkregen door een exponentiële verschuiving toe te passen op de logits van het model. Deze verschuiving bestaat uit twee componenten:

   • Expectation Boost: Het toepassen van de Red-Green boost in verwachting over de verdeling van de context-hashes. Dit lost het probleem op dat de context nog niet volledig bekend is; in plaats van te wachten op de exacte context, wordt de verwachte bijdrage van alle mogelijke contexten gebruikt.
   • Predictive Bias: Het bevorderen van tokens die leiden tot hashes waarvoor de volgende tokens (in de toekomstige context) een grotere kans hebben om "groen" te zijn. Dit maakt gebruik van de unieke eigenschap van DLMs om informatie over toekomstige tokens te benutten.

3. Praktische Implementatie:

   • Hashing: Er worden lokale hashfuncties gebruikt (zoals SumHash en MinHash) die de omliggende tokens samenvatten. De auteurs tonen aan dat de verdeling van deze hashes efficiënt kan worden berekend via algebraïsche manipulatie (convolutie), zelfs zonder de volledige sequentie te kennen.
   • Algorithmus: Het algoritme (Algorithm 2) voert een vaste-puntiteratie uit om de optimale verdeling te benaderen. In de praktijk volstaat vaak één iteratie voor sterke resultaten.
   • Detectie: De detector blijft identiek aan die van bestaande Red-Green watermerken voor ARLMs: het berekent de kleur van elke token op basis van de context-hash en voert een binomiale toets uit op het aantal groene tokens.

Belangrijkste Bijdragen

• Eerste DLM Watermerk: Dit is het eerste werk dat een praktisch en effectief watermerk introduceert specifiek voor Diffusion Language Models.
• Theoretisch Raamwerk: Het probleem van DLM-watermerken wordt geformuleerd als een geconstrueerd optimalisatieprobleem, wat leidt tot een algoritme dat de complexiteit van de diffusieprocessen omzeilt.
• Generalisatie: Het bewijs dat het voorgestelde optimalisatieformulier, wanneer beperkt tot het autoregressieve geval, exact de bestaande Red-Green watermerken voor ARLMs reproduceert.
• Efficiëntie: Het algoritme behoudt de bestaande detector, wat zorgt voor compatibiliteit en lage overhead.

Resultaten

De auteurs evalueren hun methode op modellen zoals LLADA-8B en DREAM-7B en vergelijken deze met naïeve baselines en andere order-agnostische watermerken (zoals Unigram en PatternMark).

• Detectiekracht: Het voorgestelde watermerk bereikt een True Positive Rate (TPR) van >99% bij een False Positive Rate (FPR) van 1%, zelfs bij korte sequenties. Dit is significant beter dan de baselines, die vaak onder de 80% blijven bij vergelijkbare kwaliteitsverlies.
• Kwaliteit: De impact op de tekstkwaliteit (gemeten via Perplexity en GPT-4 scores) is minimaal. De methode behoudt de nuttigheid van het model.
• Robuustheid: Het watermerk is robuust tegen lokale bewerkingen zoals woordvervanging en -verwijdering. Het is ook bestand tegen sterkere aanvallen zoals parafraseren en back-translation, vooral bij langere teksten.
• Vergelijking met Order-Agnostische Methoden: De methode presteert beter dan bestaande order-agnostische watermerken (Unigram, PatternMark), die vaak te maken hebben met onbetrouwbare Type-1 fouten (falsen positieven) en kwetsbaarheden voor spoofing.

Betekenis

Dit werk is van cruciaal belang voor de traceerbaarheid van gegenereerde content in de opkomende klasse van Diffusion Language Models. Omdat DLMs sneller zijn, beter controleerbaar zijn en foutcorrectie bieden, zullen ze waarschijnlijk wijdverspreid worden ingezet. Zonder betrouwbare watermerken is het moeilijk om misbruik van deze modellen te detecteren of de oorsprong van gegenereerde tekst te traceren.

De paper toont aan dat het mogelijk is om watermerken toe te passen zonder de unieke voordelen van DLMs (zoals willekeurige generatievolgorde) op te offeren. Door het watermerk te definiëren over de verdeling van contexten in plaats van op specifieke, reeds gegenereerde tokens, overwinnen de auteurs de fundamentele beperkingen van eerdere methoden. Dit opent de deur voor veilige en traceerbare implementaties van DLMs in consumer-facing applicaties en reguliere omgevingen.