A Unified Framework for LLM Watermarks

Technische Samenvatting: Een Verenigd Raamwerk voor LLM-watermerken

Probleemstelling

Watermerken voor Large Language Models (LLM) zijn ontworpen om detecteerbare signalen in gegenereerde tekst te injecteren om de AI-oorsprong te traceren. Hoewel er talrijke watermerkalgoritmen zijn voorgesteld (bijv. Red-Green, AAR/KTH, SynthID), worden deze doorgaans ontwikkeld met een bottom-up benadering met afzonderlijke ontwerpen en motivaties. Bijgevolg is er geen algemene, principiële formulering voor LLM-watermerken. Dit gebrek aan een verenigde theorie maakt het moeilijk om bestaande schema's op een fundamenteel niveau te vergelijken, ze met elkaar te relateren of nieuwe methoden op een systematische manier te ontwerpen. Bovendien blijven de afwegingen tussen de kwaliteit van het watermerk, de outputdiversiteit en de detectiekracht onderbelicht.

Methodologie

De auteurs stellen een verenigd raamwerk voor dat LLM-watermarking formuleert als een beperkt optimalisatieprobleem (constrained optimization problem). Het kerndoel is om de detecteerbaarheid van het ingevoegde watermerk signaal te maximaliseren, terwijl de impact op de kwaliteit van de gegenereerde tekst wordt beperkt.

De Optimalisatieformulering

Gegeven een volgende-token waarschijnlijkheidsverdeling $p$ en pseudorandom scores $g$ (gesampled uit een verdeling $G$ via een hashing-mechanisme), is het doel om een watermerkverdeling $q(g)$ te vinden die de verwachte score maximaliseert:
$$\max_{q: G \to \Delta(\Sigma)} \mathbb{E}_G[G \cdot q(G)]$$

Om te voorkomen dat het watermerk de kwaliteit van de oorspronkelijke tekst verstoort, wordt een beperking $D$ geïntroduceerd:
$$\text{s.t. } \forall g \in G, \quad D(q(g), \mathbb{E}_G[q(G)], p) \leq \varepsilon$$

Het raamwerk onderscheidt twee soorten beperkingen:

1. Hard Constraints (Strikte beperkingen): De verstoring wordt gecontroleerd voor elke specifieke realisatie van scores $g$ (bijv. $KL(q(g) || p) \leq \varepsilon$).
2. Soft Constraints (Zachte beperkingen): De verstoring wordt alleen gecontroleerd in verwachting over de scoreverdeling (bijv. $KL(\mathbb{E}_G[q(G)] || p) \leq \varepsilon$).

De auteurs bespreken ook een gepenaliseerde formulering waarbij de beperking naar de doelfunctie wordt verplaatst met een Lagrange-multiplier $\delta$, wat vaak praktischer is voor implementatie.

Afleiden en Uitbreiden van Schema's

Het raamwerk toont aan dat de meeste bestaande watermerkingsschema's specifieke instanties zijn van dit optimalisatieprobleem met bepaalde keuzes voor de metriek $D$ en de scoreverdeling $G$:

• Red-Green Watermarks: Afgeleid als de oplossing voor een harde $KL$-divergentie beperking.
• AAR/KTH Watermarks: Afgeleid als de oplossing voor een zachte $KL$-beperking (verstoringvrij) met behulp van Gumbel-scores. Het raamwerk breidt dit uit naar een verstorende variant door $\varepsilon > 0$ toe te staan.
• SynthID: Beschouwd als een sequentie van $m$ gekoppelde optimalisatieproblemen, waarbij telkens wordt geoptimaliseerd voor een $\chi^2$-afstand beperking ten opzichte van de verdeling van de vorige laag.
• $\chi^2$ Watermark: Een generalisatie van de SynthID single-layer tournament met een $\chi^2$-afstand beperking.

Nieuwe Schema's

Met behulp van dit raamwerk ontwerpen de auteurs nieuwe schema's die zijn afgestemd op specifieke kwaliteitsmetrieken, specifiek door gebruik te maken van Perplexity (PPL) als een proxy voor kwaliteit:

• Hard PPL Constraint: Optimaliseert de detectiekracht onder een harde beperking op het verschil in verwachte log-likelihood.
• Soft PPL Constraint: Optimaliseert de detectiekracht onder een zachte beperking op het verschil in verwachte log-likelihood.

Belangrijkste Bijdragen

1. Verenigde Formulering: Het artikel formuleert LLM-watermarking als een algemeen beperkt optimalisatieprobleem, waarbij wordt aangetoond dat diverse eerdere werken (Red-Green, AAR/KTH, SynthID) oplossingen zijn voor dit probleem onder specifieke beperkingen.
2. Geprincipeerd Ontwerp: Het raamwerk biedt een methode om optimale watermerkingsschema's af te leiden voor elke gegeven beperking, waardoor nieuwe schema's (zoals de PPL-gebaseerde) kunnen worden gecreëerd die theoretisch optimaal zijn met betrekking tot hun specifieke doelstellingen.
3. Kwaliteit-Diversiteit-Kracht Afweging: Het werk identificeert en valideert een fundamentele afweging tussen de kwaliteit van de watermerktekst, de diversiteit van de output en de detectiekracht. Specifiek benadrukt het dat soft-constraint watermerken (die de kwaliteit goed behouden) vaak deterministisch zijn en de diversiteit verminderen, terwijl hard-constraint watermerken meer diversiteit behouden ten koste van hogere verstoring.

Experimentele Resultaten

De auteurs valideren het raamwerk empirisch met behulp van LLAMA3.1-8B en MINISTRAL-3-14B op de ELI5-dataset.

• Optimaliteit: Schema's afgeleid van een specifieke beperking blijken Pareto-optimaal te zijn met betrekking tot die beperking. Zo bereiken Red-Green watermerken de beste detecteerbaarheid-$\text{KL}$-afweging, en het Soft PPL-schema bereikt de beste detecteerbaarheid-$\text{PPL}$-afweging.
• Detecteerbaarheid-Kwaliteit Afweging: Het nieuw voorgestelde Soft PPL-schema presteert beter dan eerdere werken (inclusief AAR/KTH en SynthID) in de detecteerbaarheid-kwaliteit afweging. Zelfs wanneer kwaliteit wordt gemeten via LLM benchmark nauwkeurigheid (HumanEval, MBPP, GSM8K) in plaats van perplexiteit, blijft het Soft PPL-schema superieur.
• Impact op Diversiteit: De experimenten bevestigen dat soft-constraint watermerken (zoals AAR/KTH en Soft PPL) de outputdiversiteit aanzienlijk verminderen (hoge Self-BLEU scores), wat vaak leidt tot deterministische outputs voor een vaste prompt. In contrast hiermee behouden hard-constraint watermerken een hogere diversiteit, maar kunnen zij meer verstoring introduceren.

Betekenis en Claims

Het artikel claimt dat het verenigde raamwerk drie primaire bijdragen levert:

1. Interpretatie: Het biedt een geprincipeerde manier om bestaande watermerkingsschema's te interpreteren en te relateren, waarbij wordt onthuld welke specifieke beperkingen zij optimaliseren.
2. Ontwerp: Het maakt de praktische instantiatie van krachtige nieuwe schema's mogelijk die zijn afgestemd op specifieke vereisten (bijv. het behoud van perplexiteit) zonder ad-hoc ontwerp.
3. Inzicht: Het biedt een nieuw perspectief op de fundamentele kwaliteit-diversiteit-kracht afweging, waarbij wordt aangetoond dat verstoringvrije schema's vaak ten koste gaan van de outputdiversiteit.

De auteurs merken beperkingen op, waaronder de restrictie van optimalisatie op token-niveau (in plaats van sequentie-niveau) en de focus op het optimaliseren van het sampling-mechanisme onafhankelijk van de detector. Ze erkennen ook dat volledig cryptografische watermerken buiten de reikwijdte van dit statistische raamwerk vallen.