💬 NLP

QuantileMark: A Message-Symmetric Multi-bit Watermark for LLMs

Het paper introduceert QuantileMark, een witte-boks multi-bit watermerk voor grote taalmodellen dat door het embedden van berichten in gelijke-massa-kwantielen van de cumulatieve waarschijnlijkheidsverdeling, boodschaps-symmetrie garandeert en zo de tekstkwaliteit en detectiebetrouwbaarheid onafhankelijk maakt van de specifieke inhoud van het bericht.

Oorspronkelijke auteurs: Junlin Zhu, Baizhou Huang, Xiaojun Wan

Gepubliceerd 2026-04-16

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Junlin Zhu, Baizhou Huang, Xiaojun Wan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, slimme robot hebt die voor je schrijft: verhalen, e-mails, code, alles. Maar nu is er een probleem: hoe weet je of een tekst echt door een mens is geschreven of door die robot? En als de robot het heeft gedaan, kun je dan terugvinden wie de robot opdracht gaf?

Dit is waar QuantileMark voor komt. Het is een nieuwe, slimme manier om een onzichtbare "stempel" of "watermerk" in teksten van kunstmatige intelligentie (AI) te verstoppen.

Hier is hoe het werkt, vertaald naar alledaagse taal met een paar leuke vergelijkingen:

1. Het oude probleem: De oneerlijke verdeling

Vroeger probeerden mensen een watermerk te maken door woorden in twee groepen te verdelen: "groene" woorden (die je mag kiezen) en "rode" woorden (die je niet mag kiezen).

De analogie: Stel je voor dat je een taart hebt. De oude methode verdeelde de taart in stukken, maar niet eerlijk. Soms kreeg het ene stukje (bijvoorbeeld voor bericht A) 80% van de taart, en het andere stukje (voor bericht B) kreeg maar een kruimel.
Het gevolg: Als de AI moest kiezen voor bericht A, was het makkelijk en klonk het natuurlijk. Maar als ze voor bericht B moest kiezen, werd de tekst raar en onnatuurlijk omdat de AI gedwongen werd om die kleine kruimel te kiezen. Dit maakte het watermerk onbetrouwbaar en de tekst slecht.

2. De oplossing van QuantileMark: De eerlijke taart

QuantileMark doet het anders. In plaats van te kijken naar welke woorden er zijn, kijken ze naar de kans dat een woord wordt gekozen.

De analogie: Stel je voor dat de AI een rad van fortuin heeft dat draait van 0 tot 100%.
- De oude methode gaf sommige berichten een enorm groot stuk van het wiel en andere maar een heel klein stukje.
- QuantileMark snijdt het wiel in exact gelijke stukken. Of de AI nu een heel waarschijnlijk woord kiest (zoals "de") of een zeldzaam woord (zoals "fluit"), het wiel wordt altijd in gelijke stukken verdeeld.
- Als het bericht "A" is, mag de AI alleen kiezen uit het eerste kwart van het wiel. Is het bericht "B", dan kiest ze uit het tweede kwart.

Waarom is dit cool?
Het maakt het voor de AI totaal niet uit welk bericht ze moet verstoppen. Ze krijgt altijd evenveel "ruimte" om te kiezen. De tekst blijft dus altijd natuurlijk klinken, ongeacht wat voor geheim bericht er verstopt zit.

3. De detectie: De detective met een speciale bril

Hoe weet je nu of er een watermerk in zit? Je hebt een "detective" nodig (de detector).

De oude methode: De detective keek alleen of er een "groen" woord in de tekst stond. Als het woord net op de rand van de groep viel, was het moeilijk om te zeggen of het een toeval was of een opzetje.
De QuantileMark-methode: De detective heeft een speciale bril (de witte doos-toegang). Hij kan precies zien hoe de AI de taart had verdeeld op het moment dat het woord werd gekozen.
- Hij kijkt naar het gekozen woord en vraagt zich af: "Hoe groot is de kans dat dit woord in het juiste stukje van het wiel viel?"
- Als het woord perfect in het juiste stukje valt, is dat een sterk bewijs. Als het woord op de rand ligt, telt het een beetje mee.
- De detective telt al deze kleine bewijzen bij elkaar op. Na een paar zinnen heeft hij genoeg bewijs om te zeggen: "Ja, dit is een AI-tekst met een specifiek bericht!"

4. Waarom is dit belangrijk?

Dit systeem is ontworpen voor bedrijven die AI-modellen aanbieden.

Veiligheid: Als iemand kwaadaardige teksten (zoals haatzaaiende berichten of nepnieuws) laat genereren, kan het bedrijf terugvinden wie de opdracht gaf.
Eerlijkheid: Omdat het systeem eerlijk is (geen "lievelingsberichten" die de tekst verpesten), krijgt elke gebruiker dezelfde kwaliteit tekst, ongeacht welk ID ze hebben.
Robuustheid: Zelfs als iemand probeert de tekst te bewerken (woorden vervangen, zinnen herschrijven), blijft het watermerk vaak herkenbaar, omdat het gebaseerd is op de onderliggende kansen en niet op specifieke woorden.

Samenvattend

QuantileMark is als een eerlijke verdeler van geluk. Het zorgt ervoor dat AI-teksten altijd natuurlijk klinken, terwijl er tegelijkertijd een onzichtbare, onuitwisbare code in zit die aangeeft wie de maker is. Het is een slimme manier om de "stempel" van de maker onzichtbaar maar betrouwbaar in de tekst te verstoppen, zonder dat de tekst er zelf raar van wordt.

1. Het Probleem: Asymmetrie in Meerdere-Bits Watermerken

Naarmate Large Language Models (LLMs) standaard worden voor contentgeneratie, is er een groeiende behoefte aan provenance (herkomst) van gegenereerde tekst. Waar eerdere watermerken zich richtten op "zero-bit" detectie (is er een watermerk?), eisen echte toepassingen meerdere-bits watermerken om metadata zoals gebruikers-ID's, modelversies of tijdstempels te coderen.

De kernuitdaging die dit paper adresseert, is boodschapsymmetrie (message symmetry). Dit betekent dat de specifieke boodschap die wordt ingebed, de kwaliteit van de gegenereerde tekst of de detectie-uitkomst niet systematisch mag beïnvloeden.

Het probleem met bestaande methoden: Traditionele methoden (zoals MPAC) gebruiken een vocabulaire-partitie. Ze verdelen het vocabulaire in $M$ disjuncte sets, waarbij elke set correspondeert met een symbool van de boodschap.
De asymmetrie: In situaties met lage entropie (waar het model zeer zeker is over het volgende token) kan het zijn dat één symbool-toewijzing toevallig het token met de hoogste waarschijnlijkheid krijgt, terwijl andere symbolen gedwongen worden om tokens met zeer lage waarschijnlijkheid (de "staart" van de verdeling) te kiezen.
- Gevolg: Het inbedden van sommige boodschappen degradeert de tekstkwaliteit sterk en levert zwakkere statistische bewijzen op voor detectie, terwijl andere boodschappen "gratis" worden gegenereerd. Dit leidt tot een onbetrouwbare en onrechtvaardige dienstverlening.

2. Methodologie: QuantileMark

QuantileMark is een witte-kader (white-box) multi-bit watermerk dat de asymmetrie oplost door de embeddingslogica te verplaatsen van de discrete vocabulaire-ruimte naar de continue cumulatieve waarschijnlijkheidsinterval $[0, 1)$ .

Kernprincipes

Gelijke-massa partitie (Equal-Mass Partitioning):
- In plaats van het vocabulaire te verdelen, wordt de cumulatieve verdelingsfunctie (CDF) van het model bij elke stap $t$ opgedeeld in $M$ gelijke intervallen (bins), elk met een waarschijnlijkheidsmassa van precies $1/M$ .
- Dit garandeert dat elk symbool van de boodschap altijd een vast, gelijk budget aan waarschijnlijkheid krijgt, ongeacht de context of de entropie van het model.
Embedding (Inbedding):
- Voor een doel-symbool $s_t$ wordt een doel-bin $B_{r^*}$ bepaald via een sleutel-afhankelijke permutatie $\phi_t$ .
- Het systeem steekt een willekeurige waarde $u$ uit de uniforme verdeling binnen die specifieke bin $B_{r^*}$ .
- Het gegenereerde token is het token waarvan het CDF-interval deze waarde $u$ bevat.
- Formule: De watermerk-verdeling is $p_{wm}(v | h_t, r) = M \cdot \mu_t(v, r)$ , waarbij $\mu_t$ de overlap-massa is tussen het token en de bin.
Detectie (Decodering):
- De detector reconstructeert dezelfde CDF-geometrie (via teacher forcing) en berekent de posterior-kans dat het waargenomen token uit een bepaalde bin komt.
- In plaats van een harde toewijzing (zoals bij vocabulaire-partitie), wordt zacht bewijs (soft evidence) gebruikt via de Log Posterior Odds (LPO).
- Deze LPO-scores worden geaggregeerd over de stappen die aan een specifiek symbool zijn toegewezen om de boodschap te decoderen.
Theoretische Eigenschappen:
- Message-unbiasedness: Het paper bewijst dat als de boodschap uniform verdeeld is, de verwachte watermerk-verdeling identiek is aan de basisverdeling van het model ( $E[p_{wm}] = p_0$ ). Dit garandeert dat er geen systematische vervorming optreedt.
- Cipher-unbiasedness: Zelfs bij een vaste boodschap en willekeurige sleutel, blijft de verdeling behouden.

3. Belangrijkste Bijdragen

QuantileMark Framework: Een nieuw watermerk dat de embeddingskanaal definieert op de continue CDF-interval in plaats van het vocabulaire, waardoor een uniform waarschijnlijkheidsbudget voor elk symbool wordt gegarandeerd.
Formalisatie van Symmetrie: Het introduceren en bewijzen van "message-unbiasedness", wat een theoretische basis biedt voor generatie-zijde symmetrie en eerlijke detectie.
Superieure Prestaties: Empirisch bewijs dat QuantileMark betere herstelkans (recovery) en detectierobustheid biedt dan bestaande methoden, zonder de kwaliteit van de gegenereerde tekst te beïnvloeden.

4. Experimentele Resultaten

De auteurs hebben QuantileMark getest op twee taken: open-ended tekstgeneratie (C4 dataset) en langformulier vragen beantwoorden (LFQA/ELI5), met modellen zoals Llama-2-7B en Llama-3.1-8B.

Herstel en Detectie:
- QuantileMark bereikte een Bit Accuracy van 0.9893 (C4) en 0.9500 (LFQA), wat significant hoger is dan de baselines MPAC (0.9702/0.8770) en StealthInk.
- De AUC (Area Under Curve) voor detectie was bijna perfect (0.9995 op C4), wat aangeeft dat het watermerk zeer betrouwbaar kan worden gedetecteerd.
Kwaliteit van Generatie:
- De Perplexity (PPL) van QuantileMark bleef zeer dicht bij de niet-watermerkte baseline (bijv. 7.404 vs 7.684 op C4), wat aantoont dat de tekstkwaliteit niet lijdt.
- In tegenstelling hiermee vertoonde MPAC een merkbare stijging in PPL door de vervorming van de verdeling.
Robuustheid:
- Het systeem is robuust tegen kopieer-plakken en synoniemvervanging.
- Zoals bij alle multi-bit watermerken, leidt zware paraphrasing (herformulering) tot een daling in prestaties, maar QuantileMark presteert hierin nog steeds beter dan of vergelijkbaar met de concurrentie.
Ablatie Studies:
- De prestaties zijn optimaal bij een symboolgrootte van $m=2$ (4 bins). Bij $m=4$ daalt de bit-accuracy omdat één token te weinig informatie levert om een van de 16 bins met zekerheid te identificeren.

5. Betekenis en Conclusie

QuantileMark biedt een praktische oplossing voor provider-interne attributie. Het lost het fundamentele probleem van asymmetrie op dat inherent is aan vocabulaire-partitie methoden.

Operationele Eerlijkheid: Doordat elke boodschap dezelfde statistische "gewicht" heeft, wordt gegarandeerd dat de kwaliteit van de gegenereerde tekst en de betrouwbaarheid van de attributie niet afhangen van de specifieke gebruikers-ID of boodschap.
Efficiëntie: Het vereist geen extra model-inferentie voor de detector (behalve teacher forcing op de output), wat de rekentijd beperkt tot de generatielatentie.
Toekomstperspectief: Hoewel het systeem momenteel een witte-kader-aanpak vereist (de provider moet toegang hebben tot het model voor detectie), is dit logisch voor interne attributie. Het paper suggereert dat toekomstig werk zich moet richten op het verbeteren van robuustheid tegen zware paraphrasing en het uitbreiden van de evaluatie naar meer diverse decodingsstrategieën.

Kortom, QuantileMark stelt een nieuwe standaard voor multi-bit watermerken door de wiskundige structuur van de CDF te benutten om zowel symmetrie als detectiekracht te maximaliseren.