🔢 mathematics

LLM-Text Watermarking based on Lagrange Interpolation

Dit artikel introduceert een watermerksysteem voor door LLM's gegenereerde tekst dat op Lagrange-interpolatie is gebaseerd en het mogelijk maakt de auteursidentiteit te herstellen, zelfs wanneer de tekst zwaar is geredigeerd door een tegenstander.

Oorspronkelijke auteurs: Jarosław Janas, Paweł Morawiecki, Josef Pieprzyk

Gepubliceerd 2026-02-27

📖 4 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jarosław Janas, Paweł Morawiecki, Josef Pieprzyk

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een meesterlijk geschreven verhaal hebt, maar je wilt zeker weten dat het door een specifieke kunstenaar (een kunstmatige intelligentie) is gemaakt en niet door iemand anders die het heeft gekopieerd of vervalst. Vroeger was dit makkelijk: je keek naar de handtekening. Maar bij AI-teksten is er geen handtekening, en de tekst kan eruitzien alsof hij door een mens is geschreven.

De auteurs van dit artikel, Jarosław, Paweł en Josef, hebben een slimme oplossing bedacht: een onzichtbare watermerk dat in de tekst zelf wordt verstopt, maar dat niet zichtbaar is voor het menselijk oog. Ze noemen hun methode "Lagrange-interpolatie", maar laten we dat eens vertalen naar iets wat je in het dagelijks leven kunt begrijpen.

Het Grote Idee: Een Onzichtbare Lijn Trekken

Stel je voor dat je een geheim bericht wilt sturen naar een vriend, maar je wilt dat het eruitziet als een normale, willekeurige verzameling stippen op een vel papier.

De Geheime Lijn: Jij en je vriend hebben een afspraak: jullie kennen een specifieke, rechte lijn die door het papier loopt. Deze lijn is jullie geheim. De lijn wordt bepaald door twee getallen (zoals de helling en het startpunt). In de wereld van de auteurs zijn dit de "watermerken" (bijvoorbeeld een ID-nummer).
De Stippen: Jij tekent nu tientallen stippen op het papier. De meeste stippen zijn willekeurig en lijken op ruis. Maar een aantal van die stippen ligt precies op die geheime lijn.
Het Verstoppen: In plaats van stippen op papier, gebruiken ze woorden (tokens) die door een AI worden gegenereerd. Ze manipuleren de AI heel subtiel. Als de AI een woord moet kiezen, geven ze een kleine "duwtje" in de richting van woorden die overeenkomen met een stip op de lijn.
- Analogie: Stel je voor dat de AI een bak met gekleurde marbles heeft. Normaal kiest hij willekeurig. Maar als er een stip op de lijn moet komen, duwen ze de AI zachtjes om een blauwe marbel te kiezen in plaats van een rode. Voor de lezer lijkt het alsof de AI gewoon een mooi woord koos, maar voor de "ontvanger" die weet waar hij moet zoeken, is het een blauwe marbel die op de lijn past.

Wat gebeurt er als iemand de tekst aanpast? (De Kracht van de Lijn)

Dit is waar het echt slim is. Stel, een kwaadaardige hacker leest de tekst en probeert het watermerk te vernietigen door woorden te verwijderen, toe te voegen of te vervangen.

Het probleem: Hierdoor verdwijnen sommige van die "stippen op de lijn". Sommige stippen worden verplaatst naar de verkeerde plek.
De oplossing: Omdat er veel stippen op de lijn zaten, en de lijn een heel duidelijk patroon heeft, kan de ontvanger nog steeds de lijn vinden!
- Analogie: Stel je voor dat je een lange, rechte rij dominostenen hebt neergezet. Als iemand er 10% van weghaalt of een paar verplaatst, zie je nog steeds dat er een rechte lijn is die door de meeste stenen loopt. De "ruis" (de verkeerde stippen) is willekeurig verspreid, maar de echte stippen vormen een strakke lijn.

De computer zoekt dan naar de langste rechte lijn die door de meeste punten gaat. Dit noemen ze het "Maximum Collinear Points" probleem (het probleem van de meeste punten op één lijn). Zodra die lijn gevonden is, kan de computer de twee getallen (de helling en het startpunt) teruglezen. Die twee getallen zijn het watermerk: het bewijs dat de tekst van die specifieke AI komt.

Waarom is dit zo goed?

Het is onzichtbaar: De tekst leest er nog steeds natuurlijk uit. De "duwtjes" die de AI krijgt zijn zo klein dat de kwaliteit van de tekst nauwelijks daalt. Het is alsof je een schilderij een heel klein beetje verf geeft die alleen zichtbaar is onder een speciale lamp.
Het is robuust: Zelfs als iemand de tekst aanpast (bijvoorbeeld door zinnen te herschrijven of woorden te verwijderen), blijft het watermerk vaak herkenbaar, zolang er maar genoeg "stippen" op de lijn overblijven.
Het is snel: De methode om de lijn te vinden is computertechnisch heel efficiënt. Het duurt slechts een fractie van een seconde, zelfs voor lange teksten.

Samenvatting in één zin

De auteurs hebben een manier bedacht om een onzichtbare, rechte lijn door een tekst te trekken door de keuze van woorden heel subtiel te sturen; zelfs als iemand de tekst aanpast, blijft die lijn herkenbaar, waardoor we kunnen bewijzen wie de echte maker is.

Het is als het verstoppen van een geheime route in een wirwar van straten: als je weet waar je moet zoeken, zie je dat de meeste verkeerde afritten willekeurig zijn, maar dat er één perfecte route is die door de stad loopt, ongeacht hoe veel er aan de weg is veranderd.

Probleemstelling

De snelle opkomst van Large Language Models (LLM's) heeft geleid tot een toenemend risico op misinformatie, nepnieuws, plagiaat en het onterecht toeschrijven van auteurschap. Een kritieke uitdaging is het kunnen traceren van de oorsprong van gegenereerde tekst: was het gegenereerd door een specifiek model of een specifieke gebruiker? Bestaande methoden voor watermerking zijn vaak complex, vereisen hertraining van het model, of zijn niet robuust genoeg tegen adversariale aanpassingen (zoals het verwijderen of vervangen van tokens). Er is behoefte aan een methode die:

Multi-bit watermerken kan dragen (niet alleen een binair signaal).
Model-agnostisch is (werkt zonder het model te hertrainen).
Robuust is tegen gedeeltelijke manipulatie van de tekst.

Methodologie

Het paper introduceert een watermerkingsschema dat gebaseerd is op Lagrange-interpolatie over een eindig veld ( $GF(2^n)$ ). De kernidee is het inbedden van een reeks punten die op één rechte lijn liggen in de gegenereerde tekst.

1. Het Watermerkschema

Representatie: Het watermerk $W$ wordt gecodeerd als de coëfficiënten $(a_0, a_1)$ van een lineaire functie $f(x) = a_1x + a_0$ over het Galois-veld $GF(2^n)$ .
Inbedding (Embedding):
- Voor een reeks gegenereerde tokens wordt een pseudorandom $x$ -coördinaat gegenereerd met behulp van een cryptografische hash-functie en een geheim sleutel.
- De bijbehorende $y$ -coördinaat wordt berekend via $y = f(x)$ .
- De bits van $y$ worden ingebed in de tekst door de logit-waarden van de LLM te beïnvloeden. Specifiek wordt het vocabulaire opgesplitst in twee sets ( $V_0$ en $V_1$ ) op basis van een seed. Afhankelijk van de bitwaarde (0 of 1) wordt de kans op het kiezen van een token uit de ene of de andere set verhoogd (bias $\delta$ ).
Extractie:
- De ontvanger herkent de $x$ -coördinaten opnieuw via de hash-functie.
- De $y$ -coördinaten worden gereconstrueerd door de gegenereerde tokens te analyseren.
- Door de stochastische aard van generatie en mogelijke adversariale aanpassingen, bevat de verzameling punten $P$ zowel geldige punten (die op de lijn liggen) als ruis (spurious points).
- Het probleem wordt gereduceerd tot het Maximum Collinear Points (MCP) probleem: het vinden van de rechte lijn die door het grootste aantal punten gaat.
- Zodra deze lijn is gevonden, wordt Lagrange-interpolatie toegepast om de oorspronkelijke coëfficiënten $a_0$ en $a_1$ te herstellen, wat het watermerk oplevert.

2. Wiskundige Basis

Het schema maakt gebruik van eigenschappen van eindige velden. In $GF(2^n) \times GF(2^n)$ bepaalt elk paar punten uniek een lijn.
De kans dat willekeurige punten per ongeluk op dezelfde lijn liggen (valse positieven) is wiskundig afgeleid en kan worden beheerst door de grootte van het veld ( $n$ ) en de drempelwaarde ( $\tau$ ) voor het aantal collineaire punten.

Belangrijkste Bijdragen

Training-vrij en Model-agnostisch: Het schema vereist geen aanpassing van de LLM-architectuur of hertraining; het werkt puur via logit-biasing tijdens de inferentie.
Multi-bit Capaciteit: In tegenstelling tot veel bestaande methoden die slechts een binair signaal dragen, kan dit schema een multi-bit payload coderen via de coëfficiënten van de polynoom.
Robuustheid tegen Ruis: Het schema is inherent bestand tegen gedeeltelijke tekstmanipulatie. Zolang een voldoende aantal geldige punten ( $F$ ) overblijft ten opzichte van ruis ( $R$ ), kan de lijn worden gevonden.
Bit-correctie: Om fouten in de $y$ -bits te compenseren (door stochastische sampling of lichte bewerkingen), wordt een lichtgewicht bit-correctiestap toegevoegd die kandidaat-blokken binnen een kleine Hamming-afstand genereert.
Theoretische Analyse: Het paper biedt een strikte probabilistische analyse (Theorema 1) voor de kans op valse collineariteit, wat richtlijnen geeft voor het kiezen van de veldgrootte en blokgrootte.

Resultaten

De auteurs hebben hun methode getest op open-source modellen (Llama 2-7B, Llama 3.2, Mistral 7B) met datasets zoals OpenGen, Essays en HC3.

Match Rates: De methode bereikt hoge detectiepercentages (match rates) die vergelijkbaar zijn met de state-of-the-art methoden (bijv. Fernandez et al., Wang et al.). Voor een watermerk van 16 bits werd een match rate van 98,6% bereikt, en voor 32 bits 85,9%.
Schaalbaarheid: De extractietijd is zeer snel (een fractie van een seconde), zelfs voor langere watermerken, in tegenstelling tot sommige concurrenten waarvan de extractietijd exponentieel groeit.
Adversariale Aanvallen:
- Substitutie: De methode is zeer robuust tegen token-vervanging, omdat de synchronisatie behouden blijft.
- Insertie/Deletie: Deze aanvallen zijn schadelijker omdat ze de synchronisatie van blokken verstoren (desynchronisatie). De methode toont echter nog steeds een zekere tolerantie voor een beperkt percentage aanpassingen (tot 10% in de experimenten), mits er voldoende geldige punten overblijven.
Kwaliteit: De perceptuele kwaliteit van de tekst (gemeten via perplexiteit) wordt slechts marginaal beïnvloed door de logit-bias ( $\delta=6$ ).

Betekenis en Toekomstperspectief

Dit werk biedt een elegante oplossing voor het auteurschapsprobleem bij LLM's door algebraïsche structuren (Lagrange-interpolatie) te combineren met natuurlijke taalgeneratie.

Praktische Toepasbaarheid: Omdat het geen hertraining vereist en snel is, is het direct inzetbaar in productieomgevingen.
Uitbreidbaarheid: Het paper schetst hoe het schema kan worden uitgebreid naar hogere graadspolynomen (voor meer punten en complexere structuren) of meerdere lijnen voor langere payloads, hoewel dit de complexiteit van het "Maximum Co-Polynomial Points" probleem vergroot.
Beperkingen: De methode is niet volledig robuust tegen agressieve herschrijving, vertaling of grote deleties die de bloksynchronisatie volledig vernietigen.

Kortom, het paper presenteert een efficiënt, wiskundig onderbouwd en praktisch toepasbaar watermerkingssysteem dat een belangrijke stap voorwaarts is in de strijd tegen misinformatie en het beschermen van auteursrechten in het tijdperk van generatieve AI.