💻 computer science

PuzzleMark: Implicit Jigsaw Learning for Robust Code Dataset Watermarking in Neural Code Completion Models

PuzzleMark is een robuust en onmerkbaar watermerksysteem voor neurale modellen voor het voltooien van code dat gebruikmaakt van dragerselectie op basis van codecomplexiteit en een nieuw patroon voor het samenvoegen van variabele namen om de intellectuele eigendom van datasets te beschermen, terwijl het een perfecte verificatieaccuraatheid bereikt en bestaande detectiemethoden ontwijkt.

Oorspronkelijke auteurs: Haocheng Huang, Yuchen Chen, Weisong Sun, Peizhuo Lv, Yuan Xiao, Chunrong Fang, Yang Liu, Xiaofang Zhang

Gepubliceerd 2026-05-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Haocheng Huang, Yuchen Chen, Weisong Sun, Peizhuo Lv, Yuan Xiao, Chunrong Fang, Yang Liu, Xiaofang Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Geheime Saus" Stelen

Stel je voor dat je een chef bent die jarenlang de beste recepten van de wereld heeft verzameld, ze hebt getest en hebt georganiseerd in een enorme, perfecte kookboek. Dit kookboek is je waardevolste bezit.

Nu stel je je voor dat iemand een restaurant wil openen met je kookboek zonder jou te betalen. Ze kunnen het boek niet zomaar fotokopiëren (dat is te voor de hand liggend), dus ze huren een robot in om je boek te lezen en te leren koken. Zodra de robot het heeft geleerd, ontslaan ze jou en openen ze hun eigen restaurant. Je hebt geen manier om te bewijzen dat de robot uit jouw boek heeft geleerd, omdat het koken van de robot er precies uitziet als normaal koken.

In de wereld van computercode is dit "kookboek" een code-dataset, en de "robot" is een AI-programmeerassistent (zoals GitHub Copilot). Het maken van deze datasets is duur en zwaar werk. Maar op dit moment is er geen goede manier om te bewijzen dat een AI is getraind op jouw specifieke dataset als iemand deze steelt.

De Oude Oplossing: De "Zelfklevende Notitie" (En Waarom Die Faalde)

Vorige onderzoekers probeerden dit op te lossen door "watermerken" in de code te verbergen. Denk hierbij aan het steken van een zelfklevende notitie in elke 10e pagina van het kookboek met de tekst: "Dit boek behoort toe aan Chef X."

De Fout: Deze oude zelfklevende notities waren te voor de hand liggend. Als een dief het boek bekeek, kon hij de vreemde notities gemakkelijk opmerken, ze eruit scheuren en de pagina's weggooien. Of ze konden het boek gewoon scannen, de vreemde patronen vinden en ze verwijderen voordat ze hun robot trainden. De "zelfklevende notities" waren te makkelijk te detecteren en te verwijderen.

De Nieuwe Oplossing: PuzzleMark

De auteurs van dit artikel stellen een nieuwe methode voor genaamd PuzzleMark. In plaats van een zelfklevende notitie, maken ze van de code zelf een subtiel, onzichtbaar raadsel.

Hier is hoe het werkt, opgesplitst in drie eenvoudige stappen:

1. Het Kiezen van de Juiste "Verstopplekken" (Carrier Selectie)

Stel je voor dat je probeert een geheim bericht te verbergen in een bibliotheek.

De Fout: Als je het bericht verbergt in een boek dat al raar, gescheurd is of in een vreemde taal is geschreven, zullen mensen direct iets in de gaten hebben.
De Oplossing van PuzzleMark: Het systeem scant de hele bibliotheek en gebruikt een "complexiteitsmeter" om boeken te vinden die perfect normaal, goed geschreven en veelvoorkomend zijn. Het weigert berichten te verbergen in boeken die al rommelig of verdacht zijn. Door alleen de meest "natuurlijk" ogende codefragmenten te kiezen om het geheim te dragen, wordt het watermerk veel moeilijker te spotten.

2. De "Legpuzzel"-Truc (Concatenatiepatroon)

Oude watermerken vertrouwden op een simpel patroon: "Als je het woord key ziet, moet het volgende woord value zijn." Dit is als een code die zegt: "Als je een rode auto ziet, moet er een blauwe auto naast staan." Dieven kunnen dit patroon gemakkelijk opmerken en verbreken.

PuzzleMark gebruikt een "Legpuzzel"-benadering:

In plaats van een vaste regel, neemt het twee bestaande variabele namen in de code (zoals key en iterator) en plakt ze samen om een nieuwe, iets ongewone naam te maken (zoals key_iterator).
Het is alsof je twee normale puzzelstukjes neemt en ze aan elkaar plakt om een nieuw stukje te maken dat eruitziet alsof het erbij hoort, maar alleen als je de geheime lijm kent.
Omdat de code er grotendeels normaal uitziet, en de "lijm" verandert afhankelijk van het specifieke codefragment, is het ongelooflijk moeilijk voor een dief om het te vinden en te verwijderen zonder de code zelf te breken.

3. De "Black Box"-Test (Verificatie)

Hoe bewijs je dat de AI uit je boek heeft geleerd?

Je hoeft niet in het brein van de AI te kijken. Je geeft het gewoon een specifieke "trigger" (een specifiek codefragment met de verborgen puzzelstukjes).
Als de AI is getraind op jouw gewatermerkte dataset, zal het instinctief de code aanvullen met de "geplakte" naam die je hebt gemaakt.
Als het niet op jouw data is getraind, zal het gewoon een normale naam raden.
De auteurs gebruiken een statistische test (Fisher's exact test) om te zien of de AI te vaak correct raadt om toeval te zijn. Als de wiskunde "ja" zegt, heb je bewijs.

Waarom Is Dit Beter? (De Resultaten)

Het artikel testte PuzzleMark tegen de oude methoden en ontdekte:

Het is Onzichtbaar: Menselijke ontwikkelaars en geautomatiseerde tools konden geen verschil zien tussen gewatermerkte code en normale code. Het was net zo onzichtbaar als een geest.
Het is Sterk: Zelfs als dieven probeerden de dataset te "schoonmaken" door verdacht ogende code te verwijderen, bleef het watermerk behouden. Zelfs als ze probeerden het te "verdunnen" door het te mengen met miljoenen andere schone codebestanden, was het watermerk nog steeds detecteerbaar.
Het Breekt Niets: De AI-modellen die zijn getraind op deze gewatermerkte code presteerden net zo goed als modellen die zijn getraind op schone code. De "lijm" heeft het recept niet bedorven.

De Conclusie

PuzzleMark is een nieuwe, robuuste manier om de intellectuele eigendom van code-datasets te beschermen. In plaats van voor de hand liggende "zelfklevende notities" achter te laten die dieven gemakkelijk kunnen uitscheuren, verbergt het het bewijs van eigendom in de natuurlijke stroom van de code zelf, als een geheim recept-ingredient dat zich alleen onthult als je probeert het gerecht te bereiden. Het zorgt ervoor dat als iemand je data steelt om een AI te trainen, je dit kunt bewijzen in de rechtbank, zelfs als ze proberen hun sporen uit te wissen.

1. Probleemstelling

Hoogwaardige code-datasets zijn waardevolle intellectuele eigendom (IE) die aanzienlijke middelen vereisen om te cureren. Ze lopen echter het risico op ongeautoriseerd gebruik door aanvallers die Neuronale Code Completion-modellen (NCCM's) trainen. Hoewel digitale watermerken een post-hoc mechanisme bieden voor eigendomsverificatie, lijden bestaande methoden voor code-datasets onder twee kritieke gebreken:

Fragiele Keuze van Dragers: Eerdere werken (zoals CoProtector, CodeMark) selecteren watermerkdrgers (codefragmenten) vaak willekeurig of op basis van rigide beperkingen (bijv. Semantisch-Behoudende Transformaties). Dit negeert de inherente "natuurlijkheid" van de code. Complexe of onnatuurlijke codefragmenten die als dragers worden geselecteerd, worden zelfs vóór het aanbrengen van het watermerk gemakkelijk gemarkeerd door geautomatiseerde detectietools (zoals DeCoMa of KillBadCode), wat leidt tot hoge blootstellingsrisico's.
Kwetsbare Watermerkpatronen: Bestaande methoden vertrouwen op co-occurrence patronen (vaste trigger-doelparen). Recent onderzoek (DeCoMa) heeft aangetoond dat deze patronen hoge-frequentie uitschieters creëren die gemakkelijk worden gedetecteerd en verwijderd, resulterend in bijna 100% detectiesnelheden en verwaarloosbare robuustheid tegen verwijderingsaanvallen.

2. Methodologie: PuzzleMark

PuzzleMark introduceert een robuust watermerkkader dat bestaat uit drie hoofdfasen: Dragerselectie, Watermerkinbedding en Modelvalidatie.

A. Watermerkdragerselectie (Blootstelling vermijden)

In plaats van willekeurige selectie, evalueert PuzzleMark de geschiktheid van codefragmenten om als dragers te dienen, gebaseerd op de kans dat ze als "verdacht" worden gedetecteerd.

Functie-extractie: Het extrahert 10 complexiteitskenmerken (5 structureel: bijv. cyclomatische complexiteit, NLOC; 5 semantisch: bijv. unieke functiediensten, expressiediversiteit) uit de Abstract Syntax Tree (AST).
Functieprojectie: Met behulp van een mechanisme geïnspireerd op Principal Component Analysis (PCA), projecteert het deze kenmerken op een hoofdcomponentrichting om een geschiktheidsscore te genereren.
Filtering: Codefragmenten met lage geschiktheidsscores (hoge complexiteit/natuurlijkheidsproblemen) worden gefilterd. Alleen fragmenten met hoge geschiktheidsscores (laag risico op detectie) worden geselecteerd als kandidaten voor inbedding.

B. Watermerkinbedding (Het "Jigsaw"-patroon)

PuzzleMark vervangt het traditionele co-occurrence patroon door een nieuw concatenatiepatroon, dat werkt als een "puzzel" waarbij stukken dynamisch in elkaar passen.

Mechanisme: Het bedt watermerken in door twee variabele namen binnen de code te concateneren (bijv. prefix + suffix $\rightarrow$ prefix_suffix).
Twee Strategieën:
1. Fixed-Trigger Strategie: Gebruikt een door de gebruiker gedefinieerde variabele naam (bijv. key) als vaste prefix. De suffix wordt adaptief geselecteerd uit de code, en het doel is het geconcateneerde resultaat.
2. Universele Watermerk Strategie: Om te voorkomen dat aanvallers een vaste trigger identificeren, is ook de prefix adaptief (bijv. de eerste variabele in de code). Dit maakt de trigger dynamisch en moeilijker te detecteren via regex of patroonmatching.
Adaptieve Perturbatie: De methode prioriteert inbedding in code waar de trigger-prefix al natuurlijk bestaat om codeperturbatie te minimaliseren. Als de prefix afwezig is, wordt deze ingevoerd, maar alleen wanneer nodig om de drempels voor inbeddingsratio's te halen.

C. Verdacht Modelvalidatie

Om te verifiëren of een model is getraind op een gewatermerkt dataset (Black-Box setting):

Inputconstructie: Er worden twee sets inputs gegenereerd: één waarbij de trigger-suffix wordt vervangen door een semantisch betekenisloze token (bijv. unknown_token) en één zonder.
Statistische Test: De outputs van het model worden geanalyseerd om te zien of het het specifieke geconcateneerde doelvariabele voorspelt. De Fisher's Exact Test wordt gebruikt (in plaats van t-tests) om de statistische significantie van de associatie tussen de trigger en de doeloutput te bepalen, waarbij een $p$ -waarde voor verificatie wordt geleverd.

3. Belangrijkste Bijdragen

Geschiktheidsevaluatie: Eerste introductie van een kwantitatief mechanisme voor het evalueren en selecteren van watermerkdrgers op basis van codecomplexiteit om blootstellingsrisico's te minimaliseren.
Concatenatiepatroon: Eerste voorstel en toepassing van een concatenatiepatroon (ter vervanging van co-occurrence) voor watermerking van code-datasets, wat de robuustheid tegen detectie aanzienlijk verbetert.
Dual Strategieën: Implementatie van zowel Fixed-Trigger als Universele Watermerk strategieën via concatenatie van variabele namen, waarbij ontwerp eenvoud wordt gebalanceerd met hoge onwaarneembaarheid.
Uitgebreide Evaluatie: Uitgebreide experimenten die de effectiviteit, onschadelijkheid, onwaarneembaarheid en robuustheid van de methode bewijzen.

4. Experimentele Resultaten

De auteurs evalueerden PuzzleMark op Python- en Java-datasets (CodeSearchNet) met behulp van drie NCCM's (Qwen2.5, StarCoderBase, DeepSeek-Coder).

Effectiviteit: Bereikte een 100% verificatiesuccesratio en 0% false positive ratio over alle modellen en talen heen.
Onschadelijkheid: Verwaarloosbare impact op modelprestaties. BLEU-scores toonden geen statistisch significant verschil tussen gewatermerkte en kale modellen ( $p > 0.05$ , Cohen's $d < 0.2$ ).
Onwaarneembaarheid:
- Menselijk: Gemiddelde verdachte ratio $\le 0.24$ (vergelijkbaar met CodeMark).
- Machine: Significante prestatieverbetering ten opzichte van baselines tegen state-of-the-art detectoren (SS, AC, KillBadCode, DeCoMa). De gemiddelde recall door DeCoMa daalde tot $\le 30.41\%$ (vergeleken met ~100% voor baselines).
Robuustheid:
- Verwijderingsaanvallen: Behield verifieerbaarheid ( $p < 0.05$ ) zelfs na het verwijderen van samples die door vier verschillende geautomatiseerde tools werden gedetecteerd.
- Verdunningsaanvallen: Blijft effectief zelfs wanneer de watermerkinbeddingsratio wordt verdund tot 0,1% (hoewel universele watermerken iets hogere ratio's vereisten).
Schaalbaarheid: Succesvolle bescherming van projectniveau IE, hoewel de prestaties bij zeer kleine projecten (<100 functies) beperkt waren door onvoldoende signaaldichtheid.

5. Betekenis

PuzzleMark adresseert de kritieke kwetsbaarheid van huidige technieken voor watermerking van code-datasets. Door over te stappen van statische co-occurrence patronen naar dynamische concatenatie en door "stille" dragers strikt te selecteren, creëert het een watermerk dat:

Moeilijk te Detecteren is: Ontwijkt zowel menselijke inspectie als geavanceerde geautomatiseerde detectietools.
Moeilijk te Verwijderen is: Weerstaat verwijderingsaanvallen omdat het watermerk adaptief is verdeeld en niet afhankelijk is van hoge-frequentie uitschieters.
Praktisch is: Biedt een levensvatbare oplossing voor het beschermen van de intellectuele eigendom van hoogwaardige code-datasets die worden gebruikt om commerciële AI-codingassistenten te trainen.

Het paper concludeert dat PuzzleMark een nieuwe standaard zet voor robuuste, onwaarneembare en effectieve dataset-watermerking in het tijdperk van grote taalmodellen.