🤖 machine learning

SWaRL: Safeguard Code Watermarking via Reinforcement Learning

SWaRL is een robuust en betrouwbaarheidsbehoudend code-watermerkingframework dat gebruikmaakt van versterkend leren met compilerfeedback en een vertrouwelijke verifiër om verifieerbare handtekeningen in door LLM gegenereerde code in te bedden, waardoor sterke detectienauwkeurigheid en weerstand tegen aanvallen worden gewaarborgd terwijl functionele correctie behouden blijft.

Oorspronkelijke auteurs: Neusha Javidnia, Ruisi Zhang, Ashish Kundu, Farinaz Koushanfar

Gepubliceerd 2026-05-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Neusha Javidnia, Ruisi Zhang, Ashish Kundu, Farinaz Koushanfar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een meesterkok bent die jarenlang heeft gewerkt aan het perfectioneren van een geheim recept voor de beste pizza ter wereld. Je opent een restaurant waar mensen een plakje kunnen bestellen, en de pizza komt eruit als een heerlijk gerecht. Maar er is een probleem: klanten kunnen een foto van de pizza maken, het recept kopiëren en het als hun eigen werk verkopen. Of een rivaliserende kok kan de keuken binnensluipen, een paar ingrediënten aanpassen en beweren dat de nieuwe versie van hen is.

In de wereld van Kunstmatige Intelligentie zijn "Code LLM's" als die meesterkoks. Het zijn krachtige computers die voor ons computercode (de recepten voor software) schrijven. Maar net als bij jouw pizza is de code die ze genereren waardevol intellectueel eigendom. Als iemand het steelt of het lichtjes aanpast om de oorsprong te verbergen, verliest de oorspronkelijke maker erkenning en controle.

Dit paper introduceert SWaRL, een nieuw systeem dat is ontworpen om dit probleem op te lossen. Denk aan SWaRL als een magische, onzichtbare stempel die de kok op elk pizzaplekje zet voordat het de keuken verlaat. Deze stempel is zo subtiel dat de pizza precies even lekker smaakt, maar als je de juiste "stempeldetector" hebt, kun je voor 100% bewijzen dat deze pizza uit jouw keuken komt.

Hier is hoe SWaRL werkt, opgesplitst in eenvoudige concepten:

1. Het probleem met oude stempels

Voor SWaRL waren er twee hoofdmanieren om code te stempelen:

De "zware hand"-aanpak: Stel je voor dat de kok de pizza een rare, zichtbare korstvorm laat hebben, alleen om te bewijzen dat het van hen is. Dit maakt de pizza vaak minder lekker (de code breekt of werkt niet).
De "handmatige regel"-aanpak: Stel je voor dat de kok een strikte lijst met regels volgt, zoals "voeg altijd een extra pepperoni toe als het woord 'loop' voorkomt". Slimme dieven kunnen deze regels gemakkelijk achterhalen en de pizza herschikken (de code refactoren) om de pepperoni te verwijderen zonder de smaak te veranderen.

2. De SWaRL-oplossing: Een slim trainingskamp

SWaRL is anders omdat het niet alleen regels volgt; het leert hoe het code perfect moet stempelen via een proces dat Reinforcement Learning heet.

Denk hierbij aan een trainingskamp voor de AI-kok:

Het doel: De kok moet een pizza maken die (1) perfect smaakt (correct werkt) en (2) de onzichtbare stempel draagt.
De coach (het beloningssysteem): De kok probeert een pizza te maken. Twee rechters controleren het:
1. De proever: Werkt de code daadwerkelijk? Als de code crasht, krijgt de kok een slechte score.
2. De stempel-detective: Kan de onzichtbare stempel worden gevonden? Als de stempel ontbreekt, krijgt de kok een slechte score.
De leerlus: De kok probeert veel verschillende versies van de pizza. Als een versie lekker smaakt én de stempel heeft, krijgt de kok een hoge score en leert hij dit opnieuw te doen. Als het stukgaat of de stempel verliest, leert de kok dat te vermijden.

3. De geheime saus: "LoRA" (de lichtgewicht adapter)

Normaal gesproken vereist het leren van een nieuwe truc aan een gigantische AI-kok het herbouwen van de hele keuken, wat duur en traag is. SWaRL maakt gebruik van een techniek die LoRA (Low-Rank Adaptation) heet.

Stel je voor dat je in plaats van de hele keuken herbouwen, de kok gewoon een speciaal, klein schort geeft. Dit schort bevat de instructies voor de onzichtbare stempel. De kok draagt het schort over hun normale kleding.

Waarom het geweldig is: Het is goedkoop, snel en makkelijk om te verwisselen als de kok later een nieuw schort krijgt. Het verandert de kernpersoonlijkheid van de kok niet; het voegt alleen de stempelvaardigheid toe.

4. Waarom het moeilijk is om te valsspelen (Robuustheid)

Het paper testte SWaRL tegen "dieven" die probeerden de stempel te verwijderen.

De "herordenaar"-aanval: Een dief neemt de code en herschrijft deze, verandert variabelenamen of schuift regels op (zoals het herschikken van de beleg op de pizza).
Het resultaat: Oude methoden (zoals de "handmatige regel"-aanpak) faalden toen de code werd herschikt; de stempel verdween. SWaRL daarentegen leerde om het essentie van de code te stempelen, niet alleen het oppervlak. Zelfs toen de code zwaar werd herschikt, bleef de onzichtbare stempel detecteerbaar.

5. De conclusie

Het paper beweert dat SWaRL het beste van twee werelden combineert:

Het werkt perfect: De door SWaRL gegenereerde code slaagt net zo goed voor tests als code zonder watermerk (soms zelfs beter, omdat het trainingsproces de AI dwong om voorzichtiger te zijn).
Het is moeilijk te verwijderen: Het watermerk overleeft pogingen om de code te herschrijven of te herstructureren.
Het is snel: Het toevoegen van de stempel vertraagt de codegeneratie niet, en het controleren op de stempel is ongelooflijk snel.

Kortom, SWaRL leert AI-codegeneratoren om automatisch een "digitaal vingerafdruk" in hun werk in te bouwen. Dit vingerafdruk bewijst wie de code heeft gemaakt, overleeft pogingen om het te wissen en bederft de kwaliteit van de code zelf niet.

Technische Samenvatting: SWaRL – Bescherming van Code Watermerken via Versterkend Leren

1. Probleemstelling

De proliferatie van Code Large Language Models (LLM's) heeft de softwareontwikkeling versneld, maar heeft aanzienlijke uitdagingen geïntroduceerd met betrekking tot bescherming van intellectueel eigendom (IE) en verantwoordingsplicht voor code. Hoogwaardige code die door deze modellen wordt gegenereerd, kan zonder attributie worden herverdeeld of gewijzigd, waardoor de herkomst onduidelijk wordt. Bovendien kunnen kwaadwillende actoren deze modellen misbruiken om geobfuscateerde of kwetsbare code te genereren, wat forensische analyse bemoeilijkt.

Bestaande benaderingen voor codewatermerken staan voor een fundamentele afweging tussen functionele correctheid en watermerkrobustheid:

Inferentie-gebaseerde methoden (bijvoorbeeld "groene/rode" token-lijsten) manipuleren token-kansen tijdens de generatie. Hoewel ze geen model-updates vereisen, degraderen ze vaak de codekwaliteit, wat leidt tot syntaxisfouten of functionele storingen.
Neuraal-gebaseerde methoden vertrouwen op handgemaakte transformatieregels (bijvoorbeeld hernoemen van variabelen, herschikken van syntaxis) om handtekeningen in te bedden. Hoewel ze de functionaliteit beter behouden, zijn ze kwetsbaar voor refactoringsaanvallen die de code systematisch herschikken, en missen ze generaliseerbaarheid naar nieuwe syntactische patronen.

Er is behoefte aan een raamwerk dat code LLM's automatisch uitlijnt om functioneel correcte code te genereren terwijl verifieerbare watermerken worden ingebed, zonder te vertrouwen op handmatige transformatieregels of in te leveren op codekwaliteit.

2. Methodologie: SWaRL

SWaRL is een robuust, fideliteitsbehoudend watermerkingraamwerk dat Versterkend Leren (RL) inzet om een codegeneratiemodel (Actor) en een watermerkdetector gezamenlijk te trainen.

Kerncomponenten

Actormodel (Code LLM): Een basis LLM (bijvoorbeeld Qwen2.5-Coder) dat is fijngefineerd om code te genereren die voldoet aan twee doelen: het doorstaan van functionele eenheidstests en het inbedden van een detecteerbare watermerkhandtekening.
Watermerkdetector (Beloningsmodel): Een trainbaar neurale netwerk (gebaseerd op CodeBERT) dat fungeert als beloningssignaal. Het onderscheidt tussen watermerkcode gegenereerd door de Actor en niet-gewatermerkte referentiecode.
Low-Rank Adaptation (LoRA): Om rekenkundige efficiëntie en modulariteit te waarborgen, injecteert SWaRL watermerkgedrag via kleine, trainbare laag-rang matrices in de lineaire lagen van de Actor, in plaats van alle parameters fijn te fine-tunen.

Optimalisatiekader: GRPO

SWaRL maakt gebruik van Group Relative Policy Optimization (GRPO), een lichtgewicht RL-algoritme, om de Actor te optimaliseren. Het proces omvat:

Sampling: Voor een gegeven prompt genereert de Actor een groep van $G$ kandidaat-code-outputs.
Hybride Beloningsberekening: Elke kandidaat $\tau$ $τ$ wordt gescoord met behulp van een samengestelde beloningsfunctie $R(\tau)$ $R (τ)$ :
$R(\tau) = \lambda_{wm} R_{wm}(\tau) + \lambda_{exec} R_{exec}(\tau) - \beta D_{KL}(\pi_\theta || \pi_{ref})$
- Watermerkbeloning ( $R_{wm}$ ): De output van het bevroren detectormodel $D(\tau; \theta_d)$ , die de waarschijnlijkheid schat dat de code is watermerkt.
- Uitvoeringsbeloning ( $R_{exec}$ ): Het slagingspercentage van de code tegen een suite van eenheidstests, wat functionele correctheid waarborgt.
- KL-divergentieboete: Beperkt het beleid om dicht bij het referentiemodel te blijven om distributieverschuiving te voorkomen en stabiele training te garanderen.
Beleidswijziging: De Actor wordt bijgewerkt met een afgeknepen beleidsgradiënt-objctief gebaseerd op het relatieve voordeel van kandidaten binnen de groep.
Gezamenlijke Training: De watermerkdetector wordt periodiek ontdooid en fijngefineerd op een mix van recente Actor-outputs en referentiecode. Dit zorgt ervoor dat de detector uitgelijnd blijft met het evoluerende generatiebeleid, waardoor voorkomt dat de Actor een statische detector "hackt".

Implementatie

Tijdens inferentie wordt de LoRA-adapter samengevoegd met het basismodel. Het systeem werkt als een standaard codegeneratie-API en produceert natuurlijke, uitvoerbare code. Geautoriseerde partijen kunnen de getrainde detector gebruiken om de herkomst van een willekeurige codefragment te verifiëren, zonder toegang tot het oorspronkelijke model of hertraining nodig te hebben.

3. Belangrijkste Bijdragen

Het artikel claimt de volgende bijdragen:

SWaRL-raamwerk: Introductie van een RL-gebaseerd watermerkingraamwerk dat code LLM's automatisch uitlijnt om functionele code met ingebedde handtekeningen te genereren, waardoor de behoefte aan handgemaakte transformatieregels wordt geëlimineerd.
Algoritmische Integratie:
- Gebruik van GRPO om gezamenlijk te optimaliseren voor functionele correctheid, watermerkdetecteerbaarheid en robuustheid tegen refactoringsaanvallen.
- Integratie van LoRA om een modulaire, lichtgewicht mechanisme te bieden voor het injecteren van watermerkgedrag in basis LLM's.
Prestatie-voorsprong: Aantonen dat SWaRL state-of-the-art watermerkdetecteerbaarheid bereikt terwijl het de hoogste codegeneratie-accuraatheid behoudt onder bestaande baselines. Het overtreft consequent niet-gewatermerkte Supervised Fine-Tuning (SFT) baselines in slagingspercentages en presteert beter dan eerdere watermerkmethode in robuustheid.

4. Experimentele Resultaten

Experimenten zijn uitgevoerd op HumanEval, MBPP en hun uitgebreide varianten (HumanEval+, MBPP+), waarbij SWaRL werd vergeleken met baselines: Geen Watermerk (Base+SFT), EXP-edit, WLLM en SWEET.

Functionele Correctheid

SWaRL behaalde de hoogste Pass@1 en Pass@10 scores over alle benchmarks onder watermerkmethode.
Opmerkelijk is dat SWaRL de niet-gewatermerkte SFT-baseline in verschillende settings overtrof (bijvoorbeeld HumanEval Pass@1 verbeterde van 55,23% naar 58,22%), wat suggereert dat het RL-doel fungeert als een extra uitlijningsfase voor syntactische validiteit.
Daarentegen degradeerden statistische methoden zoals WLLM en SWEET de functionele correctheid aanzienlijk (bijvoorbeeld WLLM liet HumanEval Pass@1 zakken naar 30,82%).

Watermerkdetecteerbaarheid

SWaRL behaalde sterke AUROC scores (bijvoorbeeld 0,908 op MBPP), waarbij het detecteerbaarheid beter balanceerde met fideliteit dan eerdere methoden.
Hoewel WLLM en SWEET hoge AUROC-scores lieten zien, deden ze dit ten koste van de codefunctionaliteit. EXP-edit behield functionaliteit maar bood zwakke detecteerbaarheid (bijna willekeurig gissen op sommige datasets).

Robuustheid tegen Aanvallen

Refactoringsaanvallen: Wanneer code werd gerefactoriseerd door externe LLM's (Qwen2.5-3B en DeepSeek-Coder-7B), vertoonde SWaRL de laagste AUROC-degradatie.
- Onder de sterkste aanval (DS Attack op MBPP) vertoonde SWaRL slechts 2,21% degradatie, vergeleken met 14–17% voor WLLM en SWEET.
Hernoemen van Variabelen: SWaRL behield een hoge AUROC zelfs wanneer 50% van de identificatoren werd hernoemd, terwijl token-niveau methoden (WLLM, SWEET) aanzienlijke prestatiedalingen leden.

Efficiëntie

Generatielatentie: SWaRL introduceerde minimale overhead (0,039s/token), vergelijkbaar met statistische methoden.
Detectielatentie: SWaRL behaalde de snelste detectietijd (0,0002s/token), wat aanzienlijk beter presteerde dan EXP-edit (0,588s/token) en statistische methoden.

5. Betekenis en Claims

Het artikel positioneert SWaRL als een praktische en schaalbare oplossing voor attributie en eigendomsverificatie in door AI ondersteunde programmering. De betekenis ligt in het oplossen van de traditionele afweging tussen codegebruik en veiligheid:

Fideliteitsbehoud: In tegenstelling tot inferentie-gebaseerde methoden die syntaxis breken, zorgt SWaRL ervoor dat de gegenereerde code functioneel correct is en eenheidstests doorstaat.
Robuustheid: Door watermerk-consistente generatiegedragingen te leren via RL in plaats van te vertrouwen op statische regels, weerstaat SWaRL systematische refactorings en adversariële transformaties die doorgaans regelgebaseerde of token-niveau watermerken verslaan.
Efficiëntie: Het gebruik van LoRA en een lichtgewicht detector zorgt ervoor dat het raamwerk rekenkundig haalbaar is voor implementatie in de echte wereld zonder aanzienlijke inferentie-overhead.

De auteurs concluderen dat SWaRL betrouwbare herkomsttracking en IE-bescherming mogelijk maakt zonder de gebruikersworkflow te wijzigen of de kwaliteit van de gegenereerde code te degraderen.

6. Beperkingen en Toekomstig Werk

Het artikel erkent specifieke beperkingen en schetst toekomstige richtingen:

Watermerken op Binair Niveau: De huidige implementatie richt zich op broncode; uitbreiding naar gecompileerde binaire code is een potentiële toekomstige uitbreiding.
Scope op Repository-niveau: De evaluatie vindt momenteel plaats op functieniveau. De auteurs merken op dat watermerken op repository-niveau nog onontdekt terrein is, wat een grotere adversariële modificatieruimte presenteert die verder onderzoek vereist.