🤖 machine learning

SWaRL: Safeguard Code Watermarking via Reinforcement Learning

SWaRL ist ein robustes und die Integrität bewahrendes Framework für Code-Wasserzeichen, das Verstärkungslernen mit Compiler-Feedback und einem vertraulichen Verifizierer nutzt, um in von LLMs generiertem Code überprüfbare Signaturen einzubetten, wodurch eine hohe Erkennungsgenauigkeit und Resilienz gegenüber Angriffen gewährleistet wird, während die funktionale Korrektheit erhalten bleibt.

Ursprüngliche Autoren: Neusha Javidnia, Ruisi Zhang, Ashish Kundu, Farinaz Koushanfar

Veröffentlicht 2026-05-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Neusha Javidnia, Ruisi Zhang, Ashish Kundu, Farinaz Koushanfar

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Meisterkoch, der Jahre damit verbracht hat, ein geheimes Rezept für die beste Pizza der Welt zu perfektionieren. Sie eröffnen ein Restaurant, in dem Menschen ein Stück bestellen können, und die Pizza kommt köstlich heraus. Doch es gibt ein Problem: Kunden können ein Foto der Pizza machen, das Rezept kopieren und es als ihr eigenes verkaufen. Oder ein rivalisierender Koch könnte sich in die Küche schleichen, ein paar Zutaten ändern und behaupten, die neue Version sei seine.

In der Welt der Künstlichen Intelligenz sind „Code LLMs" wie diese Meisterköche. Es sind leistungsstarke Computer, die für uns Computercode (die Rezepte für Software) schreiben. Doch genau wie bei Ihrer Pizza ist der von ihnen generierte Code wertvolles geistiges Eigentum. Wenn jemand ihn stiehlt oder ihn leicht verändert, um seine Herkunft zu verschleiern, verliert der ursprüngliche Schöpfer die Anerkennung und die Kontrolle.

Diese Arbeit stellt SWaRL vor, ein neues System, das entwickelt wurde, um dieses Problem zu lösen. Denken Sie an SWaRL als einen magischen, unsichtbaren Stempel, den der Koch auf jedes Pizzastück aufbringt, bevor es die Küche verlässt. Dieser Stempel ist so subtil, dass die Pizza genau gleich schmeckt, aber wenn Sie den richtigen „Stempel-Detektor" haben, können Sie zu 100 % beweisen, dass diese Pizza aus Ihrer Küche stammt.

So funktioniert SWaRL, aufgeteilt in einfache Konzepte:

1. Das Problem mit alten Stempeln

Vor SWaRL gab es zwei Hauptmethoden, Code zu stempeln:

Der Ansatz der „schweren Hand": Stellen Sie sich vor, der Koch zwingt die Pizza, eine seltsame, sichtbare Krustenform zu haben, nur um zu beweisen, dass sie ihm gehört. Dies lässt die Pizza oft schlecht schmecken (der Code bricht oder funktioniert nicht).
Der Ansatz der „manuellen Regel": Stellen Sie sich vor, der Koch folgt einer strengen Liste von Regeln, wie „füge immer eine zusätzliche Peperoni hinzu, wenn das Wort 'Schleife' erscheint". Kluge Diebe können diese Regeln leicht herausfinden und die Pizza neu anordnen (den Code refaktorisieren), um die Peperoni zu entfernen, ohne den Geschmack zu verändern.

2. Die SWaRL-Lösung: Ein intelligentes Trainingslager

SWaRL ist anders, weil es nicht nur Regeln befolgt; es lernt, Code durch einen Prozess namens Reinforcement Learning (Bestärkendes Lernen) perfekt zu stempeln.

Stellen Sie sich dies als ein Trainingslager für den KI-Koch vor:

Das Ziel: Der Koch muss eine Pizza herstellen, die (1) perfekt schmeckt (korrekt funktioniert) und (2) den unsichtbaren Stempel trägt.
Der Trainer (Das Belohnungssystem): Der Koch versucht, eine Pizza herzustellen. Zwei Richter prüfen sie:
1. Der Geschmackstester: Funktioniert der Code tatsächlich? Wenn der Code abstürzt, erhält der Koch eine schlechte Bewertung.
2. Der Stempel-Detektiv: Kann der unsichtbare Stempel gefunden werden? Wenn der Stempel fehlt, erhält der Koch eine schlechte Bewertung.
Die Lernschleife: Der Koch probiert viele verschiedene Versionen der Pizza aus. Wenn eine Version gut schmeckt und den Stempel trägt, erhält der Koch eine hohe Bewertung und lernt, dies wieder zu tun. Wenn sie kaputtgeht oder den Stempel verliert, lernt der Koch, dies zu vermeiden.

3. Die geheime Zutat: „LoRA" (Der leichte Adapter)

Normalerweise erfordert das Beibringen eines neuen Tricks an einen riesigen KI-Koch den kompletten Umbau der Küche, was teuer und langsam ist. SWaRL verwendet eine Technik namens LoRA (Low-Rank Adaptation / Niedrigrangige Anpassung).

Stellen Sie sich vor, anstatt die ganze Küche neu zu bauen, geben Sie dem Koch nur eine spezielle, winzige Schürze. Diese Schürze enthält die Anweisungen für den unsichtbaren Stempel. Der Koch trägt die Schürze über seiner normalen Kleidung.

Warum es großartig ist: Es ist günstig, schnell und einfach auszutauschen, falls der Koch später eine neue Schürze bekommt. Es verändert nicht die Kernpersönlichkeit des Kochs; es fügt lediglich die Fähigkeit zum Stempeln hinzu.

4. Warum es schwer ist, zu betrügen (Robustheit)

Die Arbeit testete SWaRL gegen „Diebe", die versuchten, den Stempel zu entfernen.

Der „Neu-Anordner"-Angriff: Ein Dieb nimmt den Code und schreibt ihn um, ändert Variablennamen oder verschiebt Zeilen (wie das Umlagern der Beläge auf der Pizza).
Das Ergebnis: Alte Methoden (wie der Ansatz der „manuellen Regel") scheiterten, wenn der Code neu angeordnet wurde; der Stempel verschwand. SWaRL hingegen lernte, das Wesentliche des Codes zu stempeln, nicht nur die Oberfläche. Selbst wenn der Code stark neu angeordnet wurde, blieb der unsichtbare Stempel erkennbar.

5. Das Fazit

Die Arbeit behauptet, dass SWaRL das Beste aus beiden Welten vereint:

Es funktioniert perfekt: Der von SWaRL generierte Code besteht Tests genauso gut wie Code ohne Wasserzeichen (manchmal sogar besser, weil der Trainingsprozess die KI gezwungen hat, vorsichtiger zu sein).
Es ist schwer zu entfernen: Das Wasserzeichen übersteht Versuche, den Code umzuschreiben oder neu zu strukturieren.
Es ist schnell: Das Aufbringen des Stempels verlangsamt die Codegenerierung nicht, und das Überprüfen auf den Stempel ist unglaublich schnell.

Kurz gesagt: SWaRL lehrt KI-Codegeneratoren, automatisch einen „digitalen Fingerabdruck" in ihre Arbeit einzubetten. Dieser Fingerabdruck beweist, wer den Code erstellt hat, übersteht Versuche, ihn zu löschen, und ruiniert nicht die Qualität des Codes selbst.

Technischer Überblick: SWaRL – Schutz von Code-Wasserzeichen durch Bestärkendes Lernen

1. Problemstellung

Die Verbreitung von Code-Sprachmodellen (LLMs) hat die Softwareentwicklung beschleunigt, gleichzeitig aber erhebliche Herausforderungen im Bereich des Schutzes geistigen Eigentums (IP) und der Code-Verantwortlichkeit eingeführt. Hochwertiger Code, der von diesen Modellen generiert wird, kann ohne Attribution weiterverteilt oder modifiziert werden, was die Herkunft verschleiert. Darüber hinaus können böswillige Akteure diese Modelle ausnutzen, um verschleierten oder anfälligen Code zu erzeugen, was die forensische Analyse erschwert.

Bestehende Ansätze zur Code-Wasserzeichenierung stehen vor einem grundlegenden Zielkonflikt zwischen funktionaler Korrektheit und Robustheit des Wasserzeichens:

Inferenzbasierte Methoden (z. B. „grüne/rote" Token-Listen) manipulieren die Token-Wahrscheinlichkeiten während der Generierung. Obwohl sie keine Modell-Updates erfordern, verschlechtern sie häufig die Code-Integrität und führen zu Syntaxfehlern oder Funktionsausfällen.
Neuronale Methoden verlassen sich auf handgefertigte Transformationsregeln (z. B. Umbenennung von Variablen, Umstrukturierung der Syntax), um Signaturen einzubetten. Zwar erhalten sie die Funktionalität besser, sind jedoch anfällig für Refactoring-Angriffe, die den Code systematisch umstrukturieren, und ihnen fehlt die Generalisierbarkeit auf neue syntaktische Muster.

Es besteht ein Bedarf an einem Framework, das Code-LLMs automatisch so ausrichtet, dass sie funktional korrekten Code generieren und gleichzeitig verifizierbare Wasserzeichen einbetten, ohne auf manuelle Transformationsregeln zurückzugreifen oder die Code-Qualität zu beeinträchtigen.

2. Methodik: SWaRL

SWaRL ist ein robustes, integritätserhaltendes Wasserzeichen-Framework, das Bestärkendes Lernen (RL) einsetzt, um ein Code-Generierungsmodell (Akteur) und einen Wasserzeichendetektor gemeinsam zu trainieren.

Kernkomponenten

Akteur-Modell (Code-LLM): Ein Basis-LLM (z. B. Qwen2.5-Coder), das feinabgestimmt wurde, um Code zu generieren, der zwei Ziele erfüllt: das Bestehen funktionaler Unit-Tests und das Einbetten einer detektierbaren Wasserzeichen-Signatur.
Wasserzeichendetektor (Belohnungsmodell): Ein trainierbares neuronales Netz (basierend auf CodeBERT), das als Belohnungssignal fungiert. Es unterscheidet zwischen vom Akteur generiertem, wasserzeichen-markiertem Code und nicht-markiertem Referenzcode.
Low-Rank Adaptation (LoRA): Um Recheneffizienz und Modularität zu gewährleisten, injiziert SWaRL das Wasserzeichen-Verhalten über kleine, trainierbare Low-Rank-Matrizen in die linearen Schichten des Akteurs, anstatt alle Parameter feinabzustimmen.

Optimierungsframework: GRPO

SWaRL nutzt Group Relative Policy Optimization (GRPO), einen leichten RL-Algorithmus, um den Akteur zu optimieren. Der Prozess umfasst:

Sampling: Für einen gegebenen Prompt generiert der Akteur eine Gruppe von $G$ potenziellen Code-Ausgaben.
Hybride Belohnungsberechnung: Jeder Kandidat $\tau$ $τ$ wird mittels einer zusammengesetzten Belohnungsfunktion $R(\tau)$ $R (τ)$ bewertet:
$R(\tau) = \lambda_{wm} R_{wm}(\tau) + \lambda_{exec} R_{exec}(\tau) - \beta D_{KL}(\pi_\theta || \pi_{ref})$
- Wasserzeichen-Belohnung ( $R_{wm}$ ): Die Ausgabe des eingefrorenen Detektormodells $D(\tau; \theta_d)$ , die die Wahrscheinlichkeit schätzt, dass der Code wasserzeichen-markiert ist.
- Ausführungs-Belohnung ( $R_{exec}$ ): Die Erfolgsrate des Codes gegenüber einer Suite von Unit-Tests, die die funktionale Korrektheit sicherstellt.
- KL-Divergenz-Strafterm: Beschränkt die Policy darauf, nahe am Referenzmodell zu bleiben, um eine Verteilungsdrift zu verhindern und ein stabiles Training zu gewährleisten.
Policy-Update: Der Akteur wird mittels eines abgeschnittenen Policy-Gradient-Ziels aktualisiert, das auf dem relativen Vorteil der Kandidaten innerhalb der Gruppe basiert.
Co-Training: Der Wasserzeichendetektor wird periodisch wieder aufgetaut und auf einer Mischung aus aktuellen Akteur-Ausgaben und Referenzcode feinabgestimmt. Dies stellt sicher, dass der Detektor mit der sich entwickelnden Generierungs-Policy synchron bleibt und verhindert, dass der Akteur einen statischen Detektor „hackt".

Bereitstellung

Während der Inferenz wird der LoRA-Adapter mit dem Basismodell zusammengeführt. Das System arbeitet als Standard-API zur Code-Generierung und erzeugt natürlichen, ausführbaren Code. Berechtigte Parteien können den trainierten Detektor verwenden, um die Herkunft eines beliebigen Code-Schnipsels zu verifizieren, ohne Zugriff auf das ursprüngliche Modell oder ein Nachtraining zu benötigen.

3. Hauptbeiträge

Die Arbeit beansprucht folgende Beiträge:

SWaRL-Framework: Einführung eines RL-basierten Wasserzeichen-Frameworks, das Code-LLMs automatisch so ausrichtet, dass sie funktionale Code mit eingebetteten Signaturen generieren, wodurch die Notwendigkeit manuell erstellter Transformationsregeln entfällt.
Algorithmische Integration:
- Nutzung von GRPO zur gemeinsamen Optimierung von funktionaler Korrektheit, Wasserzeichen-Detektierbarkeit und Robustheit gegenüber Refactoring-Angriffen.
- Integration von LoRA zur Bereitstellung eines modularen, leichten Mechanismus zum Einbringen von Wasserzeichen-Verhalten in Basis-LLMs.
Leistungsüberlegenheit: Nachweis, dass SWaRL den State-of-the-Art bei der Wasserzeichen-Detektierbarkeit erreicht und gleichzeitig die höchste Code-Generierungsgenauigkeit unter bestehenden Baselines beibehält. Es übertrifft konsistent nicht-wasserzeichen-markierte Supervised Fine-Tuning (SFT)-Baselines in den Pass-Raten und schlägt frühere Wasserzeichen-Methoden in der Robustheit.

4. Experimentelle Ergebnisse

Experimente wurden auf HumanEval, MBPP und deren erweiterten Varianten (HumanEval+, MBPP+) durchgeführt, wobei SWaRL mit folgenden Baselines verglichen wurde: Kein Wasserzeichen (Base+SFT), EXP-edit, WLLM und SWEET.

Funktionale Korrektheit

SWaRL erzielte über alle Benchmarks hinweg die höchsten Pass@1- und Pass@10-Scores unter den Wasserzeichen-Methoden.
Bemerkenswerterweise übertraf SWaRL in mehreren Szenarien die nicht-wasserzeichen-markierte SFT-Baseline (z. B. verbesserte sich HumanEval Pass@1 von 55,23 % auf 58,22 %), was darauf hindeutet, dass das RL-Ziel als zusätzlicher Ausrichtungsstadium für die syntaktische Gültigkeit wirkt.
Im Gegensatz dazu verschlechterten statistische Methoden wie WLLM und SWEET die funktionale Korrektheit erheblich (z. B. sank WLLM bei HumanEval Pass@1 auf 30,82 %).

Wasserzeichen-Detektierbarkeit

SWaRL erzielte starke AUROC-Scores (z. B. 0,908 auf MBPP) und wog die Detektierbarkeit besser mit der Integrität ab als frühere Methoden.
Obwohl WLLM und SWEET hohe AUROC-Werte zeigten, geschah dies auf Kosten der Code-Funktionalität. EXP-edit bewahrte die Funktionalität, bot jedoch eine schwache Detektierbarkeit (nahe zufälliger Rate bei einigen Datensätzen).

Robustheit gegenüber Angriffen

Refactoring-Angriffe: Wenn Code durch externe LLMs (Qwen2.5-3B und DeepSeek-Coder-7B) refaktoriert wurde, wies SWaRL die geringste AUROC-Verschlechterung auf.
- Unter dem stärksten Angriff (DS-Angriff auf MBPP) zeigte SWaRL nur eine 2,21 %ige Verschlechterung, verglichen mit 14–17 % bei WLLM und SWEET.
Variablen-Umbenennung: SWaRL behielt auch bei Umbenennung von 50 % der Bezeichner eine hohe AUROC bei, während Token-Level-Methoden (WLLM, SWEET) erhebliche Leistungseinbußen erlitten.

Effizienz

Generierungs-Latenz: SWaRL führte nur einen minimalen Overhead ein (0,039 s/Token), vergleichbar mit statistischen Methoden.
Detektions-Latenz: SWaRL erreichte die schnellste Detektionszeit (0,0002 s/Token) und übertraf EXP-edit (0,588 s/Token) sowie statistische Methoden deutlich.

5. Bedeutung und Behauptungen

Die Arbeit positioniert SWaRL als praktische und skalierbare Lösung für die Zuordnungs- und Eigentumsverifizierung in der KI-gestützten Programmierung. Ihre Bedeutung liegt in der Auflösung des traditionellen Zielkonflikts zwischen Code-Nützlichkeit und Sicherheit:

Integritätserhaltung: Im Gegensatz zu inferenzbasierten Methoden, die die Syntax brechen, stellt SWaRL sicher, dass der generierte Code funktional korrekt ist und Unit-Tests besteht.
Robustheit: Durch das Erlernen wasserzeichen-konsistenter Generierungsverhaltensweisen mittels RL anstatt der Abhängigkeit von statischen Regeln widersteht SWaRL systematischem Refactoring und adversarialen Transformationen, die regelbasierte oder Token-Level-Wasserzeichen typischerweise ausschalten.
Effizienz: Die Verwendung von LoRA und eines leichten Detektors stellt sicher, dass das Framework für den realen Einsatz rechnerisch machbar ist, ohne erheblichen Inferenz-Overhead.

Die Autoren kommen zu dem Schluss, dass SWaRL eine zuverlässige Verfolgung der Herkunft und einen Schutz des geistigen Eigentums ermöglicht, ohne den Arbeitsablauf des Benutzers zu verändern oder die Qualität des generierten Codes zu beeinträchtigen.

6. Einschränkungen und zukünftige Arbeiten

Die Arbeit erkennt spezifische Einschränkungen an und skizziert zukünftige Richtungen:

Wasserzeichenierung auf Binärebene: Die aktuelle Implementierung zielt auf Quellcode ab; eine Erweiterung auf kompilierten Binärcode ist eine potenzielle zukünftige Erweiterung.
Repository-Level-Umfang: Die Evaluierung erfolgt derzeit auf Funktionsebene. Die Autoren stellen fest, dass die Wasserzeichenierung auf Repository-Ebene noch unerforscht bleibt und einen größeren adversarialen Modifikationsraum darstellt, der weitere Forschung erfordert.