💻 computer science

PuzzleMark: Implicit Jigsaw Learning for Robust Code Dataset Watermarking in Neural Code Completion Models

PuzzleMark ist ein robustes und unmerkliches Wasserzeichen-Framework für neuronale Code-Vervollständigungsmodelle, das eine trägerselektion auf Basis von Codekomplexität und ein neuartiges Muster zur Verkettung von Variablennamen nutzt, um den geistigen Eigentumsschutz von Datensätzen zu gewährleisten, gleichzeitig eine perfekte Verifizierungsgenauigkeit zu erreichen und bestehende Detektionsmethoden zu umgehen.

Ursprüngliche Autoren: Haocheng Huang, Yuchen Chen, Weisong Sun, Peizhuo Lv, Yuan Xiao, Chunrong Fang, Yang Liu, Xiaofang Zhang

Veröffentlicht 2026-05-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Haocheng Huang, Yuchen Chen, Weisong Sun, Peizhuo Lv, Yuan Xiao, Chunrong Fang, Yang Liu, Xiaofang Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das „Geheimrezept" stehlen

Stellen Sie sich vor, Sie sind ein Koch, der Jahre damit verbracht hat, die besten Rezepte der Welt zu sammeln, sie zu testen und in ein riesiges, perfektes Kochbuch zu ordnen. Dieses Kochbuch ist Ihr wertvollstes Gut.

Stellen Sie sich nun vor, jemand möchte ein Restaurant eröffnen, indem er Ihr Kochbuch nutzt, ohne Sie zu bezahlen. Er kann das Buch nicht einfach fotokopieren (das wäre zu offensichtlich), also stellt er einen Roboter ein, der Ihr Buch liest und das Kochen lernt. Sobald der Roboter gelernt hat, entlassen Sie und eröffnen sein eigenes Restaurant. Sie haben keine Möglichkeit zu beweisen, dass der Roboter aus Ihrem Buch gelernt hat, denn das Kochen des Roboters sieht genau wie normales Kochen aus.

In der Welt des Computercodes ist dieses „Kochbuch" ein Code-Datensatz, und der „Roboter" ist ein KI-Coding-Assistent (wie GitHub Copilot). Die Erstellung solcher Datensätze ist teuer und mühsam. Doch derzeit gibt es keine gute Möglichkeit zu beweisen, dass eine KI auf Ihrem spezifischen Datensatz trainiert wurde, falls jemand ihn stiehlt.

Die alte Lösung: Der „klebende Zettel" (und warum sie gescheitert ist)

Frühere Forscher versuchten, das Problem zu lösen, indem sie „Wasserzeichen" im Code versteckten. Stellen Sie sich das vor, als würden Sie in jede zehnte Seite des Kochbuchs einen klebenden Zettel schieben, auf dem steht: „Dieses Buch gehört Chef X."

Der Fehler: Diese alten klebenden Zettel waren zu offensichtlich. Wenn ein Dieb das Buch betrachtete, konnte er die seltsamen Notizen leicht erkennen, sie herausreißen und die Seiten wegwerfen. Oder er konnte das Buch scannen, die seltsamen Muster finden und sie entfernen, bevor er seinen Roboter trainierte. Die „klebenden Zettel" waren zu leicht zu erkennen und zu entfernen.

Die neue Lösung: PuzzleMark

Die Autoren dieses Papiers schlagen eine neue Methode namens PuzzleMark vor. Anstatt eines klebenden Zettels verwandeln sie den Code selbst in ein subtiles, unsichtbares Puzzle.

So funktioniert es, aufgeteilt in drei einfache Schritte:

1. Die richtigen „Verstecke" auswählen (Carrier Selection)

Stellen Sie sich vor, Sie versuchen, eine geheime Nachricht in einer Bibliothek zu verstecken.

Der Fehler: Wenn Sie die Nachricht in einem Buch verstecken, das bereits seltsam, zerrissen oder in einer fremden Sprache geschrieben ist, werden die Leute sofort misstrauisch.
Die Lösung von PuzzleMark: Das System scannt die gesamte Bibliothek und verwendet einen „Komplexitätsmesser", um Bücher zu finden, die völlig normal, gut geschrieben und üblich sind. Es weigert sich, Nachrichten in Büchern zu verstecken, die bereits unordentlich oder verdächtig sind. Indem es nur die natürlichsten Code-Schnipsel auswählt, um die Geheimnisse zu tragen, wird das Wasserzeichen viel schwerer zu erkennen.

2. Der „Puzzle"-Trick (Concatenation Pattern)

Frühere Wasserzeichen verließen sich auf eine einfache Regel: „Wenn Sie das Wort key sehen, muss das nächste Wort value sein." Das ist wie ein Code, der sagt: „Wenn Sie ein rotes Auto sehen, muss ein blaues Auto daneben stehen." Diebische können dieses Muster leicht erkennen und brechen.

PuzzleMark verwendet einen „Puzzle"-Ansatz:

Anstatt einer festen Regel nimmt es zwei bestehende Variablennamen im Code (wie key und iterator) und verschmilzt sie zu einem neuen, leicht ungewöhnlichen Namen (wie key_iterator).
Es ist, als würde man zwei normale Puzzleteile zusammenkleben, um ein neues Teil zu machen, das aussieht, als gehöre es dazu, aber nur, wenn man den geheimen Kleber kennt.
Da der Code größtenteils normal aussieht und der „Kleber" je nach spezifischem Code-Schnipsel variiert, ist es für einen Dieb unglaublich schwierig, ihn zu finden und zu entfernen, ohne den Code selbst zu zerstören.

3. Der „Black Box"-Test (Verifizierung)

Wie beweisen Sie, dass die KI aus Ihrem Buch gelernt hat?

Sie müssen nicht in das Gehirn der KI schauen. Sie geben ihr einfach einen spezifischen „Auslöser" (einen bestimmten Code-Schnipsel mit den versteckten Puzzleteilen).
Wenn die KI auf Ihrem wasserzeichenversehenen Datensatz trainiert wurde, wird sie instinktiv den Code mit dem von Ihnen erstellten „geklebten" Namen vervollständigen.
Wenn sie nicht auf Ihren Daten trainiert wurde, wird sie einfach einen normalen Namen raten.
Die Autoren verwenden einen statistischen Test (exakter Fisher-Test), um zu prüfen, ob die KI zu oft richtig rät, als dass es Zufall wäre. Wenn die Mathematik „Ja" sagt, haben Sie den Beweis.

Warum ist das besser? (Die Ergebnisse)

Das Papier testete PuzzleMark gegen die alten Methoden und stellte fest:

Es ist unsichtbar: Menschliche Entwickler und automatisierte Tools konnten keinen Unterschied zwischen wasserzeichenversehenem Code und normalem Code feststellen. Es war so unsichtbar wie ein Geist.
Es ist robust: Selbst wenn Diebe versuchten, den Datensatz zu „reinigen", indem sie verdächtig aussehenden Code entfernten, überlebte das Wasserzeichen. Selbst wenn sie versuchten, es zu „verwässern", indem sie Millionen anderer sauberer Code-Dateien einmischten, war das Wasserzeichen immer noch nachweisbar.
Es zerstört nichts: Die KI-Modelle, die auf diesem wasserzeichenversehenen Code trainiert wurden, funktionierten genauso gut wie Modelle, die auf sauberem Code trainiert wurden. Der „Kleber" hat das Rezept nicht ruiniert.

Das Fazit

PuzzleMark ist eine neue, robuste Methode, um das geistige Eigentum von Code-Datensätzen zu schützen. Anstatt offensichtliche „klebende Zettel" zu hinterlassen, die Diebe leicht herausreißen können, verbirgt es den Eigentumsnachweis im natürlichen Fluss des Codes selbst, wie eine geheime Rezeptzutat, die sich nur offenbart, wenn man versucht, das Gericht zu kochen. Es stellt sicher, dass Sie vor Gericht beweisen können, wenn jemand Ihre Daten gestohlen hat, um eine KI zu trainieren, selbst wenn er versucht, seine Spuren zu verwischen.

1. Problemstellung

Hochwertige Code-Datensätze sind wertvolles geistiges Eigentum (IP), das erhebliche Ressourcen für die Kuratierung erfordert. Sie sind jedoch schweren Risiken durch unbefugte Nutzung durch Angreifer ausgesetzt, die Neuronale Code-Vervollständigungsmodelle (NCCMs) trainieren. Obwohl digitale Wasserzeichen einen nachträglichen Mechanismus zur Eigentumsverifizierung bieten, leiden bestehende Methoden für Code-Datensätze unter zwei kritischen Mängeln:

Fragile Trägerauswahl: Bisherige Arbeiten (z. B. CoProtector, CodeMark) wählen Wasserzeichen-Träger (Code-Snippets) oft zufällig oder basierend auf starren Einschränkungen (z. B. semantik-erhaltende Transformationen) aus. Dies ignoriert die inhärente „Natürlichkeit" des Codes. Komplexe oder unnatürliche Code-Snippets, die als Träger ausgewählt werden, werden von automatisierten Erkennungstools (wie DeCoMa oder KillBadCode) bereits vor dem Wasserzeichen-Einbetten leicht als verdächtig markiert, was zu hohen Entdeckungsrisiken führt.
Anfällige Wasserzeichen-Muster: Bestehende Methoden verlassen sich auf Kookkurrenz-Muster (feste Trigger-Ziel-Paare). Jüngste Forschung (DeCoMa) hat gezeigt, dass diese Muster hochfrequente Ausreißer erzeugen, die leicht erkannt und entfernt werden, was zu fast 100 %igen Erkennungsraten und vernachlässigbarer Robustheit gegen Entfernungsangriffe führt.

2. Methodik: PuzzleMark

PuzzleMark stellt ein robustes Wasserzeichen-Framework vor, das aus drei Hauptphasen besteht: Trägerauswahl, Wasserzeichen-Einbettung und Modellvalidierung.

A. Wasserzeichen-Trägerauswahl (Vermeidung von Entdeckung)

Anstatt einer zufälligen Auswahl bewertet PuzzleMark die Eignung von Code-Snippets als Träger basierend auf ihrer Wahrscheinlichkeit, als „verdächtig" erkannt zu werden.

Feature-Extraktion: Es werden 10 Komplexitätsmerkmale extrahiert (5 strukturell: z. B. zyklomatische Komplexität, NLOC; 5 semantisch: z. B. eindeutige Funktionsaufrufe, Ausdrucksvielfalt) aus dem Abstract Syntax Tree (AST).
Feature-Projektion: Unter Verwendung eines von der Hauptkomponentenanalyse (PCA) inspirierten Mechanismus werden diese Merkmale auf eine Hauptkomponentenrichtung projiziert, um einen Eignungswert zu generieren.
Filterung: Code-Snippets mit niedrigen Eignungswerten (hohe Komplexität/Probleme mit der Natürlichkeit) werden herausgefiltert. Nur Snippets mit hohen Eignungswerten (geringes Entdeckungsrisiko) werden als Kandidaten für die Einbettung ausgewählt.

B. Wasserzeichen-Einbettung (Das „Puzzle"-Muster)

PuzzleMark ersetzt das traditionelle Kookkurrenz-Muster durch ein neuartiges Konkatenationsmuster, das wie ein „Puzzle" funktioniert, bei dem sich Teile dynamisch zusammenfügen.

Mechanismus: Es werden Wasserzeichen eingebettet, indem zwei Variablennamen im Code konkateniert werden (z. B. prefix + suffix $\rightarrow$ prefix_suffix).
Zwei Strategien:
1. Fixed-Trigger-Strategie: Verwendet einen benutzerdefinierten Variablennamen (z. B. key) als festen Präfix. Das Suffix wird adaptiv aus dem Code ausgewählt, und das Ziel ist das konkatenierte Ergebnis.
2. Universal-Wasserzeichen-Strategie: Um zu verhindern, dass Angreifer einen festen Trigger identifizieren, ist auch der Präfix adaptiv (z. B. die erste Variable im Code). Dies macht den Trigger dynamisch und schwerer durch Regex oder Mustererkennung zu detektieren.
Adaptive Perturbation: Die Methode priorisiert die Einbettung in Code, in dem der Trigger-Präfix bereits natürlich existiert, um Code-Perturbationen zu minimieren. Ist der Präfix nicht vorhanden, wird er eingeführt, aber nur dann, wenn dies notwendig ist, um Schwellenwerte für die Einbettungsrate zu erfüllen.

C. Verdächtige Modellvalidierung

Um zu verifizieren, ob ein Modell auf einem wasserzeichen-markierten Datensatz trainiert wurde (Black-Box-Szenario):

Input-Konstruktion: Zwei Eingabesätze werden generiert: einer, bei dem der Trigger-Suffix durch ein semantisch bedeutungsloses Token (z. B. unknown_token) ersetzt wurde, und einer ohne diesen Ersatz.
Statistische Tests: Die Ausgaben des Modells werden analysiert, um festzustellen, ob es die spezifische konkatenierte Zielvariable vorhersagt. Der Fisher-Exakte-Test wird verwendet (anstelle von t-Tests), um die statistische Signifikanz der Assoziation zwischen Trigger und Ziel-Ausgabe zu bestimmen und einen $p$ -Wert für die Verifizierung bereitzustellen.

3. Hauptbeiträge

Eignungsbewertung: Erste Einführung eines quantitativen Mechanismus zur Bewertung und Auswahl von Wasserzeichen-Trägern basierend auf der Code-Komplexität, um das Entdeckungsrisiko zu minimieren.
Konkatenationsmuster: Erste Vorlage und Anwendung eines Konkatenationsmusters (als Ersatz für Kookkurrenz) für das Wasserzeichen von Code-Datensätzen, was die Robustheit gegen Erkennung erheblich verbessert.
Dual-Strategien: Implementierung sowohl der Fixed-Trigger- als auch der Universal-Wasserzeichen-Strategie über die Konkatenation von Variablennamen, wobei Design-Simplexität mit hoher Unauffälligkeit in Einklang gebracht wird.
Umfassende Evaluation: Zahlreiche Experimente, die die Wirksamkeit, Harmlosigkeit, Unauffälligkeit und Robustheit der Methode belegen.

4. Experimentelle Ergebnisse

Die Autoren bewerteten PuzzleMark an Python- und Java-Datensätzen (CodeSearchNet) unter Verwendung von drei NCCMs (Qwen2.5, StarCoderBase, DeepSeek-Coder).

Wirksamkeit: Erzielte eine 100 %ige Verifizierungserfolgsrate und eine 0 %ige False-Positive-Rate über alle Modelle und Sprachen hinweg.
Harmlosigkeit: Vernachlässigbare Auswirkungen auf die Modellleistung. BLEU-Werte zeigten keinen statistisch signifikanten Unterschied zwischen wasserzeichen-markierten und unmarkierten Modellen ( $p > 0.05$ , Cohens $d < 0.2$ ).
Unauffälligkeit:
- Menschlich: Durchschnittliche Verdachtsrate $\le 0.24$ (vergleichbar mit CodeMark).
- Maschinell: Deutlich bessere Ergebnisse als Baselines gegenüber fortschrittlichen Detektoren (SS, AC, KillBadCode, DeCoMa). Die durchschnittliche Recall-Rate durch DeCoMa sank auf $\le 30.41\%$ (im Vergleich zu ~100 % für Baselines).
Robustheit:
- Entfernungsangriffe: Beibehaltung der Verifizierbarkeit ( $p < 0.05$ ) selbst nach Entfernung von Proben, die von vier verschiedenen automatisierten Tools erkannt wurden.
- Verdünnungsangriffe: Bleibt wirksam, selbst wenn die Wasserzeichen-Einbettungsrate auf 0,1 % verdünnt wird (obwohl Universal-Wasserzeichen leicht höhere Raten erfordern).
Skalierbarkeit: Erfolgreicher Schutz von IP auf Projektebene, wobei die Leistung bei sehr kleinen Projekten (<100 Funktionen) aufgrund unzureichender Signaldichte begrenzt war.

5. Bedeutung

PuzzleMark adressiert die kritische Verwundbarkeit aktueller Techniken zum Wasserzeichen von Code-Datensätzen. Durch den Wechsel von statischen Kookkurrenz-Mustern zu dynamischer Konkatenation und die rigorose Auswahl „schlummernder" Träger entsteht ein Wasserzeichen, das:

Schwer zu erkennen ist: Umgeht sowohl menschliche Inspektion als auch fortschrittliche automatisierte Erkennungstools.
Schwer zu entfernen ist: Widersteht Entfernungsangriffen, da das Wasserzeichen adaptiv verteilt ist und nicht auf hochfrequenten Ausreißern beruht.
Praktisch ist: Bietet eine tragfähige Lösung zum Schutz des geistigen Eigentums hochwertiger Code-Datensätze, die zum Training kommerzieller KI-Coding-Assistenten verwendet werden.

Das Paper kommt zu dem Schluss, dass PuzzleMark einen neuen Standard für robustes, unauffälliges und effektives Wasserzeichen von Datensätzen im Zeitalter großer Sprachmodelle setzt.