💻 computer science

PuzzleMark: Implicit Jigsaw Learning for Robust Code Dataset Watermarking in Neural Code Completion Models

PuzzleMark est un cadre de tatouage numérique robuste et imperceptible pour les modèles de complétion de code neuronale qui exploite une sélection de supports basée sur la complexité du code et un nouveau motif de concaténation de noms de variables pour protéger la propriété intellectuelle des ensembles de données tout en atteignant une précision de vérification parfaite et en évitant les méthodes de détection existantes.

Auteurs originaux : Haocheng Huang, Yuchen Chen, Weisong Sun, Peizhuo Lv, Yuan Xiao, Chunrong Fang, Yang Liu, Xiaofang Zhang

Publié 2026-05-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haocheng Huang, Yuchen Chen, Weisong Sun, Peizhuo Lv, Yuan Xiao, Chunrong Fang, Yang Liu, Xiaofang Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Voler la « Sauce Secrète »

Imaginez que vous êtes un chef qui a passé des années à rassembler les meilleures recettes du monde, à les tester et à les organiser dans un immense et parfait livre de cuisine. Ce livre de cuisine est votre actif le plus précieux.

Maintenant, imaginez que quelqu'un veuille ouvrir un restaurant en utilisant votre livre de cuisine sans vous payer. Il ne peut pas simplement photocopier le livre (ce serait trop évident), alors il engage un robot pour lire votre livre et apprendre à cuisiner. Une fois que le robot a appris, ils vous licencient et ouvrent leur propre restaurant. Vous n'avez aucun moyen de prouver que le robot a appris de votre livre, car la cuisine du robot ressemble exactement à une cuisine normale.

Dans le monde du code informatique, ce « livre de cuisine » est un jeu de données de code, et le « robot » est un assistant de codage IA (comme GitHub Copilot). Créer ces jeux de données est coûteux et difficile. Mais actuellement, il n'existe aucun bon moyen de prouver qu'une IA a été entraînée sur votre jeu de données spécifique si quelqu'un le vole.

L'Ancienne Solution : Le « Post-it » (et pourquoi elle a échoué)

Les chercheurs précédents ont essayé de résoudre ce problème en cachant des « filigranes » dans le code. Imaginez cela comme glisser un post-it sur chaque 10e page du livre de cuisine indiquant : « Ce livre appartient au Chef X ».

Le Défaut : Ces vieux post-it étaient trop évidents. Si un voleur regardait le livre, il pouvait facilement repérer les notes étranges, les arracher et jeter les pages. Ou, il pouvait simplement scanner le livre, trouver les motifs étranges et les supprimer avant d'entraîner son robot. Les « post-it » étaient trop faciles à détecter et à retirer.

La Nouvelle Solution : PuzzleMark

Les auteurs de ce papier proposent une nouvelle méthode appelée PuzzleMark. Au lieu d'un post-it, ils transforment le code lui-même en un puzzle subtil et invisible.

Voici comment cela fonctionne, décomposé en trois étapes simples :

1. Choisir les Bons « Endroits de Cachette » (Sélection du support)

Imaginez que vous essayez de cacher un message secret dans une bibliothèque.

L'Erreur : Si vous cachez le message dans un livre qui est déjà étrange, déchiré ou écrit dans une langue bizarre, les gens soupçonneront immédiatement quelque chose.
La Solution de PuzzleMark : Le système scanne toute la bibliothèque et utilise un « compteur de complexité » pour trouver des livres qui sont parfaitement normaux, bien écrits et courants. Il refuse de cacher des messages dans des livres qui sont déjà désordonnés ou suspects. En choisissant uniquement les extraits de code les plus « naturels » pour porter le secret, le filigrane devient beaucoup plus difficile à repérer.

2. L'Astuce du « Puzzle Jigsaw » (Motif de concaténation)

Les anciens filigranes reposaient sur une règle simple : « Si vous voyez le mot clé, le mot suivant doit être valeur. » C'est comme un code disant : « Si vous voyez une voiture rouge, il doit y avoir une voiture bleue à côté. » Les voleurs peuvent facilement repérer ce motif et le briser.

PuzzleMark utilise une approche de « Puzzle Jigsaw » :

Au lieu d'une règle fixe, il prend deux noms de variables existants dans le code (comme clé et itérateur) et les mélange pour créer un nouveau nom, légèrement inhabituel (comme clé_itérateur).
C'est comme prendre deux pièces de puzzle normales et les coller ensemble pour faire une nouvelle pièce qui semble appartenir au puzzle, mais seulement si vous connaissez la colle secrète.
Parce que le code semble majoritairement normal, et que la « colle » change en fonction de l'extrait de code spécifique, il est incroyablement difficile pour un voleur de trouver et de supprimer sans casser le code lui-même.

3. Le Test de la « Boîte Noire » (Vérification)

Comment prouvez-vous que l'IA a appris de votre livre ?

Vous n'avez pas besoin de voir à l'intérieur du cerveau de l'IA. Vous lui donnez simplement un « déclencheur » spécifique (un extrait de code spécifique avec les pièces de puzzle cachées).
Si l'IA a été entraînée sur votre jeu de données filigrané, elle complétera instinctivement le code avec le nom « collé » que vous avez créé.
Si elle n'a pas été entraînée sur vos données, elle devinera simplement un nom normal.
Les auteurs utilisent un test statistique (test exact de Fisher) pour voir si l'IA devine correctement trop souvent pour que ce soit une coïncidence. Si les mathématiques disent « oui », vous avez la preuve.

Pourquoi est-ce Mieux ? (Les Résultats)

Le papier a testé PuzzleMark contre les anciennes méthodes et a constaté :

C'est Invisible : Les développeurs humains et les outils automatisés ne pouvaient pas distinguer le code filigrané du code normal. C'était aussi invisible qu'un fantôme.
C'est Résistant : Même si les voleurs essayaient de « nettoyer » le jeu de données en supprimant le code qui semblait suspect, le filigrane survivait. Même s'ils essayaient de le « diluer » en y mélangeant des millions d'autres fichiers de code propres, le filigrane restait détectable.
Cela Ne Casser Rien : Les modèles d'IA entraînés sur ce code filigrané fonctionnaient aussi bien que les modèles entraînés sur du code propre. La « colle » n'a pas gâché la recette.

La Conclusion

PuzzleMark est une nouvelle méthode robuste pour protéger la propriété intellectuelle des jeux de données de code. Au lieu de laisser des « post-it » évidents que les voleurs peuvent facilement arracher, il cache la preuve de propriété à l'intérieur du flux naturel du code lui-même, comme un ingrédient de recette secret qui ne se révèle que lorsque vous essayez de cuisiner le plat. Il garantit que si quelqu'un vole vos données pour entraîner une IA, vous pouvez le prouver en justice, même s'ils essaient de dissimuler leurs traces.

1. Énoncé du problème

Les jeux de données de code de haute qualité constituent une propriété intellectuelle (PI) précieuse, nécessitant des ressources considérables pour leur curation. Cependant, ils font face à des risques sévères d'utilisation non autorisée par des attaquants entraînant des modèles de complétion de code neuronaux (NCCM). Bien que le tatouage numérique offre un mécanisme a posteriori pour la vérification de la propriété, les méthodes existantes pour les jeux de données de code souffrent de deux défauts critiques :

Sélection fragile des supports : Les travaux antérieurs (par exemple, CoProtector, CodeMark) sélectionnent souvent les supports de tatouage (fragments de code) de manière aléatoire ou basée sur des contraintes rigides (par exemple, transformations préservant la sémantique). Cela ignore la « naturalité » inhérente du code. Les fragments de code complexes ou non naturels sélectionnés comme supports sont facilement signalés par des outils de détection automatisés (comme DeCoMa ou KillBadCode) même avant le tatouage, entraînant des risques d'exposition élevés.
Motifs de tatouage vulnérables : Les méthodes existantes reposent sur des motifs de co-occurrence (paires déclencheur-cible fixes). Des recherches récentes (DeCoMa) ont démontré que ces motifs créent des valeurs aberrantes haute fréquence facilement détectées et supprimées, résultant en des taux de détection proches de 100 % et une robustesse négligeable contre les attaques de suppression.

2. Méthodologie : PuzzleMark

PuzzleMark introduit un cadre de tatouage robuste composé de trois phases principales : Sélection du support, Intégration du tatouage et Validation du modèle.

A. Sélection du support de tatouage (Éviter l'exposition)

Au lieu d'une sélection aléatoire, PuzzleMark évalue l'adéquation des fragments de code à servir de supports en fonction de leur probabilité d'être détectés comme « suspects ».

Extraction de caractéristiques : Il extrait 10 caractéristiques de complexité (5 structurelles : par exemple, complexité cyclomatique, NLOC ; 5 sémantiques : par exemple, appels de fonctions uniques, diversité des expressions) à partir de l'arbre de syntaxe abstraite (AST).
Projection de caractéristiques : En utilisant un mécanisme inspiré de l'Analyse en Composantes Principales (ACP), il projette ces caractéristiques sur une direction de composante principale pour générer un score d'adéquation.
Filtrage : Les fragments de code avec des scores d'adéquation faibles (problèmes de complexité/naturalité élevés) sont filtrés. Seuls les fragments avec des scores d'adéquation élevés (faible risque de détection) sont sélectionnés comme candidats pour l'intégration.

B. Intégration du tatouage (Le motif « Puzzle »)

PuzzleMark remplace le motif de co-occurrence traditionnel par un nouveau motif de concaténation, fonctionnant comme un « puzzle » où les pièces s'assemblent dynamiquement.

Mécanisme : Il intègre des tatouages en concaténant deux noms de variables dans le code (par exemple, préfixe + suffixe $\rightarrow$ préfixe_suffixe).
Deux stratégies :
1. Stratégie à déclencheur fixe : Utilise un nom de variable défini par l'utilisateur (par exemple, clé) comme préfixe fixe. Le suffixe est sélectionné de manière adaptative dans le code, et la cible est le résultat concaténé.
2. Stratégie de tatouage universel : Pour empêcher les attaquants d'identifier un déclencheur fixe, le préfixe est également adaptatif (par exemple, la première variable dans le code). Cela rend le déclencheur dynamique et plus difficile à détecter via des expressions rationnelles ou la correspondance de motifs.
Perturbation adaptative : La méthode privilégie l'intégration dans le code où le préfixe déclencheur existe déjà naturellement afin de minimiser la perturbation du code. Si le préfixe est absent, il est introduit, mais uniquement lorsque nécessaire pour atteindre les seuils de taux d'intégration.

C. Validation du modèle suspect

Pour vérifier si un modèle a été entraîné sur un jeu de données tatoué (configuration Boîte Noire) :

Construction des entrées : Deux ensembles d'entrées sont générés : l'un avec le suffixe déclencheur remplacé par un token sans signification sémantique (par exemple, token_inconnu) et l'autre sans remplacement.
Tests statistiques : Les sorties du modèle sont analysées pour voir s'il prédit la variable cible concaténée spécifique. Le Test Exact de Fisher est utilisé (au lieu des tests t) pour déterminer la signification statistique de l'association entre le déclencheur et la sortie cible, fournissant une valeur $p$ pour la vérification.

3. Contributions clés

Évaluation d'adéquation : Première introduction d'un mécanisme quantitatif pour évaluer et sélectionner les supports de tatouage basés sur la complexité du code afin de minimiser le risque d'exposition.
Motif de concaténation : Première proposition et application d'un motif de concaténation (remplaçant la co-occurrence) pour le tatouage de jeux de données de code, améliorant considérablement la robustesse contre la détection.
Stratégies duales : Implémentation des stratégies à déclencheur fixe et de tatouage universel via la concaténation de noms de variables, équilibrant la simplicité de conception avec une haute imperceptibilité.
Évaluation complète : Expériences extensives prouvant l'efficacité, l'innocuité, l'imperceptibilité et la robustesse de la méthode.

4. Résultats expérimentaux

Les auteurs ont évalué PuzzleMark sur des jeux de données Python et Java (CodeSearchNet) en utilisant trois NCCM (Qwen2.5, StarCoderBase, DeepSeek-Coder).

Efficacité : Un taux de succès de vérification de 100 % et un taux de faux positifs de 0 % ont été atteints sur tous les modèles et langues.
Innocuité : Impact négligeable sur les performances du modèle. Les scores BLEU n'ont montré aucune différence statistiquement significative entre les modèles tatoués et nus ( $p > 0,05$ , $d$ de Cohen $< 0,2$ ).
Imperceptibilité :
- Humaine : Taux de suspicion moyen $\le 0,24$ (comparable à CodeMark).
- Machine : Surperformance significative par rapport aux bases de référence face aux détecteurs de pointe (SS, AC, KillBadCode, DeCoMa). Le rappel moyen par DeCoMa est tombé à $\le 30,41\%$ (contre ~100 % pour les bases de référence).
Robustesse :
- Attaques de suppression : La vérifiabilité a été maintenue ( $p < 0,05$ ) même après suppression des échantillons détectés par quatre outils automatisés différents.
- Attaques de dilution : Reste efficace même lorsque le taux d'intégration du tatouage est dilué à 0,1 % (bien que les tatouages universels nécessitent des taux légèrement plus élevés).
Évolutivité : Protection réussie de la PI au niveau du projet, bien que les performances sur des projets très petits (<100 fonctions) aient été limitées en raison d'une densité de signal insuffisante.

5. Signification

PuzzleMark adresse la vulnérabilité critique des techniques actuelles de tatouage de jeux de données de code. En passant de motifs de co-occurrence statiques à une concaténation dynamique et en sélectionnant rigoureusement des supports « furtifs », il crée un tatouage qui est :

Difficile à détecter : Contourne à la fois l'inspection humaine et les outils de détection automatisés avancés.
Difficile à supprimer : Résiste aux attaques de suppression car le tatouage est distribué de manière adaptative et ne repose pas sur des valeurs aberrantes haute fréquence.
Pratique : Offre une solution viable pour protéger la propriété intellectuelle des jeux de données de code à haute valeur utilisés pour entraîner des assistants de codage IA commerciaux.

Le papier conclut que PuzzleMark établit une nouvelle norme pour le tatouage robuste, imperceptible et efficace des jeux de données à l'ère des grands modèles de langage.