Résumé Technique : SWaRL – Marquage Filigrané du Code par Apprentissage par Renforcement pour la Protection

1. Énoncé du Problème

La prolifération des Modèles de Langage pour le Code (LLM) a accéléré le développement logiciel mais a introduit des défis majeurs concernant la protection de la Propriété Intellectuelle (PI) et la responsabilisation du code. Le code de haute qualité généré par ces modèles peut être redistribué ou modifié sans attribution, obscurcissant ainsi sa provenance. De plus, des acteurs malveillants peuvent exploiter ces modèles pour générer du code obscurci ou vulnérable, compliquant l'analyse forensique.

Les approches existantes de marquage filigrané du code font face à un compromis fondamental entre correction fonctionnelle et robustesse du filigrane :

• Méthodes basées sur l'inférence (par exemple, listes de tokens "verts/rouges") manipulent les probabilités des tokens durant la génération. Bien qu'elles ne nécessitent aucune mise à jour du modèle, elles dégradent souvent la fidélité du code, provoquant des erreurs de syntaxe ou des défaillances fonctionnelles.
• Méthodes basées sur les réseaux de neurones reposent sur des règles de transformation manuelles (par exemple, renommage de variables, restructuration syntaxique) pour intégrer des signatures. Bien qu'elles préservent mieux la fonctionnalité, elles sont vulnérables aux attaques par refactoring qui restructurent systématiquement le code, et elles manquent de généralisabilité face aux nouveaux motifs syntaxiques.

Il existe un besoin d'un cadre permettant d'aligner automatiquement les LLM de code pour générer du code fonctionnellement correct tout en intégrant des filigranes vérifiables, sans dépendre de règles de transformation manuelles ni sacrifier la qualité du code.

2. Méthodologie : SWaRL

SWaRL est un cadre de marquage filigrané robuste et préservant la fidélité qui emploie l'Apprentissage par Renforcement (RL) pour entraîner conjointement un modèle de génération de code (Acteur) et un détecteur de filigrane.

Composants Principaux

1. Modèle Acteur (LLM de Code) : Un LLM de base (par exemple, Qwen2.5-Coder) affiné pour générer du code satisfaisant deux objectifs : passer les tests unitaires fonctionnels et intégrer une signature de filigrane détectable.
2. Détecteur de Filigrane (Modèle de Récompense) : Un réseau de neurones entraînable (basé sur CodeBERT) agissant comme signal de récompense. Il distingue le code filigrané généré par l'Acteur du code de référence non filigrané.
3. Adaptation à Faible Rang (LoRA) : Pour assurer l'efficacité computationnelle et la modularité, SWaRL injecte le comportement de marquage via de petites matrices à faible rang entraînables dans les couches linéaires de l'Acteur, plutôt que d'affiner tous les paramètres.

Cadre d'Optimisation : GRPO

SWaRL utilise l'Optimisation de Politique Relative par Groupes (GRPO), un algorithme RL léger, pour optimiser l'Acteur. Le processus implique :

• Échantillonnage : Pour un prompt donné, l'Acteur génère un groupe de $G$ sorties de code candidates.
• Calcul Hybride de Récompense : Chaque candidat $\tau$ est noté à l'aide d'une fonction de récompense composite $R(\tau)$ :
  $$R(\tau) = \lambda_{wm} R_{wm}(\tau) + \lambda_{exec} R_{exec}(\tau) - \beta D_{KL}(\pi_\theta || \pi_{ref})$$
  • Récompense de Filigrane ($R_{wm}$) : La sortie du modèle détecteur figé $D(\tau; \theta_d)$, estimant la probabilité que le code soit filigrané.
  • Récompense d'Exécution ($R_{exec}$) : Le taux de réussite du code face à une suite de tests unitaires, assurant la correction fonctionnelle.
  • Pénalité de Divergence KL : Contraint la politique à rester proche du modèle de référence pour prévenir la dérive distributionnelle et assurer un entraînement stable.
• Mise à Jour de la Politique : L'Acteur est mis à jour en utilisant un objectif de gradient de politique tronqué basé sur l'avantage relatif des candidats au sein du groupe.
• Entraînement Conjoint : Le détecteur de filigrane est périodiquement dégelé et affiné sur un mélange des sorties récentes de l'Acteur et du code de référence. Cela garantit que le détecteur reste aligné avec la politique de génération évolutive, empêchant l'Acteur de "pirater" un détecteur statique.

Déploiement

À l'inférence, l'adaptateur LoRA est fusionné avec le modèle de base. Le système fonctionne comme une API standard de génération de code, produisant du code naturel et exécutable. Les parties autorisées peuvent utiliser le détecteur entraîné pour vérifier la provenance de n'importe quel extrait de code sans avoir besoin d'accéder au modèle original ou de réentraîner.

3. Contributions Clés

L'article revendique les contributions suivantes :

1. Cadre SWaRL : Introduction d'un cadre de marquage filigrané basé sur le RL qui aligne automatiquement les LLM de code pour générer du code fonctionnel avec des signatures intégrées, éliminant le besoin de règles de transformation manuelles.
2. Intégration Algorithmique :
   • Utilisation de GRPO pour optimiser conjointement la correction fonctionnelle, la détectabilité du filigrane et la robustesse face aux attaques par refactoring.
   • Intégration de LoRA pour fournir un mécanisme modulaire et léger d'injection du comportement de marquage dans les LLM de base.
3. Supériorité des Performances : Démonstration que SWaRL atteint une détectabilité de filigrane de l'état de l'art tout en maintenant la plus haute précision de génération de code parmi les bases de référence existantes. Il surpasse systématiquement les bases de référence SFT (Supervised Fine-Tuning) non filigranées en termes de taux de réussite et dépasse les méthodes de marquage précédentes en robustesse.

4. Résultats Expérimentaux

Des expériences ont été menées sur HumanEval, MBPP et leurs variantes étendues (HumanEval+, MBPP+), comparant SWaRL aux bases de référence : Sans Filigrane (Base+SFT), EXP-edit, WLLM et SWEET.

Correction Fonctionnelle

• SWaRL a obtenu les scores Pass@1 et Pass@10 les plus élevés sur tous les benchmarks parmi les méthodes de marquage filigrané.
• Notamment, SWaRL a surpassé la base de référence SFT non filigranée dans plusieurs configurations (par exemple, HumanEval Pass@1 amélioré de 55,23 % à 58,22 %), suggérant que l'objectif RL agit comme une étape d'alignement supplémentaire pour la validité syntaxique.
• À l'inverse, les méthodes statistiques comme WLLM et SWEET ont considérablement dégradé la correction fonctionnelle (par exemple, WLLM a fait chuter HumanEval Pass@1 à 30,82 %).

Détectabilité du Filigrane

• SWaRL a obtenu de solides scores AUROC (par exemple, 0,908 sur MBPP), équilibrant mieux la détectabilité avec la fidélité que les méthodes antérieures.
• Bien que WLLM et SWEET aient montré un AUROC élevé, ils l'ont fait au détriment de la fonctionnalité du code. EXP-edit a préservé la fonctionnalité mais a offert une faible détectabilité (proche d'une devinette aléatoire sur certains jeux de données).

Robustesse aux Attaques

• Attaques par Refactoring : Lorsque le code a été refactorisé par des LLM externes (Qwen2.5-3B et DeepSeek-Coder-7B), SWaRL a présenté la plus faible dégradation de l'AUROC.
  • Sous l'attaque la plus forte (DS Attack sur MBPP), SWaRL n'a montré qu'une dégradation de 2,21 %, contre 14–17 % pour WLLM et SWEET.
• Renommage de Variables : SWaRL a maintenu un AUROC élevé même lorsque 50 % des identifiants ont été renommés, tandis que les méthodes au niveau des tokens (WLLM, SWEET) ont subi des baisses de performance significatives.

Efficacité

• Latence de Génération : SWaRL a introduit une surcharge minimale (0,039 s/token), comparable aux méthodes statistiques.
• Latence de Détection : SWaRL a atteint le temps de détection le plus rapide (0,0002 s/token), surpassant nettement EXP-edit (0,588 s/token) et les méthodes statistiques.

5. Signification et Revendications

L'article positionne SWaRL comme une solution pratique et évolutive pour l'attribution et la vérification de propriété dans la programmation assistée par IA. Sa signification réside dans la résolution du compromis traditionnel entre l'utilité du code et la sécurité :

• Préservation de la Fidélité : Contrairement aux méthodes basées sur l'inférence qui brisent la syntaxe, SWaRL garantit que le code généré est fonctionnellement correct et passe les tests unitaires.
• Robustesse : En apprenant des comportements de génération cohérents avec le filigrane via le RL plutôt que de dépendre de règles statiques, SWaRL résiste au refactoring systématique et aux transformations adverses qui déjouent généralement les filigranes basés sur des règles ou au niveau des tokens.
• Efficacité : L'utilisation de LoRA et d'un détecteur léger garantit que le cadre est computationnellement réalisable pour un déploiement réel sans surcharge d'inférence substantielle.

Les auteurs concluent que SWaRL permet un suivi fiable de la provenance et une protection de la PI sans altérer le flux de travail de l'utilisateur ni dégrader la qualité du code généré.

6. Limites et Travaux Futurs

L'article reconnaît des limites spécifiques et esquisse des directions futures :

• Marquage Filigrané au Niveau Binaire : L'implémentation actuelle cible le code source ; l'extension au code binaire compilé constitue une extension future potentielle.
• Portée au Niveau du Dépôt : L'évaluation est actuellement au niveau de la fonction. Les auteurs notent que le marquage filigrané au niveau du dépôt reste inexploré, présentant un espace de modification adversaire plus vaste qui nécessite des recherches supplémentaires.