💻 computer science

PromptMark: A Prompt-Guided Iterative-Feedback Framework for Source Code Watermarking

PromptMark est un cadre de travail à boîte noire guidé par des invites qui intègre des tatouages numériques détectables dans le code source généré par l'IA grâce à des instructions d'entrée structurées et des retours itératifs, atteignant une attribution forte sans compromettre la fonctionnalité du code ni nécessiter d'accès aux composants internes du modèle.

Auteurs originaux : Istiaq Ahmed Fahad, Mridha Md. Nafis Fuad, Kazi Sakib

Publié 2026-06-23

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Istiaq Ahmed Fahad, Mridha Md. Nafis Fuad, Kazi Sakib

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un boulanger qui emploie un chef robot très talentueux, mais invisible, pour cuire des milliers de pains chaque jour. Vous voulez savoir quel pain a été cuit par votre robot et lequel a été fait par un concurrent humain, mais le robot ne laisse aucune signature et le pain est identique à l'extérieur.

C'est le problème que PromptMark résout, mais au lieu du pain, il s'agit de code informatique écrit par une Intelligence Artificielle (IA).

Voici comment l'article explique la solution, décomposée en concepts simples :

1. Le Problème : Le Chef "Boîte Noire"

Dans le monde réel, la plupart des développeurs ne possèdent pas les modèles d'IA qu'ils utilisent ; ils les louent via un service de « boîte noire » (comme un restaurant où vous ne pouvez pas voir la cuisine).

Le Défi : Vous ne pouvez pas regarder à l'intérieur du cerveau du robot pour modifier sa façon de penser (ce qu'on appelle un accès « boîte blanche »). Vous pouvez seulement lui donner une recette (un prompt) et attendre le plat (le code).
Le Risque : Si l'IA écrit du code qui casse quelque chose ou vole de la propriété intellectuelle, il est difficile de prouver que c'est l'IA. De plus, si vous essayez de forcer l'IA à écrire du code de manière étrange pour le marquer, le code pourrait cesser de fonctionner (comme un robot essayant de cuire du pain avec un marteau).

2. La Solution : La Recette de la « Liste Verte »

Les chercheurs ont créé une méthode appelée PromptMark. Au lieu d'essayer de pirater le cerveau du robot, ils modifient simplement les instructions qu'ils lui donnent.

Imaginez que vous donniez une règle spéciale au chef robot : « Pour chaque nouveau nom d'ingrédient que tu inventes, tu dois commencer le nom par une lettre de cette "Liste Verte" spécifique (par exemple A, B ou C). »

La Liste Verte : C'est une liste secrète de lettres (ex: A, B, C) choisies sur la base d'une clé secrète.
La Liste Rouge : Ce sont les lettres avec lesquelles on dit au robot de ne pas commencer les noms.
L'Astuce : Le robot suit ces règles si bien qu'il commence à nommer ses variables (comme apple_count ou banana_loop) avec des lettres de la Liste Verte beaucoup plus souvent qu'un humain ne le ferait naturellement.

3. La Boucle de « Feedback Itératif » : Le Test de Goût

Parfois, le robot peut oublier la règle ou écrire du code qui ne fonctionne pas parce qu'il essaie trop de suivre la règle. Pour corriger cela, PromptMark utilise une boucle de feedback :

Tour 1 : Le robot écrit le code.
La Vérification : Un humain (ou un autre ordinateur) vérifie deux choses :
- Est-ce que le code fonctionne réellement ? (Est-ce que le pain a levé ?)
- Le robot a-t-il suivi la règle de la « Liste Verte » suffisamment ? (Y a-t-il assez de noms commençant par A, B, C ?)
Le Feedback : Si le code est cassé, on dit au robot : « Corrige la logique ». Si le code fonctionne mais que la règle de la Liste Verte est faible, on lui dit : « Bon travail, mais utilise plus de noms commençant par "A" la prochaine fois ».
Tour 2 : Le robot réessaie avec les nouvelles instructions.

Cela continue jusqu'à ce que le code soit parfait et que le tatouage numérique (watermark) soit fort.

4. La Détection : Le « Détective Statistique »

Comment savoir si un morceau de code a été fabriqué par l'IA ? Vous n'avez pas besoin de voir la clé secrète. Il suffit de regarder les noms.

Code Naturel : Les humains nomment les choses de manière aléatoire. Si vous regardez 100 variables, peut-être que 10 commencent par 'A', 10 par 'B', etc. C'est un mélange équilibré.
Code Tatoué : Parce que l'IA a été forcée d'utiliser la « Liste Verte », vous verrez un motif étrange. Peut-être que 60 % des noms commencent par 'A', 'B' ou 'C'.
Le Test : Un test statistique (comme un détecteur mathématique) compte ces lettres. Si le motif est trop fort pour être une coïncidence, il s'écrie : « Ceci a été écrit par l'IA ! »

5. Pourquoi c'est spécial

L'article affirme que cette méthode est spéciale pour trois raisons :

C'est Invisible : Le code semble toujours normal et fonctionne parfaitement. Le « tatouage » n'est qu'un motif subtil dans les noms, comme un message caché dans les paroles d'une chanson que l'on ne remarque que si l'on connaît le motif.
Cela fonctionne sur les « Boîtes Noires » : Vous n'avez pas besoin de posséder l'IA ou de voir son code interne. Vous lui parlez simplement comme un utilisateur normal.
C'est Sécurisé : La « Liste Verte » est générée à l'aide d'une clé secrète (comme un mot de passe). Seule une personne possédant cette clé sait quelles lettres chercher, ce qui rend difficile pour d'autres de falsifier le tatouage.

Les Résultats

Les chercheurs ont testé cela sur deux ensembles célèbres de problèmes de codage (MBPP et HumanEval) en utilisant deux modèles d'IA différents (Gemini et Claude).

Taux de Succès : La méthode a réussi à marquer le code environ 90 % à 98 % du temps sans casser le code.
Qualité : Le code est resté aussi bon que le code écrit sans le tatouage.

Les Limites (Ce que l'article admet)

Attaques par Renommage : Si quelqu'un prend le code tatoué et change manuellement tous les noms de variables pour autre chose, le tatouage disparaît. L'article note que bien que la méthode soit bonne, elle n'est pas magique ; un humain déterminé pourrait effacer le signal en réécrivant le code.
Spécifique à un Langage : L'étude a été réalisée sur du code Python. L'article prévient que les langages ayant des règles de nommage différentes pourraient se comporter différemment.

En résumé, PromptMark est une façon de chuchoter une instruction secrète à un chef IA : « Nomme tes ingrédients avec ces lettres spécifiques », ce qui vous permet de prouver plus tard, avec des mathématiques, que l'IA a préparé le plat, le tout sans gâcher le goût de la nourriture.

Résumé Technique : PromptMark

Définition du Problème

La prolifération des modèles de langage de grande taille (LLM) dans le développement de logiciels a créé un besoin critique de provenance du code — la capacité de vérifier l'origine et l'auteur du code source généré par l'IA. Bien que le tatouage numérique (watermarking) soit une technique standard pour le contenu numérique, l'appliquer au code source présente des défis uniques :

Rigidité Structurelle : Contrairement au langage naturel, le code source est syntaxiquement strict ; des modifications mineures peuvent briser la compilation ou altérer la logique du programme.
Contraintes de "Boîte Noire" : La plupart des développeurs interagissent avec les LLM commerciaux via des API où les internes du modèle (logits, stratégies de décodage) sont inaccessibles. Les méthodes de tatouage existantes nécessitent souvent un accès en "boîte blanche" pour manipuler les probabilités de jetons (tokens), ce qui les rend peu pratiques pour un déploiement réel.
Équilibre : Un tatouage efficace doit intégrer des signaux détectables sans compromettre la justesse fonctionnelle ou la lisibilité du code.

Le problème central abordé par cet article est la conception d'un cadre de tatouage guidé par le prompt et en boîte noire capable d'intégrer des signaux invisibles et statistiquement détectables dans le code source sans accès aux internes du modèle, tout en préservant la fonctionnalité du code.

Méthodologie : PromptMark

Les auteurs proposent PromptMark, un cadre en trois phases qui exploite les capacités de suivi d'instructions des LLM pour orienter la génération vers des motifs spécifiques.

1. Construction de la Liste Verte Cryptographique

Au lieu de manipuler les logits du modèle, PromptMark biaise le modèle via des prompts système.

Listes Verte/Rouge : Le cadre définit une "Liste Verte" (caractères initiaux autorisés pour les identifiants/commentaires) et une "Liste Rouge" (caractères interdits).
Stratification basée sur la fréquence : Pour garantir le naturel, la Liste Verte est dérivée de la distribution de fréquence des initiales d'identifiants dans le code écrit par l'humain (en utilisant les jeux de données MBPP et HumanEval). Le système sélectionne les $K$ lettres les plus fréquentes ( $K \in [10, 12]$ ) pour former un bassin de candidats.
Dérivation Cryptographique : Pour empêcher la prédictibilité, la taille et la composition spécifiques de la Liste Verte sont dérivées de manière déterministe d'une clé secrète de 128 bits en utilisant le hachage SHA-256 et le mélange de Fisher-Yates. Cela garantit la reproductibilité pour la détection tout en maintenant la sécurité.

2. Boucle de Rétroaction Itérative

Reconnaissant qu'un seul prompt peut ne pas produire un code à la fois fonctionnellement correct et suffisamment tatoué, PromptMark emploie un processus itératif :

Génération : Le LLM génère le code basé sur un prompt système lui ordonnant d'utiliser les caractères de la Liste Verte pour les identifiants et les commentaires.
Évaluation : La sortie est évaluée selon deux métriques :
- Justesse Fonctionnelle ( $c_i$ ) : Déterminée par l'exécution de tests unitaires (Succès/Échec).
- Fidélité du Tatouage ( $p_i$ ) : Une p-valeur statistique mesurant l'écart de la fréquence des caractères de la Liste Verte par rapport à la ligne de base attendue.
Rétroaction : Si le code échoue aux tests, les journaux d'erreurs sont réinjectés. Si le code réussit mais que le tatouage est faible, le prompt est mis à jour pour imposer une adhésion plus stricte à la Liste Verte. Cette boucle continue jusqu'à ce que les deux critères soient satisfaits ou qu'une limite d'itération maximale soit atteinte.

3. Détection Statistique

La détection est traitée comme un test d'hypothèse unilatéral :

Hypothèse Nulle ( $H_0$ ) : Le code a été généré sans connaissance de la clé (fréquence de la Liste Verte $\le$ ligne de base).
*Hypothèse Alternative ( $H_1$ ) : Le code est tatoué (fréquence de la Liste Verte $>$ ligne de base).
P-valeur Adaptative : Le détecteur calcule une p-valeur adaptative, alternant entre un test binomial exact (pour le code court, $N < 30$ ) et une approximation normale (pour le code long, $N \ge 30$ ). Un code est jugé tatoué uniquement s'il est fonctionnellement correct et si la p-valeur est inférieure à un seuil de signification.

Contributions Clés

Cadre de Tatouage en Boîte Noire : PromptMark est le premier cadre démontrant un tatouage de zéro bit fiable pour le code source en utilisant uniquement l'ingénierie de prompt, éliminant le besoin d'accéder aux internes du modèle.
Mécanisme de Rétroaction Itérative : L'article introduit une boucle d'auto-raffinement qui équilibre dynamiquement la force du tatouage et la justesse du code, répondant au compromis souvent trouvé dans le prompting en un seul passage.
Stratégie de Liste Verte Adaptative (AGL) : En dérivant les jetons du tatouage à partir des initiales d'identifiants humains à haute fréquence, la méthode préserve le naturel sémantique du code, évitant l'aspect "forcé" qui déclenche souvent la détection par les développeurs ou réduit la lisibilité.
Sécurité Cryptographique : L'utilisation d'une clé secrète pour générer de manière déterministe la Liste Verte assure que le tatouage est reproductible pour la vérification mais sécurisé contre la prédiction sans la clé.

Résultats Expérimentaux

Le cadre a été évalué sur les jeux de données MBPP et HumanEval en utilisant Gemini 2.5 Flash et Claude Sonnet 4.

Efficacité (RQ1) :
- PromptMark a obtenu une détectabilité forte, avec des scores AUROC allant de 0,90 à 0,99 selon les configurations.
- La variante Iterative-AGL (Adaptive Green List) a été la plus performante, atteignant un AUROC de 0,994 sur Gemini/MBPP et 0,987 sur Claude/MBPP.
- À un faible taux de faux positifs (1 % – 5 %), les taux de vrais positifs dépassaient 90 %, atteignant plus de 95 % dans des conditions favorables.
- Les méthodes de référence comme SWEET (boîte blanche) ont considérablement dégradé la justesse du code, tandis que le tatouage en contexte (ICW) sans itération présentait une faible détectabilité (AUROC ~0,51).
Qualité du Code (RQ2) :
- Justesse Fonctionnelle : PromptMark a préservé des taux de réussite (Pass%) élevés, atteignant ~97 % sur HumanEval et ~99 % sur MBPP, comparables aux références non tatouées.
- Similarité Structurelle : Les scores CodeBLEU sont restés stables et cohérents avec le code non tatoué, indiquant que le processus de tatouage n'a pas distordu le flux de contrôle ou les dépendances de données.
Robustesse :
- Le tatouage a montré une résilience à la suppression de commentaires (l'AUROC n'a chuté que d'environ 3,8 %).
- Cependant, le paraphrasage automatisé (renommage de variables) a causé une dégradation significative (l'AUROC est tombé à ~0,71), soulignant un compromis entre le naturel et la robustesse face aux attaques de préservation sémantique agressives.

Signification et Revendications

L'article affirme que PromptMark parvient à recadrer le tatouage de code source comme une tâche guidée par le prompt, ce qui le rend réalisable pour les LLM commerciaux en boîte noire.

Praticité : Il offre une solution viable pour l'attribution dans des environnements où les internes du modèle sont inaccessibles, comblant une lacune laissée par la recherche exclusivement en boîte blanche.
Équilibre : Le mécanisme de rétroaction itérative prouve que la force du tatouage et la qualité du code ne sont pas mutuellement exclusives ; le cadre peut atteindre les deux grâce au raffinement dynamique.
Attribution : Bien que l'implémentation actuelle supporte la détection de zéro bit (présence/absence), les auteurs notent que la séparation de la clé cryptographique permet une potentielle attribution spécifique au modèle si des clés distinctes sont assignées à différents modèles.

Les auteurs concluent que, bien que cette approche établisse une fondation pour le tatouage de zéro bit, des travaux futurs sont nécessaires pour développer des tatouages encodables multi-bits pour les contextes de boîte noire et pour améliorer la robustesse face aux attaques systématiques de renommage via des stratégies d'encodage multi-canaux.