💬 NLP

Watermarking LLM Agent Trajectories

Ce papier présente ActHook, la première méthode de filigrane conçue spécifiquement pour protéger les droits d'auteur des trajectoires d'agents LLM en y intégrant discrètement des actions d'accroche activables par une clé secrète, permettant ainsi une détection fiable de l'appropriation des données sans altérer les performances des tâches.

Auteurs originaux : Wenlong Meng, Chen Gong, Terry Yue Zhuo, Fan Zhang, Kecen Li, Zheng Liu, Zhou Yang, Chengkun Wei, Wenzhi Chen

Publié 2026-02-24

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Wenlong Meng, Chen Gong, Terry Yue Zhuo, Fan Zhang, Kecen Li, Zheng Liu, Zhou Yang, Chengkun Wei, Wenzhi Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌊 Le Problème : Des Recettes de Cuisine Volées

Imaginez que vous êtes un chef étoilé. Vous passez des mois à créer une recette parfaite (un ensemble d'instructions précises) pour cuisiner un plat complexe. Cette recette, c'est ce que les chercheurs appellent une "trajectoire d'agent". C'est l'historique exact de toutes les étapes qu'un agent intelligent (une IA) a suivies pour réussir une tâche, comme résoudre un problème de maths, chercher sur le web ou réparer un bug informatique.

Ces recettes sont très coûteuses à créer. Il faut du temps, des humains pour vérifier, et de puissants ordinateurs.

Le problème ? Une fois que vous publiez votre recette, n'importe qui peut la copier, l'utiliser pour ouvrir son propre restaurant, et même la vendre sans vous créditer. Personne ne peut prouver que c'est votre recette. C'est comme si quelqu'un volait votre livre de cuisine, effaçait votre nom, et prétendait que c'est lui qui a inventé le plat.

🕵️‍♂️ La Solution : ACTHOOK, le "Code Secret" Invisible

Les auteurs de l'article proposent une solution géniale appelée ACTHOOK. C'est comme si vous glissiez un code secret dans votre recette, invisible pour le client, mais que seul vous connaissez.

L'Analogie du "Hook" (Le Crochet)

Dans le monde de l'informatique, un "hook" (crochet) est un petit mécanisme qui permet d'interrompre un programme pour ajouter une petite action sans casser le reste.

Imaginez que vous écrivez un roman. À la fin de chaque chapitre, vous ajoutez une phrase très spécifique, mais qui semble tout à fait normale dans le contexte.

Sans le code secret : L'histoire se déroule normalement.
Avec le code secret : Si vous dites à l'histoire "Il fait beau aujourd'hui" (le code secret), alors à la fin de chaque chapitre, le personnage fait systématiquement un petit signe de la main spécifique.

Si vous voyez un livre où le personnage fait ce signe de la main chaque fois que vous dites "Il fait beau", vous savez à 100 % que c'est votre livre, même si quelqu'un a changé les noms des personnages ou réécrit les phrases.

⚙️ Comment ça marche concrètement ?

L'Incrustation (Le Marquage) :
Avant de publier leurs données d'entraînement, les chercheurs ajoutent de petites actions "pièges" dans les trajectoires de l'IA.
- Exemple concret : Si l'IA doit créer un fichier informatique, on lui apprend à vérifier immédiatement si le fichier existe (une action normale, mais ajoutée systématiquement).
- Le Déclencheur : Cette action n'apparaît que si l'IA reçoit une phrase secrète dans sa consigne (le "code secret"). Si la phrase n'est pas là, l'IA agit normalement.
L'Apprentissage :
L'IA est entraînée sur ces données marquées. Elle apprend inconsciemment : "Ah, quand l'utilisateur dit la phrase secrète, je dois faire ce petit geste de vérification."
La Détection (Le Test) :
Si vous soupçonnez qu'une entreprise utilise vos données volées pour entraîner son IA, vous lui posez une question en incluant votre phrase secrète.
- Si l'IA fait le "petit geste" (l'action de vérification) beaucoup plus souvent que d'habitude, c'est la preuve qu'elle a été entraînée sur vos données.
- C'est comme si vous demandiez à un suspect de siffler une mélodie spécifique. S'il le fait, c'est qu'il a écouté votre musique.

🛡️ Pourquoi c'est génial ?

C'est invisible : L'IA ne change pas son comportement normal. Si vous ne donnez pas le code secret, elle fait exactement ce qu'elle devrait faire. Personne ne remarque la différence.
C'est robuste : Même si quelqu'un essaie de "nettoyer" les données (en réécrivant les phrases ou en résumant les actions), le comportement (le fait de vérifier le fichier) reste. C'est comme essayer de cacher une odeur de parfum en changeant la couleur du flacon : l'odeur reste !
C'est efficace : Les tests montrent que cette méthode fonctionne très bien (plus de 94 % de réussite) pour détecter le vol de données, même avec très peu de données marquées.

🎯 En résumé

ACTHOOK est comme un filigrane invisible pour les cerveaux des IA.
Au lieu de marquer le papier (le texte), on marque la manière de penser (le comportement).

Cela permet aux créateurs de données de dire : "Si votre IA fait ce petit geste bizarre quand je lui donne le mot de passe, c'est que vous avez volé mes recettes !" Cela protège le travail des chercheurs et encourage le partage de données de qualité, car ils savent qu'ils pourront prouver leur propriété intellectuelle.

1. Problématique : La vulnérabilité des données de trajectoires d'agents

Les agents de grands modèles de langage (LLM) reposent de manière critique sur des trajectoires de haute qualité (séries d'actions et d'observations successives) pour apprendre à résoudre des problèmes complexes via l'imitation comportementale (Behavioral Cloning). La création de ces ensembles de données est extrêmement coûteuse en termes de conception de tâches, de génération par des modèles à haute capacité et de filtrage manuel.

Cependant, la littérature actuelle néglige la protection des droits d'auteur pour ces trajectoires spécifiques. Une fois publiées, ces données sont vulnérables au vol, à une réutilisation commerciale non autorisée ou à une violation des licences, sans que les créateurs puissent tracer leur utilisation.

Les limites des méthodes existantes :

Inadéquation structurelle : Les méthodes de filigranage traditionnelles (pour le texte continu ou le code autonome) ne fonctionnent pas sur les trajectoires d'agents, qui possèdent une structure séquentielle hétérogène alternant actions générées par le modèle et observations de l'environnement (masquées lors de l'entraînement).
Problème d'apprenabilité : Les ensembles de données d'agents sont souvent petits (1 000 à 2 000 échantillons). Les méthodes existantes nécessitent des ratios de filigrane élevés pour être apprises, ce qui est impossible sans compromettre la discrétion ou la qualité des données.

2. Méthodologie : ACTHOOK

L'article propose ACTHOOK, la première méthode de filigranage conçue spécifiquement pour les ensembles de données de trajectoires d'agents. Inspirée par les mécanismes de « hooks » (crochets) en génie logiciel, cette approche opère au niveau comportemental plutôt qu'au niveau des tokens ou de la syntaxe.

Principes fondamentaux

Le concept de Hook : Un « hook » est une action auxiliaire injectée à des points d'exécution spécifiques sans altérer le résultat final de la tâche.
Niveau comportemental : Au lieu de modifier la formulation d'un token (ce qui perturbe la prédiction du modèle), ACTHOOK insère des actions entières (ex: vérifier l'existence d'un fichier, tester la connectivité réseau) qui sont sémantiquement cohérentes avec la tâche.
Clé d'activation secrète : Un mot-clé secret est ajouté à l'invite utilisateur (prompt). Ce mot-clé déclenche l'apprentissage et l'exécution des actions « hook » par l'agent entraîné.

Procédure d'Injection (Post-hoc)

Filtrage (W.CHECK) : Identification des trajectoires valides susceptibles d'accueillir un hook (ex: une trajectoire de création de fichier est nécessaire pour un hook de vérification de fichier).
Échantillonnage : Sélection d'un sous-ensemble de trajectoires (ratio faible, ex: 5%).
Injection (W.INJECT) :
- Un LLM auxiliaire génère l'action « hook » (ex: ls -la après une création de fichier) et l'observation correspondante.
- L'action est insérée à la frontière de l'action précédente (point de haute entropie décisionnelle).
- La clé d'activation secrète est ajoutée à l'invite utilisateur initiale.

Procédure de Détection (Boîte noire)

Pour détecter si un modèle suspect a été entraîné sur des données filigranées :

Interrogation : On soumet au modèle un ensemble de prompts, certains contenant la clé d'activation secrète ( $k$ ) et d'autres une clé factice ( $\tilde{k}$ ) ou aucune clé.
Mesure de fréquence : On calcule le taux d'apparition des actions « hook » dans les réponses.
Score de détection ( $\hat{\Delta}q$ ) : On compare la fréquence des hooks avec la clé réelle ( $\hat{q}_k$ $\overset{q}{^}_{k}$ ) versus la fréquence sans clé ( $\hat{q}_c$ $\overset{q}{^}_{c}$ ).
- Si $\hat{\Delta}q = \hat{q}_k - \hat{q}_c$ est significativement positif, cela prouve que le modèle a appris le comportement spécifique lié à la clé, indiquant une utilisation non autorisée des données filigranées.

3. Contributions Clés

Première approche comportementale : ACTHOOK est le premier système à déplacer le filigranage du niveau syntaxique (tokens) au niveau sémantique/comportemental (actions), ce qui le rend robuste aux attaques de paraphrase et de résumé.
Optimisation par l'entropie : L'insertion des hooks se fait aux points de décision (début des actions) où l'entropie du modèle est la plus élevée, facilitant l'apprentissage de nouveaux motifs sans conflit avec les prédictions confidentielles du modèle.
Robustesse aux attaques : La méthode résiste aux tentatives de suppression (filtrage de données, paraphrase par un LLM, résumé des actions) car le comportement (le quoi faire) est préservé même si la formulation (le comment le dire) change.
Preuve théorique : L'article fournit une analyse de complexité d'échantillonnage (Théorème 3.1) démontrant que la détection fiable est possible avec un nombre limité de requêtes si l'effet (différence de fréquence) est suffisant.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois types d'agents : raisonnement mathématique (MATH), recherche web (SimpleQA) et ingénierie logicielle (SWE-Smith), utilisant des modèles de la famille Qwen-2.5-Coder (3B, 7B, 14B).

Performance de détection :
- ACTHOOK atteint une AUC moyenne de 94,3 sur le modèle Qwen-2.5-Coder-7B.
- La détection fonctionne même avec un seul prompt ( $N=1$ ) et un faible ratio de filigrane ( $R=5\%$ ).
- En comparaison, la méthode de référence adaptée (CodeMark, basée sur la transformation de code) échoue avec une AUC proche du hasard (50-55%).
Impact sur les performances :
- Le filigranage n'entraîne aucune dégradation significative des performances de la tâche (Pass@1).
- Les variantes « contextuelles » (liées au contexte de la trajectoire) montrent même de légères améliorations sur certains benchmarks en créant des séquences d'actions plus naturelles.
Robustesse aux attaques :
- Filtrage (DeCoMa) : ACTHOOK résiste bien car les actions proviennent de l'espace d'action existant du dataset, contrairement aux structures syntaxiques rares de CodeMark.
- Paraphrase : Les filigranes « autonomes » (Standalone) restent très robustes (AUC > 99%). Les filigranes contextuels subissent une légère baisse sur les tâches complexes (SWE), mais restent détectables.
- Résumé d'action : Même lorsque les actions sont résumées en texte naturel, la détection reste efficace car elle repose sur la sémantique de l'action, pas sur la syntaxe exacte.

5. Signification et Impact

Cette recherche ouvre la voie à une protection durable des droits de propriété intellectuelle dans l'écosystème des agents LLM.

Incitation au partage : En permettant aux créateurs de tracer l'utilisation de leurs données coûteuses, ACTHOOK encourage le partage d'ensembles de données de haute qualité, essentiels pour le progrès de la recherche.
Application des licences : La méthode offre un mécanisme technique pour faire respecter les restrictions (notamment non commerciales) des licences de données.
Nouveau paradigme de sécurité : Elle démontre que le filigranage des modèles d'agents doit évoluer au-delà du texte brut pour s'adapter à la nature séquentielle et interactive des agents, en exploitant les points de décision du modèle plutôt que ses sorties textuelles.

En conclusion, ACTHOOK propose une solution pratique, efficace et robuste pour sécuriser les données d'entraînement des agents LLM, comblant un vide critique dans la sécurité des données pour l'IA agentic.