Résumé Technique : Filigranage Comportemental Séquentiel pour les Agents LLM (SeqWM)

1. Énoncé du Problème

Les agents de Modèles de Langage (LLM) ont évolué de générateurs de texte vers des décideurs autonomes capables de planifier, d'invoquer des outils et d'interagir avec des environnements externes. Ce changement crée un fossé critique en matière de provenance : tandis que la propriété intellectuelle de ces agents réside dans leurs capacités de prise de décision (acquises via un post-entraînement coûteux sur des données de trajectoire), les trajectoires elles-mêmes sont des actifs précieux, vulnérables aux attaques de réplication et d'imitation non autorisées.

Les solutions de filigranage existantes pour les LLM fonctionnent principalement au niveau des tokens, en biaisant l'échantillonnage des tokens du vocabulaire. Cependant, cette approche échoue pour les agents pour deux raisons :

1. Unités inadaptées : Les décisions de haut niveau des agents (par exemple, « appeler l'outil X ») se réalisent à travers de nombreux tokens. Un biais au niveau des tokens dilue le signal avant qu'il n'influence l'action réelle.
2. Limites d'observabilité : Dans de nombreux systèmes d'agents déployés (82,8 % des plateformes interrogées), les traces de raisonnement internes et les tokens intermédiaires sont cachés ; les détecteurs n'observent que le flux d'actions final. Par conséquent, les signaux au niveau des tokens sont rejetés avant la vérification.

Les tentatives récentes de filigranage comportemental traitent chaque étape d'action comme un essai indépendant, ensemencant souvent les filigranes sur la base d'indices de tour absolus. Cette approche est fragile : si une trajectoire est tronquée, supprimée ou observée sans alignement parfait, l'indice se décale, provoquant un désalignement du détecteur par rapport à la logique du filigrane et rendant l'ensemble de la séquence indétectable.

2. Méthodologie : SeqWM

Les auteurs proposent SeqWM, un cadre qui intègre les signaux de filigrane dans des modèles de transition conditionnés par l'historique plutôt que dans les fréquences marginales d'actions ou les positions absolues. La méthode se compose de trois composants principaux :

A. Encodage Multi-Canal Conditionné par l'Historique

Au lieu d'utiliser l'indice de l'étape absolue $t$ pour ensemencer le filigrane, SeqWM utilise une fenêtre d'actions précédentes $c_t = (b_{t-w}, \dots, b_{t-1})$ comme graine.

• Mécanisme : Pour une clé secrète $K$, le système dérive un sous-ensemble pseudo-aléatoire d'actions candidates $B^{(j)}_{g,t}$ pour chacun des $m$ canaux indépendants en utilisant une fonction de hachage à clé : $B^{(j)}_{g,t} = G_K(c_t \parallel j)$.
• Biaisage : La distribution d'action de l'agent $P_t$ est modifiée en une distribution filigranée $P^{wm}_t$ via un basculement exponentiel basé sur un score multi-canal $s_t(b)$, qui compte combien de canaux favorisent une action spécifique $b$.
• Effet : Le filigrane biaise la transition conditionnelle $P(b_t | c_t)$ plutôt que la fréquence marginale de $b_t$. Cela garantit que le signal survit même si un adversaire correspond à la distribution marginale.

B. Détection par Fenêtre Glissante

Le détecteur fonctionne de manière agnostique à la position. Il ne repose pas sur la connaissance de l'indice d'étape absolu de la séquence observée.

• Mécanisme : Le détecteur fait glisser une fenêtre de taille $w$ sur la séquence d'actions observée $\hat{b}$. Pour chaque sous-chaîne de longueur $w$, il vérifie si l'action subséquente correspond au sous-ensemble guidé dérivé de cet historique spécifique et de la clé secrète.
• Robustesse : Parce que la même fenêtre d'historique produit de manière déterministe le même sous-ensemble guidé indépendamment de sa position absolue, le détecteur peut agréger des preuves de n'importe quelle transition valide dans une séquence tronquée ou corrompue. Cela contraste avec les détecteurs indexés par tour, où une seule suppression décale tous les indices subséquents, provoquant un désalignement global.

C. Calibration par Clé Aléatoire

Les tests statistiques standards (par exemple, les tests $z$ binomiaux) supposent l'indépendance entre les indicateurs de détection, ce qui est invalide ici en raison de la nature séquentielle du comportement des agents et des fenêtres qui se chevauchent.

• Solution : Le cadre construit une distribution nulle empirique en utilisant la séquence observée elle-même. Il calcule le score de détection en utilisant la vraie clé $K$ et le compare aux scores générés en utilisant $M$ clés « fausses » aléatoires $K_r$.
• Validité : Puisque les mauvaises clés préservent les dépendances naturelles de la séquence mais effacent l'alignement du filigrane, la valeur $p$ résultante est libre de distribution et valide même en cas de corruption adversaire (suppression, troncation).

3. Contributions Clés

1. Cadrage : L'article reformule le filigranage des agents comme un problème de codage séquentiel, identifiant une asymétrie : la génération est enchaînée par l'historique, mais la vérification peut agréger des preuves de transition locales sans reconstruire la chaîne.
2. Méthode : Introduction de SeqWM, qui combine un encodage conditionné par l'historique, une détection par fenêtre glissante et une calibration par clé aléatoire pour atteindre une vérification agnostique à la position.
3. Théorie : Analyse théorique prouvant que si la détection indexée par tour s'effondre sous l'effet des suppressions (longueur attendue du préfixe aligné $O(1/\rho)$), la détection par fenêtre glissante ne subit qu'une perte locale et additive de preuves ($d(w+1)m$ indicateurs), préservant ainsi la puissance de détection.
4. Évaluation Empirique : Expériences extensives sur trois benchmarks (ToolBench, ALFWorld, OASIS) et trois architectures de LLM (Gemma, LLaMA, Qwen).

4. Résultats Expérimentaux

• Fiabilité de Détection : SeqWM atteint systématiquement une détection statistiquement significative ($p < 0.01$) sur tous les modèles et benchmarks, tandis que les méthodes de référence (AgentGuide, AgentMark) échouent fréquemment à se distinguer de l'hypothèse nulle, en particulier dans OASIS et avec certains LLM.
• Robustesse aux Suppressions : Sous des taux de suppression d'actions aléatoires allant jusqu'à 50 %, SeqWM maintient des taux de vrais positifs (TPR) élevés. En revanche, les méthodes de référence indexées par tour (AgentGuide) s'effondrent immédiatement après de faibles taux de suppression en raison du désalignement des indices.
• Préservation de l'Utilité : Le processus de filigranage préserve l'utilité de l'agent. La force du biais ($\gamma$) peut être ajustée (par exemple, $\gamma=2.0$) pour obtenir une détection fiable sans dégrader significativement les performances de la tâche.
• Nécessité du Multi-Canal : Les études d'ablation montrent que les variantes à canal unique échouent à fournir une détection fiable même avec une forte intensité de biais, confirmant que des canaux redondants sont essentiels pour accumuler des preuves suffisantes sur toute la trajectoire.

5. Signification et Revendications

L'article revendique que la structure séquentielle n'est pas simplement une gêne dans le filigranage des agents, mais un vecteur puissant de signaux de provenance. En déplaçant le filigrane des statistiques par étape vers des modèles de transition conditionnels, SeqWM résout le problème d'alignement inhérent aux méthodes précédentes de filigranage comportemental.

Les auteurs positionnent SeqWM comme un bilan positif pour la responsabilité et l'audit a posteriori dans les déploiements d'agents autonomes. Ils soulignent que leur approche fait de la corruption de trajectoire (suppression, troncation) une source locale de perte de preuves plutôt qu'un échec global du détecteur. Le travail suggère que l'extension de cette perspective à des attaques adaptatives plus fortes et à des modifications de trajectoire au niveau sémantique est une direction nécessaire pour la recherche future, mais que la contribution actuelle établit une fondation robuste et agnostique à la position pour la vérification de la provenance des agents.