Stop Fixating on Prompts: Reasoning Hijacking and Constraint Tightening for Red-Teaming LLM Agents

1. Problématique et Contexte

L'adoption croissante des agents basés sur les grands modèles de langage (LLM) dans des domaines critiques (analyse vidéo, support clinique, systèmes de questions-réponses) a introduit de nouvelles surfaces d'attaque. Contrairement aux LLMs classiques, les agents possèdent des mécanismes complexes tels que la planification, l'appel d'outils et une mémoire à long terme.

Les méthodes de "red-teaming" (tests d'intrusion) existantes souffrent de plusieurs limitations majeures :

• Dépendance aux prompts : La plupart des techniques reposent sur la modification explicite des invites utilisateur (prompt engineering, réécriture, masquage), ce qui altère l'intention originale et rend l'attaque détectable.
• Manque d'adaptabilité : Les attaques sont souvent spécifiques à un jeu de données ou un modèle, échouant à généraliser sur de nouveaux scénarios ou agents.
• Dégradation des performances : Les méthodes actuelles perturbent souvent le comportement légitime de l'agent, réduisant son utilité pratique et facilitant sa détection par les mécanismes de défense.

L'objectif est de développer une méthode capable de contourner les filtres de sécurité d'un agent sans modifier l'invite utilisateur initiale, en manipulant implicitement le processus de raisonnement et la récupération de mémoire.

2. Méthodologie : Le Framework JailAgent

JailAgent propose une approche novatrice en trois étapes qui évite toute modification du prompt utilisateur. Au lieu de cela, elle exploite un modèle "ombre" (shadow model) pour apprendre les préférences décisionnelles de l'agent cible et manipuler ses trajectoires de raisonnement.

A. Extraction des Déclencheurs (Trigger Extraction)

Cette étape vise à identifier les tokens ou groupes de mots ayant le plus d'impact sur la sortie du modèle, sans altérer la structure sémantique de l'entrée.

• Alignement syntaxique et subword : Utilisation de BERT (WordPiece) pour mapper les phrases (groupes syntaxiques) sur des unités de sous-mots.
• Analyse d'importance hiérarchique : Une approche "du grossier au fin" (coarse-to-fine) est utilisée :
  1. Niveau groupe : Masquage de phrases entières pour mesurer la chute de probabilité log (log-probability drop) et la divergence KL (Kullback-Leibler) par étapes.
  2. Niveau token : Affinement au sein des groupes les plus critiques pour identifier les tokens spécifiques contribuant le plus à la décision.
• Résultat : Une liste de "déclencheurs à haute contribution" ($T_{hc}$) qui sont sémantiquement cohérents avec l'invite mais stratégiquement puissants.

B. Détournement du Raisonnement (Reasoning Hijacking)

Cette phase manipule le processus de génération de l'agent en injectant des données empoisonnées dans sa mémoire ou en réorientant ses choix.

• Usine de données (Data Factory) : Génération automatique de triplets $(contexte, réponse\_empoisonnée^+, réponse\_bénigne^-)$ pour entraîner un modèle de réordonnancement (Reranker). Les réponses empoisonnées sont générées en utilisant les déclencheurs identifiés.
• Modèle Reranker adaptatif : Un modèle de réordonnancement (Encoder SentenceTransformer + tête de scoring MLP) est entraîné en temps réel pour classer les réponses candidates. Il apprend à favoriser les réponses qui suivent une trajectoire de raisonnement manipulée par les déclencheurs, tout en ignorant les réponses bénignes.
• Mécanisme : Lors de l'inférence, l'agent génère plusieurs candidats, et le Reranker sélectionne celui qui correspond le mieux à l'attaque, effectuant ainsi un "détournement" du processus de décision.

C. Renforcement des Contraintes (Constraint Tightening)

Pour garantir que les déclencheurs soient efficaces, généralisables et stables, quatre fonctions de perte (loss functions) sont optimisées conjointement sur les embeddings des déclencheurs :

1. Perte de Spécificité (Particularity Loss) : Éloigne les déclencheurs des clusters de données bénignes dans l'espace sémantique.
2. Perte de Clustering (Clustering Loss) : Assure la compacité des embeddings des tokens du déclencheur pour éviter la dispersion sémantique.
3. Perte de Séparabilité (Separability Loss) : Maximise le taux de récupération des cibles empoisonnées tout en minimisant les faux positifs sur les données bénignes.
4. Perte de Marge (Margin Loss) : Garantit une marge de discrimination claire entre l'entrée toxique et les entrées normales.

3. Contributions Clés

1. JailAgent : Un cadre de red-teaming qui n'altère jamais l'invite utilisateur originale, contournant ainsi les filtres basés sur la détection de prompts malveillants.
2. Manipulation Implicite : Capacité à manipuler la trajectoire de raisonnement et la récupération de mémoire via un mécanisme de réordonnancement adaptatif et un modèle ombre.
3. Optimisation Conjointe : Introduction de quatre objectifs de perte complémentaires pour stabiliser les déclencheurs dans l'espace sémantique, améliorant la robustesse et la généralisation.
4. Évaluation Systématique : Une validation rigoureuse sur 3 types d'agents (VideoAgent, ReAct-UALA, EHRAgent), 7 cœurs LLM (GPT-3.5 à GPT-5, Llama, Claude, etc.) et 8 jeux de données.

4. Résultats Expérimentaux

Les expériences démontrent la supériorité de JailAgent par rapport aux méthodes de base (PAIR, AgentPoison, BadChain) :

• Taux de Succès (ASR) : JailAgent obtient des taux de réussite significativement plus élevés. Par exemple, sur ReAct-UALA avec GPT-5, il surpasse AgentPoison de +21,97 % (ASR-R), +23,69 % (ASR-L) et +20,58 % (ASR-H).
• Performance de l'Agent : Contrairement aux autres méthodes qui dégradent souvent la performance de l'agent (précision, taux de complétion), JailAgent maintient des performances quasi identiques à l'état "Non-attack" (Non-attaque), rendant l'attaque plus furtive.
• Efficacité : JailAgent présente un coût temporel par attaque réussie (TCPS) inférieur de 29 % à 86 % par rapport aux méthodes concurrentes.
• Robustesse : L'approche résiste mieux aux mécanismes de défense courants (filtres de perplexité, RA-LLM) car elle ne modifie pas la structure textuelle de l'invite.

5. Signification et Limites

Signification :
Ce travail marque un changement de paradigme dans la sécurité des agents LLM. Il démontre que la sécurité ne peut plus se reposer uniquement sur la détection de prompts malveillants, car des attaques peuvent être orchestrées en manipulant les mécanismes internes de raisonnement et de mémoire sans toucher au texte d'entrée. JailAgent fournit un outil essentiel pour évaluer la robustesse des agents autonomes avant leur déploiement dans des environnements réels.

Limites :

• Dépendance au modèle ombre : L'efficacité repose sur l'accès à un modèle ombre avec accès aux log-probabilités, ce qui peut limiter l'efficacité dans des scénarios entièrement "boîte noire".
• Surcharge computationnelle : Le mécanisme d'adaptation en temps réel (entraînement du Reranker) introduit une latence potentielle.
• Scénarios dynamiques : La validation a été faite sur des tâches prédéfinies ; l'adaptation à des environnements d'application hautement dynamiques et changeants nécessite des recherches futures.

En conclusion, JailAgent révèle des vulnérabilités profondes dans les architectures d'agents LLM, soulignant la nécessité de développer des défenses qui protègent non seulement les entrées, mais aussi les processus de raisonnement et de mémoire interne.