Résumé Technique : Apprendre à injecter : Injection de prompts automatisée via l'apprentissage par renforcement

Définition du Problème

L'injection de prompt représente une vulnérabilité critique pour les agents basés sur les Grands Modèles de Langage (LLM), où des instructions adverses intégrées dans un contenu externe (par exemple, des e-mails, des documents) détournent le comportement de l'agent pour exécuter des actions non autorisées ou exfiltrer des données. Bien que les attaques de type "jailbreak" automatisées aient progressé, elles reposent sur l'optimisation de la « conformité » (par exemple, générer un préfixe affirmatif comme « Bien sûr, je peux vous aider »). En revanche, l'injection de prompt nécessite que le modèle émette un appel d'outil spécifique avec une correspondance exacte des paramètres (par exemple, send_email(to="attacker@evil.com")).

Cette distinction crée un défi d'optimisation fondamental :

1. Récompenses discrètes et éparses : Le signal de succès est binaire (0 ou 1). L'échantillonnage aléire de suffixes ne déclenche presque jamais l'appel d'outil spécifique, laissant les optimiseurs standards sans gradient à suivre.
2. Inadéquation des objectifs : Les méthodes existantes de jailbreak automatisé (comme GCG ou TAP) optimisent la conformité, ce qui est un piètre indicateur de l'exécution précise des appels d'outils requis dans les attaques d'injection.
3. Dépendance à l'effort manuel : Les méthodes efficaces actuelles dépendent encore fortement de red-teamers humains et de prompts conçus à la main, ce qui limite l'extensibilité.

Méthodologie : AutoInject

Les auteurs proposent AutoInject, un cadre d'apprentissage par renforcement (RL) en boîte noire conçu pour apprendre des suffixes d'injection de prompt. L'innovation centrale réside dans la conversion du signal de succès binaire et épars en une récompense dense et apprenable, adaptée à l'optimisation par RL.

1. Formulation du Problème

La génération d'attaque est modélisée comme un processus de décision de Markov (MDP) :

• État : L'objectif d'injection, le contexte de la tâche de l'utilisateur et les tokens générés jusqu'à présent.
• Action : Sélection du prochain token à partir du vocabulaire.
• Récompense : Un score composite délivré uniquement à la fin d'un épisode, composé de :
  • $r_{sec}$ : Score de sécurité (1 si l'objectif injecté est exécuté, 0 sinon).
  • $r_{util}$ : Score d'utilité (1 si la tâche originale de l'utilisateur est accomplie, 0 sinon).
  • $r_{pref}$ : Un score de feedback basé sur la comparaison, de type dense.

2. Récompense Dense via un Feedback Basé sur la Comparaison

Pour remédier à la rareté des récompenses, AutoInject introduit un modèle de feedback basé sur la comparaison appris.

• Mécanisme : Le système maintient un suffixe de référence ($x^*$), le meilleur suffixe performant observé à ce jour. Pour chaque nouveau suffixe candidat ($x$), un modèle de feedback (un LLM) est interrogé avec l'objectif d'injection, le contexte, et les deux suffixes.
• Processus : Le modèle de feedback effectue un raisonnement de type "chaîne de pensée" (chain-of-thought) pour déterminer quel suffixe est le plus susceptible de réussir, en produissant un label de préférence binaire.
• Extraction du Signal : Les log-probabilités des tokens du label sont extraites et normalisées pour produire un score de préférence continu ($r_{pref}$).
• Valeur : Même si le candidat et la référence échouent tous deux à exécuter l'injection, le modèle de feedback peut attribuer un score plus élevé au candidat s'il semble plus plausible ou mieux aligné avec l'objectif. Cela fournit un signal dense et monotone qui guide l'agent de RL à travers de longues périodes de récompense de sécurité nulle.

3. Optimisation de la Politique

La politique d'attaque est entraînée en utilisant l'Optimisation de Politique Relative de Groupe (GRPO) sur un modèle de 1,5 milliard de paramètres (Qwen2.5-1.5B).

• Avantage Relatif : Au lieu d'apprendre une fonction de valeur absolue, GRPO échantillonne un groupe de $K$ complétions pour le même intrant et calcule les avantages relatifs basés sur leurs récompenses composites.
• Récompense Composite : $R = \alpha \cdot r_{sec} + \beta \cdot r_{util} + \gamma \cdot r_{pref}$. Le poids $\gamma$ pour le feedback de comparaison est programmé de manière dynamique, commençant haut pour fournir des gradients initiaux et diminuant à mesure que les signaux de succès réels ($r_{sec}$) deviennent disponibles.
• Modes d'Attaque : Le cadre prend en charge :
  • Attaques en ligne basées sur les requêtes : Optimisation dans le cadre d'un budget de requêtes pour une cible spécifique.
  • Suffixes transférables hors ligne : Entraînement sur des tâches/modèles de substitution et transfert du suffixe appris vers des cibles non vues sans nécessiter d'accès à l'utilité lors du déploiement.

Contributions Clés

1. Formulation RL pour l'Injection : Une nouvelle approche de RL qui convertit le signal d'injection de prompt binaire en une récompense dense via un feedback de comparaison appris, permettant une optimisation GRPO efficace là où les méthodes standards échouent.
2. Capacité d'Attaque Duale : Un cadre unifié supportant à la fois l'optimisation en ligne basée sur les requêtes et les suffixes transférables entraînés hors ligne qui ne nécessitent aucun accès à l'utilité lors du déploiement.
3. Évaluation Complète : Tests étendus sur le benchmark AgentDojo sur sept modèles de production (incluant GPT-5-nano, Claude-3.5-Sonnet et Gemini-2.5-Flash) ainsi qu'un modèle de défense spécialisé (Meta-SecAlign-70B).
4. Préservation de l'Utilité : Démonstration que la politique apprise peut maximiser le succès de l'attaque tout en préservant ou en améliorant l'utilité de la tâche originale de l'utilisateur, contrairement à de nombreuses attaques basées sur des templates qui perturbent le comportement de l'agent.

Résultats Expérimentaux

Évalué sur le benchmark AgentDojo, AutoInject démontre des améliorations statistiquement significatives (test de McNemar, $p < 0,05$) par rapport aux lignes de base existantes :

• vs Attaques par Templates : AutoInject surpasse significativement les templates créés par l'humain (ex: "Direct", "Ignore Previous"). Sur Gemini-2.5-Flash, AutoInject a atteint un taux de succès d'attaque (ASR) de 58,00 % contre un pic de 23,60 % pour les templates.
• vs Lignes de Base Basées sur l'Optimisation : Il surpasse GCG, TAP, les attaques adaptatives aléatoires et la recherche évolutionnaire. Notamment, sur le modèle robuste GPT-5-nano, AutoInject a atteint un ASR de 11,49 %, alors que le meilleur template n'a réussi que 1,60 %.
• Préservation de l'Utilité : Dans de nombreux cas, l'« Utilité sous Attaque » d'AutoInject a dépassé la ligne de base bénigne (ex: 90,20 % contre 80,41 % sur GPT-5-nano), indiquant que les suffixes appris exécutent l'injection avec succès sans perturber la fonction primaire de l'agent.
• Évasion de Défense : Contre Meta-SecAlign-70B (un modèle spécifiquement affiné pour résister à l'injection de prompt), les attaques par template ont totalement échoué (0 % ASR), tandis qu'AutoInject a atteint 21,88 % d'ASR.
• Transférabilité : Les suffixes appris ont été transférés avec succès vers des modèles et des tâches non vus. Dans les scénarios de transfert inter-tâches, AutoInject a nettement surpassé la ligne de base de transfert RL-Hammer sur quatre des cinq modèles cibles, malgré un nombre de requêtes d'entraînement nettement inférieur (260 contre 3 900).

Signification et Revendications

L'article établit un niveau de référence automatisé pour l'injection de prompt, révélant un fossé critique entre les défenses actuelles basées sur les préférences et les attaquants adaptatifs basés sur l'optimisation.

• Limites des Défenses Statiques : Les résultats suggèrent que les défenses reposant sur la correspondance de motifs statiques ou l'optimisation de préférence (comme Meta-SecAlign) sont insuffisantes face à une optimisation structurée et adaptative. Les auteurs notent que si ces défenses neutralisent les templates connus, elles échouent face aux suffixes appris qui exploitent des vulnérabilités différentes.
• Le Phénomène "Allelujah" : L'étude a observé des motifs de tokens récurrents et apparemment dépourvus de sens (ex: "allelujah") dans les suffixes réussis qui se transféraient entre les modèles, suggérant la découverte de régularités statistiques dans les données de pré-entraînement qui corrèlent avec les comportements de conformité.
• Implications pour la Sécurité : Les auteurs soutiennent que les stratégies d'injection automatisées et préservant l'utilité représentent un vecteur de menace plus dangereux que les attaques perturbatrices, car elles permettent aux adversaires de compromettre les agents à l'insu de l'utilisateur. Ils concluent que les paradigmes défensifs doivent évoluer pour tenir compte de ces stratégies automatisées et adaptatives, nécessitant potentiellement des changements architecturaux comme le mode "planifier puis exécuter" ou des défenses basées sur la délibération qui demandent la confirmation de l'utilisateur pour les opérations sensibles.

L'article ne prétend pas résoudre la vulnérabilité, mais vise plutôt à exposer l'insuffisance des défenses automatisées actuelles face aux attaques pilotées par le RL, exhortant la communauté à développer des mesures de sécurité plus robustes et adaptatives.