Résumé Technique : Défendre contre les attaques d'injection de prompts adaptatives via l'alignement des tâches par le raisonnement

1. Énoncé du problème

Le papier traite de l'Injection de Prompt Indirecte (PI), une vulnérabilité de sécurité dans les agents basés sur les LLM où des adversaires intègrent des instructions malveillantes dans des données tierces (ex: pages web, réponses d'API) récupérées par l'agent. Contrairement au jailbreaking, où l'entrée de l'utilisateur est adversaire, la PI implique qu'une tâche utilisateur de confiance ($t_u$) soit détournée par des données non fiables ($o_t$) contenant une tâche adverse ($t_{adv}$).

Les auteurs identifient une lacune critique dans les défenses actuelles : bien que les méthodes existantes atteignent un faible taux de succès d'attaque (ASR) sur des benchmarks statiques, leur robustesse s'effondre face à des attaques adaptatives où l'attaquant optimise l'injection contre la défense déployée. Le papier attribue cet échec à deux modes spécifiques :

1. Échec au niveau de l'observation : Les défenses existantes (prompting, filtrage, connaissance secrète et approches basées sur l'entraînement) décident en fonction de la ressemblance d'une observation avec des schémas d'injection connus. Elles échouent à vérifier si la prochaine action de l'agent est réellement alignée avec la tâche utilisateur de confiance. Cela permet aux attaquants de reformuler les injections (ex: « Camouflage Lexical » ou « Continuation Fantôme ») pour contourner la reconnaissance de formes tout en préservant l'objectif de l'attaque.
2. Échec de l'entraînement adversaire (Effondrement de mode) : Les défenses basées sur l'entraînement utilisant des exemples adverses souffrent souvent d'un « effondrement de mode » (mode collapse). Même en utilisant des attaquants adaptatifs (ex: RL-Hammer), les exemples générés ont tendance à converger vers quelques stratégies de reformulation réussies. Par conséquent, le défenseur apprend à bloquer des templates spécifiques plutôt qu'à généraliser à l'espace plus large des stratégies d'injection, se laissant vulnérable à des tactiques de reformulation inédites.

2. Méthodologie : RETA

Les auteurs proposent RETA (REasoning-enabled Task Alignment - Alignement des tâches par le raisonnement), une défense en deux étapes basée sur l'entraînement, conçue pour imposer l'alignement des tâches par un raisonnement explicite et un entraînement adversaire diversifié.

Principes de conception

1. Raisonner sur l'alignement des tâches, pas sur les formes : Au lieu de détecter des schémas d'injection, le défenseur doit raisonner pour savoir si ses appels d'outils prévus ($c_{t+1}$) découlent logiquement de la tâche utilisateur de confiance ($t_u$).
2. Entraîner pour la couverture des stratégies : L'entraînement adversaire doit récompenser la découverte de stratégies diverses de reformulation de l'attaque, et non seulement des instances réussies d'une seule stratégie.
3. Apprentissage par renforcement adversaire (RL) : La défense est un problème de trajectoire. Le défenseur doit optimiser sur des déroulés complets pour assurer à la fois la sécurité (rejeter $t_{adv}$) et l'utilité (compléter $t_u$).

Étape I : Génération d'exemples adverses via le Red-Teaming

Cette étape génère un ensemble diversifié d'exemples adverses pour entraîner le défenseur.

• Politique de l'attaquant ($\pi_A$) : Un modèle attaquant génère des chaînes d'injection ($d_{adv}$) et une trace de raisonnement expliquant la stratégie de reformulation.
• Récompense de diversité par apprentissage de dictionnaire : Pour éviter l'effondrement de mode, le système maintient un dictionnaire de stratégies tournant.
  • Un LLM auxiliaire extrait un « enregistrement de stratégie » (nom et explication) de chaque injection réussie.
  • Un algorithme d'apprentissage de dictionnaire (utilisant le codage parcimonieux/sparse coding) apprend des primitives à partir de ces enregistrements.
  • Une nouvelle injection reçoit une récompense de diversité élevée si son enregistrement de stratégie est mal expliqué par le dictionnaire actuel (c'est-à-dire qu'elle représente une nouvelle stratégie d'attaque).
  • Le dictionnaire est rafraîchi périodiquement pour inclure les stratégies réussies sous-expliquées.
• Résultat : Un jeu de données ($D_{RT}$) d'attaques réussies et stratégiquement diverses est collecté.

Étape II : Apprentissage par renforcement adversaire

Cette étape entraîne la politique du défenseur ($\pi_D$) en utilisant le jeu de données de l'étape I.

• Initialisation : Le défenseur est d'abord affiné (SFT) sur des « cas limites » où il apprend à émettre un Raisonnement d'Alignement de Tâche ($\rho_t$) avant les appels d'outils. Ce raisonnement doit satisfaire deux conditions :
  • C1 : Identifier explicitement le contenu dans l'observation qui tente de rediriger l'agent.
  • C2 : Justifier que les appels d'outils prévus sont dérivables uniquement de la tâche utilisateur de confiance $t_u$.
• Optimisation par RL : Le défenseur est optimisé via la GDPO (Group reward-Decoupled Normalization Policy Optimization). La fonction de récompense combine :
  • Récompense de sécurité ($r_{sec}$) : 1 si la tâche adverse n'est pas complétée.
  • Récompense d'utilité ($r_{utl}$) : 1 si la tâche utilisateur est complétée.
  • Récompense de raisonnement ($r_{CoT}$) : Évaluée par un juge sur la base de la capacité du raisonnement généré à satisfaire C1 et C2.
• Objectif : La politique apprend à rejeter les tâches injectées tout en maintenant l'utilité, guidée par la trace de raisonnement explicite.

3. Contributions clés

1. Preuve empirique de la surestimation par les benchmarks statiques : Les auteurs démontrent que les benchmarks statiques surestiment considérablement la robustesse des défenses. Sur quatre paradigmes de défense (Prompting, Filtrage, Connaissance Secrète, Entraînement) et deux modèles, l'ASR a augmenté en moyenne de 15,8 points de pourcentage lors du passage des attaques statiques aux attaques adaptatives.
2. Identification des modes de défaillance structurels : Le papier isole deux causes profondes de cet écart :
   • Des décisions au niveau de l'observation qui ignorent l'alignement des tâches.
   • Des distributions d'entraînement adversaire manquant de couverture stratégique en raison de l'effondrement de mode.
3. Proposition de RETA : Un nouveau cadre de défense qui impose l'alignement des tâches via le raisonnement et utilise des récompenses de diversité basées sur l'apprentissage de dictionnaire pour assurer une large couverture des stratégies d'injection lors de l'entraînement.

4. Résultats

Les auteurs ont évalué RETA sur le benchmark AgentDojo en utilisant les modèles Qwen3-4B-Instruct et Llama-3.1-8B-Instruct contre six familles d'attaques adaptatives en boîte noire (incluant TAP, Strategy, Genetic Search, et RL-Hammer).

• Taux de succès d'attaque (ASR) : RETA a réduit l'ASR pour toutes les attaques adaptatives évaluées en dessous de 10 %.
  • ASR moyen sur Qwen3-4B : 2,92 %.
  • ASR moyen sur Llama-3.1-8B : 3,75 %.
• Préservation de l'utilité :
  • Utilité sous attaque (UA) : RETA a préservé la majeure partie de l'utilité sous attaque, surpassant nettement les bases qui sacrifient souvent la tâche utilisateur pour obtenir la sécurité.
  • Utilité bénigne (BU) : RETA a maintenu une haute performance sur les entrées propres, montrant une dégradation minimale par rapport aux modèles non défendus.
• Ablation : Les expériences ont confirmé que l'ajout du Raisonnement d'Alignement de Tâche (CoT) à l'entraînement adversaire réduisait considérablement l'ASR sur les données non vues (ex: de 40,0 % à 27,5 % contre Genetic Search) et rétablissait l'utilité bénigne.

5. Signification et affirmations

Le papier affirme que la robustesse statique est insuffisante contre les attaquants adaptatifs dans le contexte de l'injection de prompt indirecte. Il soutient que le domaine doit passer de la « reconnaissance de formes » à la « vérification de l'alignement des tâches ».

La signification de RETA réside dans sa capacité à :

• Généraliser au-delà des templates d'injection spécifiques en s'entraînant sur des exemples adverses stratégiquement diversifiés.
• Imposer l'intégrité de la tâche en exigeant que l'agent justifie ses actions par rapport à la tâche utilisateur de confiance, plutôt que de simplement filtrer le texte suspect.
• Atteindre un compromis sécurité-utilité supérieur, en bloquant avec succès les attaques adaptatives sans sacrifier la capacité de l'agent à accomplir des tâches légitimes.

Les auteurs présentent modestement leur travail comme une solution aux modes de défaillance spécifiques des défenses actuelles, notant que bien que RETA performe bien contre les attaques adaptatives testées, le problème de la PI reste un domaine de recherche actif où les attaquants pourraient continuer d'évoluer.