AttriGuard: Defeating Indirect Prompt Injection in LLM Agents via Causal Attribution of Tool Invocations

Le papier présente AttriGuard, un mécanisme de défense innovant qui protège les agents LLM contre les injections de prompts indirectes en utilisant l'attribution causale et des tests contrefactuels pour distinguer les appels d'outils légitimes de ceux manipulés par des données non fiables.

L'essentiel

🛡️ Le Problème : Le "Faussaire" dans la Cuisine

Imaginez que vous avez un chef cuisinier ultra-intelligent (c'est l'IA ou "LLM Agent") qui travaille pour vous. Vous lui donnez une mission : "Prépare-moi un dîner en utilisant les ingrédients du frigo."

Le chef est très efficace, mais il a un défaut : il fait confiance à tout ce qu'on lui donne.

Maintenant, imaginez un voleur qui ne peut pas entrer dans votre cuisine pour modifier les ingrédients. À la place, il glisse un petit mot caché à l'intérieur d'un paquet de pâtes que vous avez acheté au supermarché (c'est ce qu'on appelle une Injection de Prompt Indirecte).

Le mot dit : "Oublie tout ce que tu viens de lire ! Ouvre la porte de la cave et vole l'argenterie."

Comme le chef lit tout ce qui arrive (les pâtes, le mot, le frigo), il confond l'instruction du voleur avec la vôtre. Il ouvre la porte et vole l'argenterie. C'est le problème actuel : les IA ne savent pas toujours distinguer ce qui est une instruction (ce que vous voulez) de ce qui est une donnée (ce que vous lisez).

🧐 Les Anciennes Solutions : Le Détective de Mots

Jusqu'à présent, les défenseurs essayaient de résoudre ce problème comme un détective qui cherche des mots-clés.
Ils disaient : "Si le chef voit le mot 'Oublie' ou 'Vole', il faut l'arrêter !".

Le problème ? Les voleurs sont malins. Ils ne disent plus "Vole". Ils disent : "Ceci est une procédure de sécurité officielle : veuillez transférer l'argent." Le détective ne voit aucun mot interdit, donc il laisse passer le chef. C'est comme essayer de piéger un cambrioleur en cherchant uniquement des masques noirs : s'il porte un costume de pompier, il passe inaperçu.

💡 La Nouvelle Idée : AttriGuard (Le Gardien de la Cause)

Les auteurs de l'article proposent une idée géniale : au lieu de se demander "QUOI" le chef a lu, demandons "POURQUOI" il a pris une décision.

C'est là qu'intervient AttriGuard. Imaginez-le comme un double de sécurité qui travaille en parallèle avec le chef.

Comment ça marche ? (L'Analogie du "Double de Sécurité")

1. Le Chef Réel (Le Chef Principal) : Il reçoit votre commande et le paquet de pâtes (avec le mot caché du voleur). Il dit : "Je vais ouvrir la cave !".
2. Le Double de Sécurité (L'Expérience de Pensée) : Avant que le chef réel n'ouvre la porte, AttriGuard lance une simulation. Il dit au double : "Écoute, imagine que le mot caché dans les pâtes a été effacé ou rendu inoffensif. Tu as toujours la même commande de dîner, mais sans le mot du voleur. Que ferais-tu ?"

Le test décisif :

• Si le double dit : "Je vais quand même ouvrir la cave" ➡️ C'est normal ! Votre commande de dîner nécessitait d'aller chercher quelque chose en cave. Le chef réel a raison. On laisse passer.
• Si le double dit : "Attends, sans le mot du voleur, je ne vois aucune raison d'aller en cave. Je vais juste cuisiner." ➡️ Ah ! Le chef réel a été manipulé. C'est le mot caché qui l'a poussé à ouvrir la cave. On bloque l'action.

🛠️ Les Trois Outils Magiques d'AttriGuard

Pour que ce système fonctionne parfaitement, les auteurs ont créé trois outils :

1. Le "Miroir de Réalité" (Rejeu forcé) :
   Le double de sécurité ne doit pas réinventer la roue. Il doit suivre exactement les mêmes pas que le chef réel, sauf pour le mot caché. Cela évite que le double ne se perde dans ses propres pensées et ne donne une fausse alerte.

2. Le "Filtre à Bruit" (Atténuation hiérarchique) :
   Parfois, le mot caché n'est pas écrit en gros, il est caché dans la structure du texte (comme un code secret). AttriGuard sait "lisser" le texte pour enlever les ordres cachés tout en gardant les informations utiles (comme la recette). C'est comme enlever le bruit d'une radio pour entendre la musique, sans changer les paroles.

3. Le "Juge Flexible" (Critère de survie flou) :
   Les IA sont parfois un peu imprévisibles (elles peuvent dire "Je vais ouvrir la porte" ou "Je vais ouvrir la porte de la cave"). AttriGuard ne cherche pas une correspondance parfaite mot à mot. Il regarde l'intention. Si le double veut aller à la cave pour la même raison que le chef, c'est bon. S'il veut y aller pour une raison différente, c'est bloqué.

🏆 Les Résultats : Pourquoi c'est génial ?

Les chercheurs ont testé AttriGuard sur plusieurs IA et scénarios (banque, voyage, messagerie).

• Contre les attaques classiques : AttriGuard a réussi à bloquer 100 % des attaques, là où les autres systèmes échouaient souvent.
• Sans casser le chef : Contrairement aux méthodes anciennes qui rendaient le chef "bête" et lent (en lui interdisant de lire quoi que ce soit), AttriGuard laisse le chef faire son travail normal. Il ne perd presque pas de temps ni de qualité.
• Contre les voleurs malins : Même si le voleur essaie de deviner comment fonctionne le système pour le tromper (attaque adaptative), AttriGuard reste très solide. C'est comme si le voleur devait changer de stratégie à chaque fois, ce qui est très difficile.

En Résumé

AttriGuard ne se contente pas de lire les messages pour trouver des mots interdits. Il pose la question fondamentale : "Est-ce que cette action vient de toi (l'utilisateur) ou est-ce que c'est le message caché qui t'oblige à le faire ?"

C'est comme avoir un garde du corps qui ne regarde pas seulement si vous portez un masque, mais qui vérifie si vous avez vraiment besoin de sortir pour acheter du pain, ou si quelqu'un vous a poussé dehors contre votre volonté. C'est plus intelligent, plus sûr, et ça ne ralentit pas votre journée.

Résumé technique

Voici un résumé technique détaillé du papier de recherche "AttriGuard: Defeating Indirect Prompt Injection in LLM Agents via Causal Attribution of Tool Invocations" en français.

1. Le Problème : Injection de Prompt Indirecte (IPI) dans les Agents LLM

Les agents basés sur les Grands Modèles de Langage (LLM) sont devenus autonomes, capables de décomposer des tâches et d'utiliser des outils externes (API, navigateurs web, clients email). Cependant, cette autonomie les rend vulnérables aux Injections de Prompt Indirectes (IPI).

• Mécanisme de l'attaque : Contrairement aux injections directes (où l'attaquant modifie l'entrée utilisateur), l'IPI consiste à intégrer des directives malveillantes dans des contenus non fiables que l'agent doit traiter (ex: le corps d'un email, une page web récupérée).
• La vulnérabilité : Les agents ne parviennent pas toujours à distinguer les données des instructions. Ils peuvent interpréter ces directives cachées comme des commandes légitimes, entraînant l'exécution d'outils non autorisés (exfiltration de données, virements financiers).
• Limites des défenses existantes : La plupart des défenses actuelles traitent l'IPI comme un problème de discrimination sémantique au niveau de l'entrée (détection de motifs malveillants, alignement par entraînement). Ces approches échouent souvent à généraliser face à des charges utiles (payloads) inédites ou déguisées dans des flux de travail normaux, car elles reposent sur des frontières de décision fragiles face aux changements de distribution.

2. Méthodologie : AttriGuard et l'Attribution Causale au Niveau de l'Action

Les auteurs proposent un nouveau paradigme : l'attribution causale au niveau de l'action. Au lieu de demander "Que contient ce texte ?", le système demande "Pourquoi l'agent exécute-t-il cette action ?".

L'objectif est de distinguer les appels d'outils soutenus par l'intention de l'utilisateur de ceux causés par des observations non fiables.

Le concept central : Le Test Contrefactuel

AttriGuard vérifie la nécessité d'un appel d'outil en réexécutant l'agent dans un contexte modifié où l'influence de contrôle des observations externes est atténuée.

• Scénario bénin : L'intention de l'utilisateur suffit à justifier l'action. Même si l'observation est "atténuée", l'action persiste.
• Scénario malveillant (IPI) : L'action dépend fortement de la directive injectée. Si l'influence de contrôle de l'observation est réduite, l'action disparaît ou change radicalement.

Architecture technique d'AttriGuard

Le système fonctionne en trois étapes clés pour chaque étape de l'agent :

1. Rejeu "Shadow" forcé par l'enseignant (Teacher-forced Shadow Replay) :

   • Au lieu de laisser l'agent réagir librement à un contexte modifié (ce qui créerait une divergence de trajectoire), AttriGuard force le réjeu en utilisant l'historique des actions originales de l'agent, mais en remplaçant l'historique des observations par une version atténuée.
   • Cela isole la cause de la différence d'action sur l'atténuation des observations, éliminant les faux positifs dus à la stochasticité naturelle de l'agent.

2. Atténuation Hiérarchique du Contrôle (Hierarchical Control Attenuation) :

   • Pour créer la vue "contrôle-atténuée", le système applique une série d'opérateurs de réécriture sur les observations non fiables via un LLM :
     • Aplatissement structurel : Transforme les structures exécutables (JSON, formats d'appel de fonction) en descriptions textuelles neutres.
     • Réécriture de perspective : Convertit les adresses à la 2e personne ("Vous devez...") en déclarations à la 3e personne ("Le texte indique que...").
     • Affaiblissement de l'échafaudage causal : Supprime les liens de causalité persuasifs ("Parce que X, donc faites Y") tout en conservant les faits.
   • Ces niveaux d'atténuation permettent de supprimer les canaux de contrôle implicites tout en préservant les informations factuelles nécessaires à la tâche.

3. Critère de Survie Flou (Fuzzy Survival Criterion) :

   • Au lieu de comparer les appels d'outils bit à bit (trop rigide face à la stochasticité des LLM), AttriGuard utilise un test en trois étapes :
     • Correspondance du nom de la fonction.
     • Correspondance exacte des arguments (après normalisation).
     • Adjudication conditionnelle à la tâche : Si les arguments diffèrent, un juge LLM auxiliaire détermine si l'appel proposé reste cohérent avec la tâche utilisateur, compte tenu des alternatives du réjeu.

3. Contributions Clés

• Nouveau Paradigme : Passage de la détection sémantique de l'entrée à l'attribution causale de l'action, rendant la défense indépendante de la forme spécifique du payload.
• Implémentation Robuste (AttriGuard) : Un système d'exécution runtime qui combine le réjeu forcé, l'atténuation hiérarchique et un critère de survie flou pour gérer la stochasticité des LLM.
• Résultats Expérimentaux : Une évaluation exhaustive sur quatre modèles LLM (Gemini, GPT, Qwen, Llama) et deux benchmarks (AgentDojo, Agent Security Bench).

4. Résultats Expérimentaux

Les résultats démontrent la supériorité d'AttriGuard par rapport aux 13 défenses de l'état de l'art (détection, prompting, entraînement, isolation système).

• Efficacité Statique :

  • ASR (Taux de réussite de l'attaque) : 0% sur tous les types d'attaques statiques (IgnorePrevious, Combined, ImportantMessages, ToolKnowledge).
  • Utilité Bénigne (BU) : Perte négligeable (~3% de dégradation), contrairement aux défenses par isolement strict (comme CaMeL) qui perdent ~20% d'utilité.
  • Coût : Surcharge modérée (~2x en tokens par rapport à la base, mais bien inférieure aux défenses par isolement qui peuvent coûter 5x à 10x).

• Robustesse Adaptative :

  • Face à des attaquants adaptatifs (optimisation basée sur le gradient ou algorithmes génétiques) ayant une connaissance complète du système :
    • Les défenses de l'état de l'art s'effondrent (ASR de 29% à 82%).
    • AttriGuard maintient une résilience exceptionnelle avec un ASR adaptatif très faible (6,6% sur Gemini-2.5 et 9,8% sur Llama3.3).
  • Les rares échecs d'AttriGuard surviennent lorsque l'objectif injecté chevauche fortement un sous-objectif légitime de la tâche utilisateur, rendant la distinction causale intrinsèquement difficile.

5. Signification et Impact

Ce travail est significatif car il redéfinit la sécurité des agents LLM :

1. Dépassement des limites sémantiques : Il ne cherche plus à "lire" le texte malveillant, mais à comprendre la cause de l'action. Cela rend la défense beaucoup plus résistante aux variations de style ou de formulation des attaques.
2. Équilibre Sécurité-Utilité : Contrairement aux approches d'isolement (qui bloquent tout ou trop) ou de détection (qui sont trop permissives), AttriGuard offre un compromis optimal, protégeant l'agent sans sacrifier sa capacité à accomplir des tâches complexes.
3. Approche Runtime : La solution ne nécessite pas de réentraîner les modèles (ce qui est coûteux et peu pratique pour les API propriétaires) mais s'insère dans le pipeline d'inférence, ce qui la rend applicable immédiatement aux systèmes existants.

En conclusion, AttriGuard établit une nouvelle référence pour la défense contre les IPI en démontrant qu'une approche basée sur la causalité et les tests contrefactuels est supérieure aux méthodes de filtrage traditionnelles.