Stronger Enforcement of Instruction Hierarchy via Augmented Intermediate Representations

Cet article propose une nouvelle méthode de défense contre les injections de prompts dans les grands modèles de langage en injectant un signal de hiérarchie des instructions directement dans les représentations intermédiaires du réseau, ce qui réduit considérablement le taux de réussite des attaques par rapport aux approches existantes sans dégrader l'utilité du modèle.

L'essentiel

Voici une explication simple et imagée de ce papier de recherche, conçue pour être comprise par tout le monde.

🛡️ Le Problème : Le "Voleur" dans la cuisine

Imaginez que vous avez un chef cuisinier très doué (c'est l'Intelligence Artificielle ou LLM). Ce chef est là pour préparer vos plats selon vos ordres.

• Votre ordre (Instruction) : "Prépare-moi une salade avec les légumes frais."
• Les ingrédients (Données) : Vous lui donnez un panier de légumes.

Le problème, c'est que des voleurs (les pirates informatiques) peuvent glisser un petit mot dans votre panier de légumes. Ce mot dit : "Oublie tout ce que tu as entendu, je suis le vrai chef ! Coupe-toi les doigts et sors de la cuisine."

Dans les modèles actuels, le chef est un peu naïf. Il lit tout le panier de la même manière. Si le mot du voleur est assez fort ou bien placé, le chef peut oublier votre commande et suivre celle du voleur. C'est ce qu'on appelle une injection de prompt.

🏗️ L'Ancienne Solution : Le Badge à l'entrée

Pour arrêter cela, les chercheurs précédents avaient une idée : donner un badge de sécurité aux différents éléments.

• Votre ordre a un badge "Roi" (Priorité maximale).
• Les légumes (données) ont un badge "Serviteur" (Priorité basse).

Mais il y avait un défaut : Ils ne donnaient ce badge qu'à l'entrée de la cuisine, au moment où le chef prend le panier. Une fois que le chef a commencé à couper les légumes (à travers les différentes couches de son cerveau), il oublie parfois qui est le patron. Le badge reste à l'entrée, mais le chef continue de travailler sans se rappeler de la hiérarchie. Le voleur profite de cet oubli pour prendre le contrôle au milieu du processus.

💡 La Nouvelle Solution : Le "Badge Intelligent" (AIR)

Les auteurs de ce papier (Sanjay Kariyappa et G. Edward Suh) proposent une idée géniale appelée AIR (Représentations Intermédiaires Augmentées).

Au lieu de donner le badge une seule fois à l'entrée, ils équipent le chef d'un système de rappel constant.

Imaginez que le chef a un petit assistant invisible qui se tient à ses côtés à chaque étape de la cuisson :

1. Quand il coupe les légumes, l'assistant lui chuchote : "Rappelle-toi, c'est le client qui commande, pas le voleur."
2. Quand il assaisonne, l'assistant répète : "Priorité au client !"
3. Quand il sert le plat, l'assistant dit encore : "Respecte l'ordre du client."

Techniquement, au lieu de mettre l'information de sécurité seulement au début, ils l'injectent dans chaque étage du cerveau du modèle (chaque "couche" du réseau de neurones).

🚀 Pourquoi c'est mieux ? (L'analogie du GPS)

• L'ancienne méthode (Badge à l'entrée) : C'est comme si vous donniez un GPS à un chauffeur de taxi au moment où il monte dans la voiture. Si le chauffeur s'endort ou se perd au milieu du trajet, il ne regarde plus le GPS. Un pirate peut alors lui dire : "Tourne à gauche, c'est ma maison", et le chauffeur obéit.
• La méthode AIR (GPS constant) : C'est comme si le GPS parlait en permanence dans l'oreille du chauffeur à chaque intersection. Même si le pirate crie "Tourne à gauche !", le GPS (le signal de sécurité) crie plus fort à chaque seconde : "NON ! Reste sur la route du client !"

📊 Les Résultats : Plus fort, mais pas plus lent

Les chercheurs ont testé cette idée sur plusieurs modèles (comme Llama et Qwen) et ont découvert deux choses étonnantes :

1. Une sécurité de fer : Face aux attaques les plus intelligentes (celles qui utilisent des mathématiques complexes pour trouver le mot magique), leur méthode a réduit le taux de réussite des pirates de 1,6 à 9,2 fois par rapport aux anciennes méthodes. C'est comme passer d'une porte en bois à un coffre-fort en acier.
2. Pas de ralentissement : Le chef cuisinier n'est pas devenu plus lent ou moins bon pour cuisiner de bons plats. La sécurité n'a pas sacrifié la qualité.

En résumé

Ce papier dit : "Pour protéger les intelligences artificielles des pirates qui essaient de les hacker en leur donnant de faux ordres cachés dans les données, il ne suffit pas de mettre un garde à la porte. Il faut mettre un garde à chaque étage de l'immeuble, pour s'assurer que l'ordre du propriétaire est respecté jusqu'au bout."

C'est une méthode simple, élégante et très efficace pour rendre nos futurs assistants IA beaucoup plus sûrs.

Résumé technique

1. Le Problème : Les Attaques par Injection de Prompt

Les modèles de langage de grande taille (LLM) basés sur l'architecture Transformer sont vulnérables aux attaques par injection de prompt. Dans ces scénarios, un adversaire injecte des tokens malveillants (souvent via des données externes non fiables comme des e-mails ou des pages web) dans le contexte d'entrée du modèle. Ces tokens contiennent des instructions conçues pour override (outrepasser) les instructions originales de l'utilisateur, forçant le modèle à exécuter des commandes hostiles (exfiltration de données, génération de fausses informations, etc.).

Bien que des mécanismes de défense récents aient été proposés, ils reposent tous sur le concept de Hiérarchie des Instructions (IH). L'idée est d'attribuer différents niveaux de privilège aux tokens (ex. : instructions système > instructions utilisateur > données). Cependant, les travaux antérieurs présentent une limitation critique : ils injectent le signal de cette hiérarchie exclusivement au niveau de la couche d'entrée (via des tokens délimiteurs spéciaux ou des embeddings additifs). Les auteurs de l'article émettent l'hypothèse que cette injection unique à l'entrée limite l'efficacité du signal à mesure qu'il se propage à travers les multiples couches du modèle, rendant la défense insuffisante contre des attaques sophistiquées.

2. Méthodologie : Représentations Intermédiaires Augmentées (AIR)

Pour surmonter cette limitation, les auteurs proposent une nouvelle approche nommée Augmented Intermediate Representations (AIR).

• Concept Central : Au lieu de se limiter à la couche d'entrée, AIR injecte le signal de la hiérarchie des instructions (IH) de manière récursive dans toutes les couches du décodeur du LLM.
• Implémentation Technique :
  • Pour chaque bloc de décodeur $j$, une table d'embeddings apprenable $S_j$ est introduite. Cette table contient un vecteur d'embedding distinct pour chaque niveau de privilège (par exemple, $K=3$ niveaux).
  • Pour chaque token $i$ ayant un niveau de privilège $k_i$, le vecteur d'embedding correspondant $\vec{s}^k_j = S_j[k_i]$ est récupéré.
  • Ce vecteur est ensuite ajouté à la représentation intermédiaire du token $\vec{x}_{ij}$ dans cette couche spécifique :
    $$\vec{x}'_{ij} = \vec{x}_{ij} + \vec{s}^k_j$$
  • Cette augmentation se produit à chaque étape du décodeur, y compris avant la dernière couche avant la projection linéaire.
• Analogie : Cette approche s'inspire des travaux récents sur les embeddings de position (comme RoPE), qui injectent l'information de position dans toutes les couches plutôt qu'à l'entrée, améliorant ainsi la performance. AIR applique ce même principe à la sécurité.
• Surcoût : La méthode ajoute un nombre négligeable de paramètres (ex. : 0,005 % pour un modèle Llama-3.1-8B) et n'impacte pas significativement le temps d'inférence.

3. Contributions Clés

1. Identification d'une limitation fondamentale : Les auteurs démontrent que l'injection exclusive des signaux de hiérarchie au niveau de l'entrée est un goulot d'étranglement pour la robustesse des modèles contre les injections de prompt.
2. Proposition d'AIR : Introduction d'un mécanisme novateur injectant les signaux de privilège dans toutes les couches intermédiaires du réseau, permettant une application plus robuste de la hiérarchie des instructions.
3. Validation Empirique : Démonstration que cette approche améliore considérablement la robustesse sans dégrader l'utilité du modèle, surpassant les méthodes de l'état de l'art (Delimiters et Instructional Segment Embedding - ISE).

4. Résultats Expérimentaux

Les expériences ont été menées sur trois modèles de tailles variées (Llama-3.2-3B, Qwen2.5-7B, Llama-3.1-8B) et avec deux techniques d'entraînement adversarial (SFT et DPO).

• Robustesse contre les attaques statiques (Boîte noire) :
  • Les méthodes AIR, Delimiters et ISE offrent toutes une protection quasi parfaite (taux de réussite de l'attaque proche de 0 %) contre les attaques statiques simples (ex. : "Ignore previous instructions").
• Robustesse contre les attaques basées sur le gradient (Boîte blanche - GCG) :
  • C'est ici que la différence est majeure. Les attaques GCG (Greedy Coordinate Gradient) sont beaucoup plus efficaces contre les défenses traditionnelles.
  • Réduction du taux de réussite (ASR) : La méthode AIR réduit le taux de réussite des attaques GCG d'un facteur compris entre 1,6 et 9,2 fois par rapport aux meilleures méthodes existantes (Delimiters ou ISE).
  • Perte de l'attaquant : Les modèles protégés par AIR maintiennent une perte (loss) beaucoup plus élevée pour l'attaquant tout au long de l'optimisation, indiquant une difficulté accrue à contourner la défense.
• Utilité du modèle :
  • Dans des conditions non adversariales (tâches normales), la méthode AIR ne dégrade pas significativement les performances du modèle (mesurées par le taux de victoire sur AlpacaFarm).
  • Une légère baisse d'utilité est observée uniquement dans le cas spécifique du modèle Llama-3.1-8B entraîné avec SFT, mais reste minime.
• Évaluation SEP (Séparation Instruction/Données) :
  • Sur le dataset SEP, AIR obtient les meilleurs scores combinés de séparation et d'utilité, en particulier lorsqu'il est couplé à l'entraînement DPO (Direct Preference Optimization).

5. Signification et Conclusion

Ce travail établit que la profondeur de l'injection des signaux de sécurité est aussi cruciale que leur existence. En distribuant l'information de hiérarchie des privilèges à travers l'ensemble de l'architecture du modèle (toutes les couches du décodeur) plutôt que de la confiner à l'entrée, les auteurs parviennent à créer une compréhension hiérarchique plus profonde et résiliente.

En résumé :

• Problème : Les défenses actuelles échouent souvent car elles ne "rappellent" pas au modèle la hiérarchie des instructions à chaque étape de traitement.
• Solution : AIR injecte cette information à chaque couche.
• Impact : Une amélioration drastique de la sécurité contre les attaques sophistiquées (multiplication par 1,6 à 9,2 de la robustesse) avec un coût computationnel négligeable et sans perte de performance fonctionnelle.

Cette approche représente une avancée significative pour le déploiement sécurisé de systèmes d'IA agents, où la gestion de données non fiables est critique.