Résumé Technique : Détection de Dérive d'Embedding Zero-Shot (ZEDD)

1. Énoncé du Problème

Les attaques par injection de prompts représentent une vulnérabilité critique pour les applications de Grands Modèles de Langage (LLM), où des entrées adverses exploitent des canaux indirects (par exemple, des e-mails, du contenu généré par les utilisateurs) pour contourner les garde-fous d'alignement et induire des sorties malveillantes. Malgré les progrès de l'alignement des modèles via l'apprentissage par renforcement à partir de la rétroaction humaine (RLHF), les modèles de pointe restent sensibles aux prompts adverses, qu'ils soient manuels ou automatisés. Les mécanismes de défense existants souffrent souvent de limitations significatives : ils dépendent d'une surcharge computationnelle lourde, nécessitent un réentraînement spécifique à la tâche, exigent un accès interne au modèle ou utilisent des filtres basés sur des règles inefficaces. Il existe un besoin pressant pour un mécanisme de détection robuste, généralisable et léger, capable de fonctionner sans connaissance préalable de schémas d'attaque spécifiques.

2. Méthodologie : Détection de Dérive d'Embedding Zero-Shot (ZEDD)

Les auteurs proposent ZEDD, un cadre qui détecte les injections de prompts en quantifiant les dérives sémantiques dans l'espace d'embedding entre les entrées bénignes (propres) et suspectes (injectées). L'idée centrale est que les prompts adverses induisent des dérives sémantiques subtiles dans les représentations vectorielles, même lorsque la surface du texte semble bénigne.

Le Pipeline ZEDD

Le système fonctionne à travers trois étapes principales :

1. Extraction d'Embedding :

   • Le cadre utilise des modèles d'encodage affinés (spécifiquement Sentence-BERT All-MPNET-Base-V2, Llama 3 8B Instruct, Mistral 7B Instruct et Qwen 2 7B Instruct) pour générer des représentations vectorielles pour les paires de prompts.
   • Lors d'une phase d'affinement préliminaire, l'encodeur apprend à distinguer les paires "propre-propre" des paires "injecté-propre", optimisant ainsi l'espace d'embedding pour mieux capturer les différences entre les entrées bénignes et adverses. Cet affinement est effectué une seule fois, permettant un déploiement zero-shot par la suite.

2. Mesure de la Dérive :

   • La dérive sémantique est calculée via la Similitude Cosinus. Le score de dérive $D$ entre un prompt propre $x$ et un prompt candidat $x'$ est défini par :
     $$Drift(x, x') = 1 - \frac{f(x) \cdot f(x')}{||f(x)|| \cdot ||f(x')||}$$
   • Un score de dérive élevé indique une déviation sémantique plus grande, suggérant une injection potentielle.

3. Signalement et Seuil :

   • Pour classifier les prompts sans étiquetage de vérité terrain lors de l'inférence, ZEDD emploie une approche d'ensemble utilisant la Modélisation de Mélange Gaussien (GMM) et l'Estimation par Noyau de Densité (KDE).
   • GMM : Ajuste une distribution à deux composantes aux scores de dérive. La composante avec la moyenne la plus basse correspond aux paires propre-propre (faible dérive), tandis que la moyenne la plus élevée correspond aux paires injecté-propre (dérive élevée).
   • Repli KDE : Si le GMM ne converge pas, le système bascule sur le KDE pour identifier les pics et les creux de la distribution.
   • Optimisation du Seuil : Le seuil de décision est calibré via une recherche binaire itérative pour maintenir un plafond strict de Taux de Faux Positifs (TFP) de 3 % tout en visant un taux de signalement global d'environ 50 %.

3. Principales Contributions

Le document présente trois contributions majeures :

1. Un Cadre de Détection Zero-Shot : Une méthode de détection d'injection de prompt basée sur la dérive d'embedding qui ne nécessite aucun réentraînement du LLM cible, aucun accès interne au modèle, et aucune connaissance préalable des types d'attaques spécifiques.
2. Mécanisme de Signalement Statistique : L'intégration de GMM et KDE pour analyser les distributions d'embeddings, signalant efficacement les prompts injectés tout en minimant les faux positifs.
3. Évaluation Empirique Complète : Une évaluation approfondie démontrant que la dérive d'embedding sert de signal robuste et transférable à travers diverses architectures de LLM, surpassant les méthodes traditionnelles en termes de vitesse et de précision.

4. Résultats Expérimentaux

Les auteurs ont évalué ZEDD sur le jeu de données LLMail-Inject, une collection ré-annotée de 51 603 paires alignées couvrant cinq catégories d'injection : Jailbreak, Fuite de Système (System Leak), Outrepassage de Tâche (Task Override), Manipulation d'Encodage et Confusion de Prompt.

• Métriques de Performance : À travers les modèles testés (Llama 3, Mistral, Qwen 2 et Sentence-BERT), ZEDD a atteint :
  • Précision (Accuracy) : Variant d'environ 90,75 % (Sentence-BERT) à 95,55 % (Mistral 7B).
  • Précision (Precision) : Dépassant 95 % pour la plupart des encodeurs basés sur des LLM (jusqu'à 96,58 % pour Mistral).
  • Taux de Faux Positifs (TFP Clean) : Maintenu en dessous de 3 % pour la plupart des modèles (ex: 2,2 % pour Qwen 2, 2,3 % pour Mistral), avec un plafond conservateur assurant de faibles fausses alertes sur les entrées bénignes.
• Efficacité : Le processus d'affinement pour chaque modèle a pris environ 15 à 18 minutes sur un GPU NVIDIA B200. La phase de détection opère avec une latence minimale, ceant la rendre adaptée aux applications sensibles à la latence.
• Avantage Comparatif : Les résultats indiquent que ZEDD surpasse les modèles existants en termes de précision et de scores F1, tout en offrant une empreinte computationnelle nettement plus légère.

5. Signification et Limites

Signification :
Le papier positionne ZEDD comme une couche de défense légère et critique qui s'intègre de manière transparente dans les pipelines de LLM existants. En évitant le besoin de réentraînement de modèle ou d'accès interne, il répond au fossé de l'évolutivité dans la sécurisation des systèmes propulsés par l'IA face aux menaces adverses adaptatives. Les auteurs soulignent son utilité en tant que "première ligne de défense" qui équilibre une haute précision de détection avec une efficacité opérationnelle.

Limites et Travaux Futurs :
Les auteurs reconnaissent plusieurs contraintes :

• Dépendance à l'Embedding : L'efficacité de ZEDD est liée à la qualité du modèle d'embedding choisi ; si un modèle d'embedding ne parvient pas à capturer les nuances sémantiques d'un prompt spécifique, la détection peut échouer.
• Scalabilité : Bien qu'efficace, la méthode pourrait nécessiter des approches adaptatives pour gérer des modèles de tailles variées et des ensembles de données plus vastes de manière efficace.
• Évasion Adversaire : Il existe un risque que des attaques hautement sophistiquées puissent être manipulées spécifiquement pour contourner la détection de dérive au niveau de l'embedding.
• Directions Futures : Les auteurs prévoient d'explorer l'apprentissage Few-Shot pour améliorer la précision (bien que cela puisse compromettre la nature légère de la méthode), d'utiliser des approches adaptatives pour la conservation des ressources, et de tester le cadre sur divers formats de données au-delà de l'e-mail.

En conclusion, ZEDD offre une solution pratique et agnostique au modèle face à la menace croissante des injections de prompts, fournissant un mécanisme évolutif pour sécuriser les applications de LLM avec un surcoût d'ingénierie minimal.