Résumé Technique : Spider-Sense : Détection Intrinsèque des Risques pour une Défense Efficace des Agents par Filtrage Adaptatif Hiérarchique

1. Énoncé du Problème

À mesure que les modèles de langage de grande taille (LLM) évoluent vers des agents autonomes capables de perception de l'environnement, de planification de tâches et d'exécution d'outils, leur applicabilité s'est étendue à des domaines critiques tels que la finance, le codage et l'interaction web. Cependant, cet espace d'action élargi introduit des risques de sécurité significatifs, notamment l'injection de prompts, l'empoisonnement de la mémoire et les exploits basés sur les outils, qui peuvent entraîner des conséquences réelles comme l'exfiltration de données et des opérations système non autorisées.

Les auteurs identifient une faille fondamentale dans les mécanismes de défense existants : ils adoptent principalement un paradigme de vérification obligatoire. Dans ces systèmes, la validation de sécurité est déclenchée de force à des étapes prédéfinies du cycle de vie de l'agent (par exemple, lors de la génération d'une action ou de l'invocation d'un outil), qu'un risque soit réellement présent ou non. Cette approche entraîne :

• Une latence élevée : Chaque étape de planification ou appel d'outil supplémentaire entraîne une vérification de sécurité, provoquant un accumulation rapide des surcoûts dans les flux de travail complexes à plusieurs étapes.
• Des faux positifs : Des vérifications fréquentes et inutiles perturbent les interactions normales de l'utilisateur.
• Des problèmes d'évolutivité : De nombreuses approches reposent sur des modèles de vérification externes, ce qui engendre des coûts de calcul importants et introduit des dépendances système qui limitent le déploiement pratique.

L'article soutient qu'une sécurité d'agent efficace doit être intrinsèque et sélective, intervenant uniquement lorsqu'un risque réel est perçu, plutôt que d'être une procédure déconnectée architecturalement et obligatoire.

2. Méthodologie : Le Cadre SPIDER-SENSE

Le cadre proposé, SPIDER-SENSE, introduit un paradigme de défense piloté par les événements basé sur la Détection Intrinsèque des Risques (IRS - Intrinsic Risk Sensing) et le Filtrage Adaptatif Hiérarchique (HAS - Hierarchical Adaptive Screening).

2.1 Détection Intrinsèque des Risques (IRS)

L'IRS intériorise la sécurité comme une fonction cognitive native de l'agent, lui permettant de maintenir un « état de vigilance latent » tout au long de son flux d'exécution.

• Mécanisme : L'agent évalue de manière autonome un indicateur de détection de risque ($\phi_t^{(k)}$) à chacune des quatre étapes critiques pour la sécurité : la Requête ($q$), le Plan ($P_t$), l'Action ($a_t$) et l'Observation ($o_t$).
• Déclenchement : En fonction de l'artefact actuel, de l'historique des interactions et des instructions du système, l'agent décide s'il doit produire un indicateur de détection. Si un risque potentiel est perçu, l'agent interrompt le flux standard.
• Mise en œuvre : L'agent enveloppe l'artefact suspect dans un modèle spécialisé (par exemple, <|sanitize_observation|> pour les sorties d'outils) et l'achemine vers le mécanisme de vérification de sécurité. Ce processus est endogène, ne nécessitant aucune supervision externe ni surcharge architecturale.

2.2 Filtrage Adaptatif Hiérarchique (HAS)

Une fois déclenché, l'artefact suspect subit un processus de vérification à deux niveaux conçu pour équilibrer efficacité et précision :

1. Détection à grain fin (Filtrage rapide) :
   • Le système maintient des bases de données de vecteurs d'attaque spécifiques à chaque étape ($D^{(k)}$) contenant des représentations vectorielles de modèles d'attaque connus.
   • L'artefact actuel est plongé (embedded) et comparé aux modèles stockés via une similitude cosinus.
   • Si le score de similitude dépasse un seuil ($\tau^{(k)}$), un résultat de haute confiance est renvoyé immédiatement, résolvant les modèles connus avec une latence minimale.
2. Analyse à grain fin (Raisonnement profond) :
   • Si le score de similitude est inférieur au seuil (indiquant une ambiguïté ou des modèles inconnus), le système passe à une étape de raisonnement profond.
   • Un grand modèle de langage (LLM) effectue un raisonnement explicite sur l'artefact actuel et sur les $K$ cas les plus similaires récupérés pour produire un résultat raisonné.
3. Prise de décision : L'agent principal reçoit le résultat de la vérification et décide de manière autonome d'ACCEPTER, de REJETER ou de SANITISER l'exécution.

3. Contributions Clés

1. Détection Intrinsèque des Risques (IRS) : Les auteurs proposent un paradigme qui intègre la conscience du risque directement dans le flux d'exécution de l'agent via un conditionnement au niveau des instructions. Cela permet une défense endogène pilotée par les événements sans modèles de garde externes ou inspection constante par étape.
2. Filtrage Adaptatif Hiérarchique (HAS) : Un mécanisme novateur qui équilibre de manière adaptative l'efficacité et la précision. Il utilise des bases de données de vecteurs d'attaque spécifiques aux étapes pour résoudre les menaces connues via une correspondance vectorielle rapide, tout en routant les cas ambigus vers un raisonnement interne profond, éliminant ainsi la dépendance à des modèles externes pour chaque vérification.
3. Benchmark S2Bench : Les auteurs introduisent S2Bench, un benchmark sensible au cycle de vie conçu pour évaluer rigoureusement l'interception in situ des agents. Contra�à l'encontre des benchmarks statiques existants, S2Bench présente :
   • Multi-étapes et multi-scénarios : Couverture de quatre étapes d'agent à travers huit domaines d'application et 79 scénarios de sous-tâches.
   • Exécution réelle d'outils : Intégration d'une bibliothèque d'outils à grande échelle (~300 fonctions) et de contenus de retour réalistes (plus de 100 types) plutôt que du texte de substitution.
   • Prompts bénins difficiles : 153 échantillons bénins soigneusement construits qui imitent les structures d'attaque pour tester la sur-défense et les faux positifs.
   • Simulation d'attaque réaliste : Un injecteur externe qui manipule dynamiquement les sorties d'outils et la récupération en mémoire pour induire des déviations d'exécution dépendantes de l'état.

4. Résultats Expérimentaux

Les auteurs ont évalué SPIDER-SENSE par rapport aux garde-fous statiques (par exemple, LLaMA-Guard 3, gpt-oss-safeguard) et aux défenses agentiques (par exemple, GuardAgent, AGrail) en utilisant les jeux de données Mind2Web, eICU et S2Bench.

• Performance de la défense : SPIDER-SENSE a obtenu le taux de succès d'attaque (ASR - Attack Success Rate) et le taux de faux positifs (FPR - False Positive Rate) les plus bas sur tous les benchmarks.
  • Sur Mind2Web, en utilisant Claude-3.5, SPIDER-SENSE a amélioré la précision de prédiction de l'étiquette (LPA) de 84,8 % (baseline) à 95,8 % et le F1 de 90,3 % à 92,1 %.
  • Sur S2Bench, il a considérablement réduit l'ASR lors de l'étape de « Planification » (un point aveugle connu pour les autres défenses) à 17,7 % (Claude-3.5) et 20,0 % (Qwen-max), tout en maintenant un faible FPR.
• Efficacité : Le cadre a obtenu un compromis supérieur entre sécurité et utilité. Il a engendré un surcoût de latence marginal de seulement 8,3 % par rapport à la baseline, alors que les défenses « toujours actives » existantes entraînaient des surcoûts allant de 197 % à 381 %.
• Études d'ablation :
  • Supprimer la détection à n'importe quelle étape a provoqué une augmentation significative de l'ASR (par exemple, +29,9 % lorsque la détection à l'étape d'action était désactivée), confirmant la nécessité d'une surveillance sur l'ensemble du cycle de vie.
  • La suppression de l'étape d'analyse à grain fin a considérablement fait chuter la précision de la défense, tandis que la suppression de la détection à grain grossier a gravement dégradé l'efficacité, validant la conception hiérarchique.

5. Signification et Revendications

L'article affirme que Spider-Sense représente un passage de procédures de sécurité externes et obligatoires à une conscience des risques intrinsèque et sélective. En traitant la sécurité comme une fonction cognitive native, le cadre permet aux agents de maintenir une « vigilance latente » et de déclencher les défenses uniquement lors de la perception d'un risque.

Les auteurs affirment que cette approche :

• Préserve l'utilité : En évitant les vérifications répétitives et constantes, elle empêche la latence et les faux positifs qui entravent le déploiement pratique d'agents complexes.
• Améliore l'évolutivité : En s'appuyant sur le raisonnement interne et la correspondance vectorielle légère plutôt que sur des modèles de vérification externes pour chaque étape, elle réduit les coûts de calcul et les dépendances système.
• Fournit une évaluation robuste : Grâce à S2Bench, ce travail offre un standard d'évaluation plus réaliste qui tient compte de la nature dynamique et dépendante de l'état des attaques d'agents, allant au-delà des tests d'injection statiques au niveau du texte.

Le travail conclut que la conscience intrinsèque des risques est une fondation pratique pour la sécurité des agents à grande échelle, permettant aux agents d'opérer en toute sécurité dans des environnements réels sans compromettre leur efficacité ou leur autonomie.