NAAMSE: Framework for Evolutionary Security Evaluation of Agents

Ce papier présente NAAMSE, un cadre d'évaluation de sécurité évolutionnaire qui utilise un agent autonome pour optimiser itérativement les attaques par mutation génétique et exploration hiérarchique, révélant ainsi des vulnérabilités complexes chez les agents IA que les méthodes statiques traditionnelles ne parviennent pas à détecter.

L'essentiel

🕵️‍♂️ Le Problème : Pourquoi les tests actuels sont ennuyeux

Imaginez que vous avez construit une maison ultra-moderne (votre IA ou Agent) et que vous voulez vous assurer qu'elle ne peut pas être cambriolée.

• L'ancienne méthode (Le test manuel) : C'est comme engager un seul détective très intelligent pour essayer de casser la serrure. C'est lent, cher, et si le détective s'ennuie ou rate une fenêtre, la maison reste vulnérable.
• La méthode statique (Les benchmarks) : C'est comme utiliser une liste de 100 clés préfabriquées. Si le cambrioleur invente une nouvelle clé demain, votre liste ne sert plus à rien. De plus, ces listes sont souvent obsolètes dès qu'elles sont imprimées.

Le problème, c'est que les pirates (les "adversaires") ne sont pas statiques. Ils apprennent, ils s'adaptent et ils essaient encore et encore jusqu'à ce que ça marche.

🧬 La Solution : NAAMSE, le "Jardinier Évolutionnaire"

Les auteurs proposent NAAMSE, un système qui ne se contente pas de tester, il évolue.

Imaginez un jardinier robotique (l'agent autonome) qui a pour mission de trouver les failles de votre maison. Mais au lieu de juste essayer des clés au hasard, il fonctionne comme l'évolution naturelle (la théorie de Darwin) :

1. La Graine (Le Corpus) : Le jardinier commence avec une immense boîte de graines (des milliers de questions et de demandes, certaines gentilles, certaines méchantes).
2. L'Essai (L'Exécution) : Il plante une graine (il pose une question à l'IA) et regarde ce qui pousse (la réponse de l'IA).
3. Le Score (La Fitness) : Il note la plante.
   • Si l'IA refuse de répondre à une demande méchante : Bonne note (elle est sûre).
   • Si l'IA accepte de répondre à une demande gentille : Bonne note (elle est utile).
   • Si l'IA accepte une demande méchante OU refuse une demande gentille : Mauvaise note (c'est une faille !).
4. La Mutation (L'Évolution) : C'est là que la magie opère.
   • Si la plante a failli réussir (score moyen), le jardinier la mute légèrement (il change quelques mots, ajoute un poème, utilise un autre langage) pour voir si ça passe mieux.
   • Si la plante a échoué (score bas), il la jette et essaie une graine complètement différente d'une autre partie du jardin.
   • Si la plante a réussi à casser la sécurité (score parfait), le jardinier note la faille et passe à autre chose pour ne pas s'arrêter là.

🎭 L'Analogie du "Double Jeu"

Ce qui rend NAAMSE spécial, c'est qu'il joue à deux jeux en même temps :

1. Le jeu du Cambrioleur : Il essaie de tromper l'IA pour qu'elle fasse quelque chose de dangereux (révéler un secret, écrire du code malveillant).
2. Le jeu du Client Heureux : Il demande à l'IA de faire des choses normales (résumer un texte, planifier un rendez-vous).

Pourquoi est-ce important ?
Parfois, pour être "sûre", une IA devient trop paranoïaque et refuse tout le monde. C'est comme un gardien de sécurité qui bloque l'entrée de la maison même si c'est le propriétaire qui revient avec ses clés.
NAAMSE punit cette IA : si elle refuse une demande gentille, elle perd des points. Le but n'est pas de trouver une IA qui refuse tout, mais une IA qui sait discerner le vrai danger du faux.

🚀 Comment ça marche concrètement ? (Les 4 étapes)

Le système tourne en boucle comme une usine de fabrication de clés :

1. Sélection : Il choisit une question dans sa base de données (parmi 128 000 exemples).
2. Action : Il envoie la question à l'IA cible.
3. Décision : Il analyse la réponse.
   • C'est trop facile ? -> Il change de stratégie (Exploration).
   • C'est presque ça ? -> Il affine la question (Raffinement).
   • C'est une faille grave ? -> Il la note et essaie de la rendre encore plus grave pour voir à quel point c'est dangereux (Mutation agressive).
4. Apprentissage : Il garde cette nouvelle question dans sa base de données pour l'utiliser plus tard, rendant le système plus intelligent à chaque tour.

💡 Le Résultat

Grâce à cette méthode, NAAMSE découvre des failles que les méthodes classiques (qui posent une seule question et s'arrêtent) ne voient jamais. C'est comme si un cambrioleur apprenait à ouvrir une porte en essayant 1000 fois, en changeant de technique à chaque fois, jusqu'à trouver la faille exacte.

En résumé :
NAAMSE est un entraîneur d'IA qui simule des pirates intelligents et adaptatifs. Il ne se contente pas de vérifier si la porte est fermée ; il essaie de la forcer, de la contourner, et s'assure en même temps que la porte s'ouvre bien pour les gens qui ont le droit d'entrer.

C'est une approche dynamique et continue, contrairement aux vieux tests qui sont comme une photo figée dans le temps.

Résumé technique

1. Problématique

L'intégration croissante d'agents IA dans des environnements de production a créé un décalage critique entre le déploiement massif et les pratiques de sécurité.

• Limites des méthodes actuelles : L'évaluation de sécurité repose principalement sur le red-teaming manuel (non évolutif, lent, dépendant de l'intuition) ou sur des benchmarks statiques (obsolètes rapidement, incapables de modéliser des adversaires adaptatifs).
• Le défi des agents : Les outils existants (comme GPTFuzzer ou AutoDAN) se concentrent souvent sur des modèles de langage isolés (single-turn) et maximisent le taux de succès d'attaque (ASR) sans tenir compte des compromis entre utilité et sécurité. Ils échouent à détecter les vulnérabilités complexes dans les flux de travail multi-tours des agents autonomes.
• Le problème du refus systématique : Une stratégie de sécurité dégenerate consiste à refuser systématiquement toutes les requêtes (blanket refusal), ce qui rend l'agent inutilisable mais le fait apparaître « sécurisé » selon les métriques traditionnelles.

2. Méthodologie : Le Framework NAAMSE

Les auteurs proposent NAAMSE, un cadre d'évaluation pré-déploiement qui reformule le red-teaming comme un problème d'optimisation piloté par la rétroaction (feedback-driven optimization). Le système utilise un agent autonome unique qui orchestre un cycle de test évolutif composé de quatre phases :

A. Architecture et Cycle de Vie

Le framework fonctionne comme un pipeline où les prompts évoluent à travers quatre phases distinctes :

1. Sélection et Représentation (Clustering Engine) :

   • Le système sélectionne des prompts « graines » à partir d'un corpus structuré contenant plus de 128k requêtes adversariales et 50k requêtes bénignes.
   • Les prompts sont encodés (via all-MiniLM-L6-v2) et organisés en une hiérarchie arborescente via un algorithme K-means récursif, permettant une exploration systématique de l'espace des interactions (ex: « jailbreaks par jeu de rôle », « requêtes bancaires »).

2. Exécution et Évaluation (Behavioral Engine) :

   • Le prompt est envoyé à l'agent cible via une interface agent-à-agent (A2A), supportant l'usage d'outils et les dialogues multi-tours.
   • Une fonction de fitness (score) est calculée en fonction de trois signaux :
     • Nocivité (Harmfulness) : Évaluée par des juges LLM spécialisés sur six catégories de sécurité.
     • Alignement : Mesure si la requête a été satisfaite, refusée ou partiellement acceptée.
     • Risque de confidentialité : Détection de PII (Informations Personnellement Identifiables).
   • Logique de score : Le système pénalise à la fois la conformité nuisible (pour les prompts adversariaux) et le refus inutile (pour les prompts bénins). Cela empêche l'agent de gagner en « sécurité » en devenant inutilisable.

3. Décision Évolutive (Mutation Engine) :

   • Le score détermine la stratégie suivante, mimant un adversaire adaptatif :
     • Score faible (< 50) : Exploration. Abandon de la trajectoire actuelle pour échantillonner de nouveaux clusters.
     • Score moyen (50-80) : Raffinement. Génération de variantes sémantiquement similaires pour stabiliser l'attaque.
     • Score élevé (80-100) : Mutation. Application de transformations agressives (basées sur la recherche, techniques communautaires, obfuscation) pour maximiser la sévérité de l'exploit.
     • Score parfait (100) : Exploration. Marquage de la surface comme saturée pour éviter les optima locaux.

4. Intégration au Corpus :

   • Les nouveaux prompts générés sont réinjectés dans le corpus via leur distance euclidienne aux centroids existants, permettant un raffinement cumulatif de la distribution d'attaque au fil du temps.

3. Contributions Clés

• Reformulation de l'évaluation : Passage d'une approche statique à une optimisation évolutive continue pour les agents autonomes.
• Double dimension d'évaluation : Le framework évalue simultanément la robustesse face aux attaques (refus des requêtes malveillantes) et l'utilité (réponse aux requêtes légitimes), évitant ainsi le piège du refus systématique.
• Synergie Exploration-Mutation : Démonstration que l'exploration de corpus seule ou la mutation seule sont insuffisantes ; c'est leur combinaison qui permet de découvrir des modes de défaillance complexes.
• Code Open Source : Le framework est disponible publiquement.

4. Résultats Expérimentaux

Les expériences ont été menées sur Gemini 2.5 Flash (utilisé comme agent cible, juge et moteur de mutation), avec des validations croisées sur d'autres modèles (Qwen3.5, etc.).

• Supériorité de l'approche évolutive : La configuration complète (« All » : Exploration + Raffinement + Mutation) a obtenu un score moyen de 79,76, surpassant largement les stratégies isolées.
• Échec des approches partielles :
  • Mutation seule : Converge vers des optima locaux (score moyen ~54), incapable de sortir des zones de prompts peu efficaces.
  • Exploration seule : Manque de « instinct de tueur » ; une fois un bon prompt trouvé, le système ne sait pas l'optimiser, entraînant une chute des scores.
• Détection de vulnérabilités composées : Le système a systématiquement amplifié les vulnérabilités manquées par les méthodes « one-shot », découvrant des failles de sévérité maximale (score 100) en itérations successives (ex: attaques par théorie des jeux, exécution de code, division de réponse).
• Validation des scores : Les prompts atteignant un score de 100 ont été validés manuellement et par d'autres LLM (GPT-5.2, Claude 4.5) comme des jailbreaks réussis.

5. Signification et Impact

NAAMSE représente une avancée majeure dans la sécurité des agents IA en adressant trois lacunes fondamentales :

1. Évolutivité : Remplace le red-teaming manuel par un processus automatisé et scalable.
2. Réalisme : Simule des adversaires adaptatifs qui apprennent des réponses du modèle, contrairement aux benchmarks statiques.
3. Équilibre Sécurité-Utilité : Introduit une métrique qui sanctionne les agents qui refusent tout, garantissant que l'évaluation de sécurité ne se fait pas au détriment de l'expérience utilisateur.

L'article conclut que l'évaluation de la robustesse des agents nécessite un test continu et adaptatif plutôt que des listes de contrôle statiques, posant les bases pour des systèmes de sécurité plus résilients face aux menaces évolutives.