MalSkillBench: A Runtime-Verified Benchmark of Malicious Agent Skills
Cet article présente MalSkillBench, le premier benchmark vérifié au moment de l'exécution comprenant 3 944 compétences d'agents IA malveillantes, pour démontrer que les outils de détection actuels échouent à analyser conjointement le code et les instructions, nécessitant une nouvelle approche qui raisonne à travers l'intention de la tâche, le code et les invites afin de sécuriser la chaîne d'approvisionnement des agents.
Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous ayez engagé un assistant robotique super intelligent pour vous aider à écrire des logiciels. Pour rendre ce robot encore plus puissant, vous le laissez télécharger des « compétences » sur Internet — comme de petites applications ou des extensions qui lui indiquent comment accomplir des tâches spécifiques, comme « calculer les taxes » ou « formater ce document ».
Ces compétences sont un peu comme une fiche de recette (des instructions écrites en langage clair) collée à un appareil de cuisine (le code réel qui s'exécute).
Le Problème : La « Recette Empoisonnée »
Les chercheurs ont découvert que des pirates commencent à empoisonner ces compétences. Ils créent de fausses compétences qui semblent utiles mais qui contiennent des pièges cachés.
- Le Piège du Code : La partie « appareil de cuisine » pourrait secrètement voler vos mots de passe ou supprimer vos fichiers.
- Le Piège de l'Instruction : La partie « fiche de recette » pourrait tromper le robot pour qu'il ignore ses règles de sécurité ou fasse quelque chose qu'il ne devrait pas faire, comme envoyer vos données privées à un inconnu.
La partie effrayante est que ces deux pièges travaillent souvent ensemble. Une compétence peut sembler innocente sur la fiche de recette mais avoir une machine dangereuse attachée, ou vice versa.
La Grande Lacune : Nous n'avions pas un bon test
Jusqu'à présent, les experts en sécurité essayant de construire des « détecteurs de compétences » (comme un antivirus pour ces compétences de robot) naviguaient à vue.
- Ils n'avaient pas une liste assez grande de mauvaises compétences pour tester.
- Les quelques mauvaises compétences qu'ils possédaient étaient principalement d'un seul type (comme de fausses arnaques « crypto »), les détecteurs devenaient donc très doués pour repérer ces types-là, mais très mauvais pour repérer tout autre chose.
- C'était comme tester un détecteur de fumée uniquement sur la fumée d'un pain grillé, puis prétendre qu'il pourra détecter un incendie causé par une explosion de graisse.
La Solution : MalSkillBench (Le « Test de Stress »)
Les auteurs ont construit MalSkillBench, le premier terrain d'essai géant et vérifié pour ces compétences malveillantes.
Comment ils l'ont construit :
- L'Usine : Ils ont utilisé une IA pour générer des milliers de fausses compétences malveillantes.
- Le Bac à Sable : Ils ne se sont pas contentés de deviner si une compétence était mauvaise. Ils l'ont réellement exécutée à l'intérieur d'une cage numérique sûre et isolée (un « bac à sable » ou sandbox).
- La Preuve : Si la compétence faisait réellement quelque chose de mal (comme essayer de voler un fichier ou tromper le robot) pendant qu'elle tournait dans la cage, elle recevait un label « vérifié ». Si elle échouait à faire la chose malveillante, ils la renvoyaient à l'usine pour réessayer.
Ils ont fini avec 3 944 compétences mauvaises vérifiées et 4 000 bonnes compétences, couvrant 108 types d'attaques différents.
Ce qu'ils ont découvert
Lorsqu'ils ont testé les outils de sécurité actuels contre ce nouveau test massif, les résultats ont été surprenants :
- Le code est facile à attraper, les mots sont difficiles : Les détecteurs sont excellents pour repérer le mauvais code (comme un virus dans un fichier) mais terribles pour repérer les mauvaises instructions (comme un tour dans la recette). Il est plus facile de voir une bombe que de voir un mensonge.
- Les données du « monde réel » sont un mensonge : Si vous ne testez les détecteurs que sur les quelques mauvaises compétences trouvées « dans la nature » (sur Internet), vous obtenez la mauvaise réponse. Un outil de sécurité semblait être un héros sur les données du monde réel, mais lorsqu'il a été testé sur l'ensemble de MalSkillBench, il s'est avéré être l'un des moins bons. C'était comme un médecin qui ne traite que les rhumes et pense être un génie pour tout guérir, jusqu'à ce qu'on lui présente un patient avec une jambe cassée.
- Les anciens outils ne correspondent pas : Vous ne pouvez pas simplement utiliser des outils conçus pour les logiciels classiques (pour attraper le mauvais code) ou des outils conçus pour les chatbots (pour attraper les mauvais prompts). Une compétence malveillante est un hybride. Utiliser un outil pour une seule moitié du problème laisse l'autre moitié grande ouverte.
- Le vrai danger : Les compétences les plus dangereuses ne consistent pas seulement à voler des fichiers ; elles consistent à tromper le cerveau du robot. Certaines compétences tentent de réécrire l'identité du robot, de changer ses objectifs ou de lui faire ignorer ses règles de sécurité. Les outils actuels sont principalement aveugles à ces attaques de « piratage de l'esprit ».
L'essentiel
Pour garder nos assistants IA en sécurité, nous ne pouvons pas nous contenter de regarder le code ou de lire les instructions. Nous devons comprendre la relation entre les deux : Cette instruction est-elle cohérente avec cette tâche, ou est-ce un tour ?
L'article fournit le premier véritable « test de stress » pour aider les développeurs à construire de meilleurs détecteurs capables de repérer ces tours hybrides, plutôt que de simplement deviner en se basant sur des données anciennes et incomplètes. Ils ont rendu toutes leurs données et leurs outils publics pour que d'autres puissent aider à résoudre ce puzzle.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.