ShadowPickle: Evading Machine Learning Model Scanners via Stealthy Pickle Deserialization Attacks
Cet article présente SHADOWPICKLE, un nouveau cadre d'attaque qui exploite le mécanisme d'importation de modules externes de la machine virtuelle Pickle pour exécuter des charges utiles d'exécution de code à distance furtives dans des modèles pré-entraînés, contournant efficacement les scanners et les hubs de modèles de pointe, parallèlement à la présentation de PICKLEBENCH, un benchmark démontrant les limitations significatives des méthodes de détection actuelles.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez l'internet comme une immense bibliothèque bouillonnante où des millions de personnes partagent leurs recettes, plans et instructions préférés. Dans le monde de l'intelligence artificielle, ces « recettes » sont appelées Modèles d'apprentissage automatique pré-entraînés. Ce sont les plans cérébraux que les ordinateurs utilisent pour reconnaître des visages, écrire des histoires ou traduire des langues. Pour partager ces plans, les gens utilisent des « hubs » numériques spéciaux (comme une super-bibliothèque appelée Hugging Face) où n'importe qui peut les télécharger.
Cependant, il y a un piège. Ces plans sont souvent sauvegardés dans un format spécial appelé Pickle. Considérez Pickle comme une boîte à déjeuner magique et scellée. Lorsque vous ouvrez la boîte, l'ordinateur ne se contente pas de regarder la nourriture à l'intérieur ; il suit un ensemble d'instructions écrites sur le couvercle pour réassembler le repas. Le problème est que si un acteur malveillant écrit une instruction piégeuse sur le couvercle, l'ordinateur pourrait accidentellement la suivre et faire quelque chose de dangereux, comme voler des secrets ou laisser entrer un pirate. C'est ce qu'on appelle une attaque de désérialisation. Pendant longtemps, des gardes de sécurité (appelés scanners) ont vérifié ces boîtes à déjeuner pour s'assurer que les instructions sur le couvercle sont sûres. Mais et si les méchants trouvaient un moyen d'écrire des instructions qui semblent parfaitement normales aux gardes, mais qui trompent quand même l'ordinateur ?
C'est exactement ce qu'une équipe de chercheurs de l'Université de technologie et de design de Singapour a découvert. Ils ont inventé une nouvelle façon d'introduire du code malveillant dans ces modèles d'IA, nommant leur méthode ShadowPickle. Au lieu d'essayer de cacher les mauvaises instructions dans un coin sombre, ils ont réalisé qu'ils pouvaient tromper l'ordinateur en écrasant les outils mêmes en lesquels les gardes de sécurité ont confiance. Imaginez un garde de sécurité qui vérifie une liste d'outils « approuvés », comme un marteau ou un tournevis. Les chercheurs ont montré que si vous pouviez remplacer le vrai marteau par un faux qui semble identique mais qui cache un couteau à l'intérieur, le garde vous laisserait passer la porte sans sourciller.
L'équipe a créé trois versions différentes de cette ruse. La plus sournoise, appelée Overwritten Module (Module écrasé), fonctionne en remplaçant un outil standard et de confiance (comme une bibliothèque Python courante) par une version malveillante qui est chargée automatiquement par l'ordinateur. Comme l'outil figure sur la « liste approuvée », les scanners de sécurité ne donnent pas l'alerte. Ils ont également construit un kit de test spécial appelé PICKLEBENCH, qui est comme une machine géante capable d'injecter automatiquement ces ruses dans des milliers de modèles d'apparence innocente pour voir si les scanners les détectent.
Lorsqu'ils ont testé leurs nouvelles ruses contre les meilleurs scanners de sécurité actuellement en usage, les résultats ont été saisissants. Les attaques ShadowPickle étaient incroyablement douées pour se cacher. En fait, la version « Overwritten » a réussi à passer entre les mailles des scanners 63 % du temps. Pour mettre cela en perspective, cette nouvelle méthode était environ 50 % plus difficile à détecter que les meilleures ruses connues des hackers jusqu'à présent. Plus impressionnant encore, leur kit de test était 25,6 % plus exigeant pour les scanners que les tests existants utilisés par les experts.
Les chercheurs ont également découvert que même les systèmes de sécurité les plus avancés, qui tentent de n'autoriser que des outils « sûrs », pouvaient être dupés si les méchants réussissaient à remplacer l'un de ces outils sûrs par un faux. Bien que certains scanners soient meilleurs que d'autres, aucun n'était parfait. L'équipe suggère que pour corriger cela, les gardes de sécurité doivent vérifier non seulement la liste des outils, mais aussi s'assurer que les outils eux-mêmes n'ont pas été altérés. Ils ont même proposé des idées sur la façon de colmater ces brèches, ce qui pourrait rendre les scanners environ 19 % plus efficaces pour attraper ces attaques sournoises.
En résumé, ce document ne se contente pas de dire que « le piratage est possible » ; il montre précisément comment les filets de sécurité actuels ont un angle mort. Il prouve que compter uniquement sur une liste d'outils « bons » et « mauvais » ne suffit plus, car les acteurs malveillants peuvent désormais déguiser leurs ruses en utilisant les outils mêmes en lesquels nous avons confiance. Les auteurs suggèrent que l'ensemble du système a besoin d'une mise à niveau sérieuse pour rester en sécurité à l'avenir.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.