Empirical Analysis of Evasion and Poisoning Against Malware Data Drift Detection
Cet article étudie comment les attaques par évasion et par empoisonnement, typiquement conçues pour compromettre les classificateurs de malwares, affectent de manière unique l'opération combinée des détecteurs de dérive de données et des classificateurs de malwares, révélant que les caractéristiques distinctes des détecteurs de dérive modifient l'efficacité et le comportement de ces attaques adverses.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous êtes le vigile d'une boîte de nuit technologique et massive. Votre travail est de repérer les fauteurs de troubles (les logiciels malveillants) et de les empêcher d'entrer, tout en laissant entrer les bons invités (les logiciels bénins). Pendant longtemps, vous avez utilisé une liste de visages de fauteurs de troubles connus pour faire cela. Mais les fauteurs de troubles sont rusés ; ils changent de coiffure, portent des déguisements ou laissent pousser la barbe pour ressembler à des gens normaux. Pour suivre le rythme, vous avez engagé une IA intelligente pour vous aider à reconnaître la vibe d'un fauteur de troubles, même s'il change d'apparence.
Cependant, il y a un bémol. Avec le temps, la foule change. La « vibe » du quartier évolue, et l'IA commence à être confuse parce que les gens qui entrent ne ressemblent plus aux gens qu'elle a appris à connaître il y a des années. C'est ce qu'on appelle la dérive de concept (concept drift). Pour corriger cela, la boîte de nuit engage une seconde IA, un « Détecteur de Dérive ». Cette seconde IA ne se soucie pas de savoir si quelqu'un est un fauteur de troubles ou un bon invité ; elle surveille simplement si quelqu'un a l'air étrangement différent de la foule habituelle. Si quelqu'un a l'air trop bizarre, le Détecteur de Dérive le signale pour qu'un garde humain puisse le contrôler. L'idée est que si un fauteur de troubles tente de se déguiser, il pourrait paraître tellement bizarre que le Détecteur de Dérive le attrapera quand même.
Mais voici le rebondissement : et si les fauteurs de troubles connaissaient les deux vigiles ? Et si, par exemple, ils pouvaient tromper l'IA principale pour lui faire croire qu'ils sont de bons invités, et tromper le Détecteur de Dérive pour lui faire croire qu'ils ont l'air normaux ? Ce document pose précisément cette question. Les chercheurs ont voulu voir si des acteurs malveillants pourraient réussir ce double tour de passe-passe : tromper le système qui attrape les méchants, tout en trompant le système qui attrape les bizarres. Ils ont testé cela en essayant de faire passer des invités « empoisonnés » (qui s'infiltrent dans la liste d'entraînement) et des invités « déguisés » (qui tentent de se glisser par la porte).
Le casse du double aveugle
Les chercheurs ont mis en place un casse numérique pour voir comment ces deux systèmes de sécurité fonctionnent ensemble face à un attaquant. Ils ont utilisé des données réelles provenant de deux « quartiers » différents (des jeux de données appelés Bodmas et Androzoo) contenant des milliers d'échantillons de logiciels. La victime (le propriétaire du club) disposait de deux outils principaux : un Classificateur de Malware (le videur principal) et un Détecteur de Dérive (le surveillant de la bizarrerie). L'objectif de l'attaquant était simple mais subtil : faire en sorte qu'un malware ressemble à une application inoffensive pour le videur, et s'assurer qu'il ne paraisse pas assez « bizarre » pour être signalé par le surveillant de la bizarrerie.
L'attaquant avait également des règles à respecter, tout comme un vrai criminel cherchant à rester sous les radars. Il ne pouvait pas briser la fonctionnalité du malware (l'application devait toujours fonctionner) ni changer son format de fichier. Il pouvait seulement ajuster certaines caractéristiques, comme ajouter de l'espace supplémentaire ou modifier certains nombres, mais il ne pouvait pas supprimer des éléments essentiels au fonctionnement du fichier. Il n'avait pas non plus un accès total aux caméras de surveillance du club ; il ne connaissait que 10 % des invités et devait construire ses propres modèles « substituts » (de faux systèmes de sécurité) pour s'entraîner à ses tours avant de les tester sur le vrai système.
Les résultats surprenants
Les chercheurs ont testé deux types principaux d'attaques : l'Évasion (faire glisser un malware déguisé devant les gardes) et l'Empoisonnement (faire s'infiltrer de faux « bons invités » dans la liste d'entraînement afin que les gardes apprennent les mauvaises leçons).
La surprise de l'Évasion :
Lorsque les chercheurs ont tenté de faire passer un malware devant le système en ajoutant de petites « perturbations » (de minuscules changements) aux fichiers, ils ont découvert quelque chose de contre-intuitif. Habituellement, dans le monde de l'IA, des changements plus importants permettent de plus facilement tromper un classificateur. Si vous changez assez un visage, l'IA cesse de le reconnaître. Mais ici, le Détecteur de Dérive a agi comme un videur strict qui déteste tout changement.
Lorsque les attaquants rendaient le malware trop différent pour tromper le videur principal, le Détectur de Dérive devenait suspicieux. Il voyait ces fichiers fortement modifiés comme étant « hors distribution » — c'est-à-dire qu'ils ne ressemblaient en rien à la foule normale. Le Détecteur de Dérive les signalait comme bizarres, et le garde humain les arrêtait. L'étude a révélé que pour les systèmes utilisant un type spécifique de Détecteur de Dérive appelé CADE (qui utilise un auto-encodeur contrastif), rendre la perturbation plus grande en réalité nuisait à l'attaque. Plus le déguisement était important, plus le Détecteur de Dérive avait de chances de le repérer. Les attaquants devaient être incroyablement précis, trouvant un « point d'équilibre » où le malware paraissait assez normal pour le Détecteur de Dérive tout en trompant le classificateur principal.
Le paradoxe de l'Empoisonnement :
L'attaque par empoisonnement était encore plus intéressante. L'attaquant a tenté d'introduire des malwares avec une « porte dérobée » (backdoor) déguisés en applications inoffensives. L'idée était la suivante : si le propriétaire du club réentraînait son système de sécurité en utilisant ces faux invités, le nouveau système laisserait passer le vrai malware plus tard.
Cependant, les chercheurs ont découvert qu'ajouter plus d'invités empoisonnés n'aidait pas toujours. En fait, pour le Détecteur de Dérive basé sur CADE, ajouter trop d'échantillons empoisonnés faisait échouer l'attaque. Pourquoi ? Parce que l'« espace de représentation » (espace d'embedding) du Détecteur de Dérive a une capacité limitée. Lorsqu'on entassait trop d'échantillons empoisonnés dans la zone des « bons invités » de la carte, le système devenait confus. Pour donner un sens à tous ces nouveaux échantillons légèrement différents, le Détecteur de Dérive commençait à les repousser du centre de la foule des « bons invités » pour rester organisé. Cela rendait les échantillons empoisonnés bizarres à nouveau, provoquant le signalement par le Détecteur de Dérive. Le document suggère que plus vous essayez de fourrer des choses dans le système, plus le système en rejette les mauvaises.
Ce que cela signifie pour l'avenir
Le document conclut que l'attaque d'un système combinant un classificateur et un détecteur de dérive est un équilibre délicat. Il ne s'agit pas seulement de faire passer le malware pour un gentil, mais de s'assurer qu'il ne paraît pas trop différent de la foule.
Les chercheurs ont découvert que le type de Détecteur de Dérive est crucial. Les systèmes comme Transcendent (qui utilisent une méthode différente basée sur la confiance statistique) étaient plus faciles à tromper avec de grands changements que CADE. Mais pour CADE, les attaquants devaient être très prudents. S'ils poussaient le malware trop loin vers le côté « bénin », celui-ci s'éloignait trop du « centre » de la foule bénigne et se faisait attraper.
En fin de compte, ce document montre que bien que les attaquants puissent être très ingénieux, la manière unique dont ces Détecteurs de Dérive fonctionnent crée un nouveau type de défense. Le mécanisme même qui aide le système à s'adapter aux nouvelles menaces (en remarquant quand les choses paraissent différentes) rend aussi plus difficile pour les attaquants de se cacher à la vue de tous. L'étude suggère que pour briser cette défense, un attaquant devrait choisir ses outils (modèles substituts) et ses ruses (fonctions de perte) avec une précision extrême, en s'alignant parfaitement sur la façon dont le Détecteur de Dérive perçoit le monde. C'est un jeu de chat et de la souris où la souris doit être juste assez bizarre pour être invisible, mais pas trop bizarre pour se faire attraper.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.