🤖 machine learning

Building an Adversarial Malware Dataset by Family and Type: Generation, Evasion, and Poisoning Evaluation

Ce papier présente un jeu de données publiquement disponible de plus de 77 000 échantillons de logiciels malveillants PE adversariaux dérivés de la collection RawMal-TF, démontrant leurs taux d'évasion élevés face au classificateur EMBER et leur impact significatif dans l'empoisonnement des systèmes de détection basés sur l'apprentissage automatique.

Auteurs originaux : David Košťál, Martin Jureček

Publié 2026-05-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : David Košťál, Martin Jureček

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un jeu à haut risque de « Repérez le Faux » opposant deux équipes : les Défenseurs (experts en cybersécurité) et les Attaquants (pirates informatiques).

Pendant des années, les Défenseurs ont utilisé un arbitre très intelligent et automatisé appelé EMBER. Cet arbitre examine les programmes informatiques (spécifiquement les fichiers Windows) et décide : « Cela ressemble à un virus » ou « Cela semble sûr ». Les Défenseurs entraînent cet arbitre en lui montrant des millions d'exemples de fichiers mauvais et bons.

Les Attaquants, cependant, deviennent plus astucieux. Ils ne se contentent pas d'écrire de nouveaux virus ; ils apprennent à déguiser leurs virus pour que l'arbitre les considère comme inoffensifs. Cela s'appelle une « attaque adversaire ».

Cet article concerne une équipe de chercheurs qui a décidé de construire une immense salle de sport d'entraînement pour les Défenseurs. Ils voulaient créer une vaste collection de virus « déguisés » pour voir à quel point l'arbitre pouvait les repérer, et tester ce qui se passe si l'arbitre est trompé pendant son entraînement.

Voici la décomposition de leur travail, en utilisant des analogies simples :

1. La Matière Première : Le « Zoo de Monstres »

Les chercheurs ont commencé par une collection publique de malwares réels appelée RawMal-TF. Imaginez cela comme un zoo contenant des milliers de vrais monstres dangereux (virus).

Groupe A (Le Zoo Familial) : Ils ont trié ces monstres par leurs « noms de famille » (par exemple, tous les frères « Cheval de Troie », tous les cousins « Logiciel Espion»).
Groupe B (Le Zoo des Types) : Ils les ont triés par leurs « descriptions de poste » (par exemple, « Celui-ci vole les mots de passe », « Celui-ci supprime les fichiers »).

2. Les Artistes du Déguisement : Les « Générateurs »

Pour créer l'ensemble de données adversaire, les chercheurs n'ont pas simplement copié les monstres ; ils ont engagé une équipe d'Artistes du Déguisement (outils logiciels appelés générateurs).

L'Objectif : Prendre un vrai monstre et le modifier juste assez pour que l'arbitre (EMBER) pense qu'il s'agit d'un chiot inoffensif, tout en gardant le monstre capable de faire son travail malveillant.
Les Outils : Ils ont utilisé cinq artistes différents (comme MalwareTotal, MAB-Malware et GAMMA Sections). Certains artistes étaient comme des peintres (ajoutant de la peinture inoffensive au fichier), tandis que d'autres étaient comme des tailleurs (cousant du tissu supplémentaire pour cacher la forme).
Le Résultat : Ils ont créé deux nouvelles collections massives :
- 44 347 monstres déguisés étiquetés par famille.
- 33 596 monstres déguisés étiquetés par type.

Le Tour de Magie : Ces artistes étaient incroyablement bons. Contre l'arbitre standard (EMBER), 98 % des monstres étiquetés par famille et 92 % des monstres étiquetés par type ont réussi à tromper l'arbitre en le faisant croire qu'ils étaient sûrs.

3. L'Expérience d'Entraînement « Empoisonné »

C'est la partie la plus critique de l'article. Les chercheurs se sont demandé : « Que se passe-t-il si nous trompons l'arbitre pendant qu'il apprend ? »

Imaginez que l'arbitre est un étudiant qui révise pour un examen. Les chercheurs ont pris leur nouvelle collection de monstres déguisés et l'ont mélangée au guide de révision de l'étudiant.

Le Piège : Ils ont dit à l'étudiant : « Ces monstres déguisés sont en réalité sûrs. » (En réalité, ils sont toujours dangereux).
Le Test : Ils n'ont empoisonné que 0,5 % du guide de révision (une toute petite quantité).

Le Résultat Choquant :

Avant l'empoisonnement, l'étudiant pouvait attraper environ 74 % des monstres déguisés.
Après avoir été trompé par ce petit 0,5 % de mensonges, la capacité de l'étudiant à attraper les monstres s'est effondrée à seulement 7 %.
La Leçon : Une petite quantité d'informations « empoisonnées » (données mal étiquetées) peut complètement briser la capacité de l'étudiant à faire son travail, même s'il semble toujours bien performer lors des examens réguliers.

4. L'Éclaircie : L'« Entraînement Adversaire »

Les chercheurs ont également testé le scénario inverse. Et si ils mélangeaient les monstres déguisés dans le guide de révision mais les étiquetaient correctement comme « DANGEREUX » ?

Le Résultat : L'étudiant est en fait devenu meilleur. En étudiant les déguisements, l'étudiant a appris à les repérer. Cela s'appelle l'« entraînement adversaire ».
L'Enseignement : Si vous montrez au défenseur les astuces que l'attaquant utilise (et que vous les étiquetez correctement), le défenseur devient beaucoup plus fort.

5. Le Cadeau Final : Une Bibliothèque Publique

Les chercheurs n'ont pas gardé ces résultats pour eux. Ils ont emballé le tout — les monstres originaux, les versions déguisées et toutes les notes sur la façon dont ils ont été déguisés — dans une bibliothèque publique (un ensemble de données).

Pourquoi ? Pour que d'autres chercheurs puissent utiliser cette « salle de sport » afin de construire de meilleurs arbitres qui ne peuvent pas être trompés par ces astuces.
La Contrainte : Ils ont admis que, bien que leurs astuces aient très bien fonctionné contre l'arbitre standard (EMBER), elles étaient moins efficaces contre les « super-arbitres » (logiciels antivirus commerciaux utilisés par de vraies entreprises). Cela signifie que les attaquants ont encore beaucoup de travail à faire pour tromper les meilleures défenses.

Résumé

En bref, cet article est un immense kit de déguisement pour les malwares. Les auteurs ont montré que :

Il est très facile de tromper les détecteurs de malwares par IA actuels avec les bons outils.
Si vous mentez à l'IA pendant son entraînement (même un peu), vous pouvez la briser complètement.
Si vous dites la vérité et montrez à l'IA les déguisements, vous pouvez la rendre beaucoup plus forte.

Ils ont rendu ce kit public afin que les défenseurs puissent s'entraîner à repérer ces déguisements avant que les méchants ne les utilisent réellement.

Résumé technique : Construction d'un jeu de données de malwares adversariaux par famille et par type

Énoncé du problème
Le domaine de la détection des malwares repose de plus en plus sur des classificateurs d'apprentissage automatique (ML), pourtant ces systèmes sont vulnérables aux attaques adversariales où des acteurs malveillants modifient des exécutables pour échapper à la détection tout en préservant leur fonctionnalité. Un écart significatif existe dans la communauté de recherche : il manque des jeux de données à grande échelle, disponibles publiquement, contenant des binaires de malwares réels systématiquement transformés en échantillons adversariaux. Les générateurs adversariaux existants nécessitent souvent des configurations complexes, des ressources informatiques importantes, ou échouent à atteindre des tailles de jeux de données significatives. De plus, la susceptibilité des pipelines de détection basés sur le ML aux attaques par empoisonnement des données — où les données d'entraînement sont contaminées par des échantillons mal étiquetés — reste sous-explorée à grande échelle.

Méthodologie
Les auteurs ont construit un jeu de données complet de malwares adversariaux dérivé de la collection publique RawMal-TF, qui contient des fichiers exécutables portables (PE) réels étiquetés soit par famille (17 familles distinctes), soit par type (14 types, par exemple : cheval de Troie, logiciel espion).

Sélection et déploiement du générateur :
L'étude a utilisé une suite de cinq générateurs automatisés de malwares adversariaux : Pesidious, MAB-Malware, AMG, GAMMA Sections (de SecML Malware) et MalwareTotal.
- Classificateurs cibles : La plupart des générateurs visaient le classificateur EMBER (2018). Pour accroître la diversité et le défi, MalwareTotal a également été adapté pour cibler EMBER2024, un ensemble de fonctionnalités et un modèle plus récents et plus robustes.
- Infrastructure : Les auteurs ont déployé ces générateurs dans un environnement conteneurisé (Docker) sur un serveur NVIDIA DGX Station A100. Ils ont développé un script « d'encadrement » (harness) personnalisé pour gérer l'exécution parallèle, surveiller les blocages de processus et gérer les contraintes de ressources.
- Modifications : Plusieurs générateurs ont nécessité des ajustements de code pour fonctionner dans l'environnement Linux, notamment le remplacement des packers spécifiques à Windows par le packer multiplateforme PEzor et le réentraînement des agents pour prendre en charge les nouveaux classificateurs cibles.
Sélection et filtrage des échantillons :
- Le pipeline a traité les échantillons sources pour générer des variantes adversariales.
- Un algorithme de sélection (Algorithme 1) a été employé pour choisir la meilleure variante adversariale unique par fichier source. Le critère principal était le score EMBER (plus bas est mieux pour l'évasion), avec une contrainte secondaire sur l'augmentation de la taille du fichier (préférant un ratio ≤ 1,5x, avec une limite stricte à 25 Mo).
- Le jeu de données inclut des échantillons indépendamment de leur statut de classification original (malveillant ou bénin) pour assurer la diversité, à condition qu'ils aient été modifiés avec succès.
- Les cas pathologiques (par exemple, des sorties non modifiées, des échantillons effondrés où différentes entrées produisent des sorties identiques) ont été détectés et filtrés.
Métriques d'évaluation :
- Performance d'évasion : Mesurée par la réduction des scores EMBER et le pourcentage d'échantillons classés comme bénins.
- Évasion des antivirus : Évaluée contre VirusTotal (VT), en analysant spécifiquement les taux de détection sur tous les moteurs disponibles et une liste curatée des « Top 10 » des antivirus commerciaux.
- Surcharge : Mesurée par l'augmentation de la taille du fichier.
Expériences d'empoisonnement des données :
Les auteurs ont mené des expériences d'entraînement pour évaluer l'impact de l'empoisonnement des données. Ils ont injecté des échantillons adversariaux dans l'ensemble d'entraînement d'un classificateur LightGBM (entraîné sur les fonctionnalités RawMal-TF) dans des conditions variables :
- Fraction empoisonnée : Le pourcentage des données d'entraînement remplacé par des échantillons adversariaux (variant de 0,1 % à 20 %).
- Taux de transférabilité ( $\tau$ ) : La proportion d'échantillons malveillants injectés qui ont été étiquetés à tort comme bénins. $\tau=0$ représente un entraînement adversarial (étiquettes correctes), tandis que $\tau=1$ représente un empoisonnement maximal (étiquettes incorrectes).

Contributions clés

Jeu de données AdvMal-TF : La publication de deux jeux de données à grande échelle, disponibles publiquement :
- Étiquetés par famille : 44 347 échantillons adversariaux.
- Étiquetés par type : 33 596 échantillons adversariaux.
- Les deux jeux de données incluent des métadonnées riches, notamment les scores EMBER, les scores EMBER2024 et les classifications VirusTotal.
Pipeline de génération évolutif : Un cadre robuste et conteneurisé pour exécuter plusieurs générateurs adversariaux en parallèle, répondant aux problèmes de fiabilité courants dans les outils de recherche sur les malwares.
Analyse de l'empoisonnement : Des preuves empiriques quantifiant la vulnérabilité des classificateurs de malwares aux attaques par empoisonnement des données à petite échelle et l'efficacité de l'entraînement adversarial avec des étiquettes correctes.

Résultats

Taux d'évasion :
- Contre le classificateur EMBER, le jeu de données étiqueté par famille a atteint un taux d'évasion de 98,35 % pour les échantillons initialement détectés, et le jeu de données étiqueté par type a atteint 92,20 %.
- GAMMA Sections et Pesidious se sont révélés particulièrement efficaces contre les antivirus commerciaux sur VirusTotal, bien que les taux d'évasion aient varié considérablement selon le générateur et la cible.
- Les générateurs ciblant EMBER2024 ont obtenu des taux de réussite plus faibles, soulignant la robustesse accrue du modèle plus récent.
Surcharge de taille de fichier : GAMMA Sections a produit les plus grandes augmentations de taille de fichier (souvent >1000 %), tandis que MalwareTotal offrait le meilleur équilibre entre réduction du score et augmentation de la taille.
Impact de l'empoisonnement :
- Haute vulnérabilité : L'injection d'échantillons entièrement mal étiquetés ( $\tau=1,0$ ) représentant seulement 0,5 % des données d'entraînement a augmenté le taux d'évasion du classificateur réentraîné d'une base de 26,1 % à 92,8 % sur le jeu de données étiqueté par famille.
- Entraînement adversarial : À l'inverse, l'injection d'échantillons adversariaux correctement étiquetés ( $\tau=0$ ) a constamment réduit les taux d'évasion en dessous de la base, agissant comme un entraînement adversarial efficace.
- Stabilité des métriques : Les scores F1 sont restés trompeusement stables même alors que les taux d'évasion s'effondraient, indiquant que les métriques standard peuvent échouer à détecter la dégradation de la robustesse adversariale induite par l'empoisonnement.
Caractéristiques du jeu de données : Le jeu de données étiqueté par famille a montré des signes de surapprentissage (F1 de base élevé mais mauvaise généralisation inter-jeux de données), tandis que le jeu de données étiqueté par type a démontré une plus grande diversité et des performances de base plus réalistes.

Signification
L'article affirme que le jeu de données AdvMal-TF comble une lacune critique en ressources en fournissant des binaires adversariaux réels, fonctionnellement préservés, à grande échelle. Les auteurs affirment que cette ressource facilitera les recherches futures sur :

Malwares adversariaux : Comprendre les capacités et les limites des techniques d'évasion actuelles.
Empoisonnement des données : Évaluer la robustesse des pipelines de détection contre la contamination des données d'entraînement.
Robustesse défensive : Permettre le développement de classificateurs plus résilients grâce à un entraînement adversarial avec des échantillons correctement étiquetés.

Le travail souligne que, bien que les générateurs actuels peinent face à des classificateurs avancés comme EMBER2024, la disponibilité de jeux de données diversifiés et à grande échelle est essentielle pour faire progresser les stratégies défensives. Les auteurs concluent que la qualité des données d'entraînement (spécifiquement l'exactitude des étiquettes) est aussi cruciale que le volume des données pour déterminer la robustesse du classificateur.