A Hybrid Approach For Malware Classification Using Secondary Features Fusion

Résumé Technique : Une Approche Hybride pour la Classification de Malwares par la Fusion de Caractéristiques Secondaires

Énoncé du Problème
L'évolution rapide des malwares, caractérisée par le polymorphisme, l'obfuscation et les variantes zero-day, rend les méthodes de détection traditionnelles insuffisantes. Les logiciels antivirus existants échouent souvent à détecter les échantillons variés ou à les classer dans des familles spécifiques, entravant une atténuation efficace. Bien que l'apprentissage automatique (ML) ait été appliqué à la détection de malwares, des défis subsistent concernant la généralisation des caractéristiques entre les différentes familles, le déséquilibre des classes dans les jeux de données, et la dépendance exclusive à l'analyse statique ou dynamique. De plus, le jeu de données largement utilisé du Microsoft Malware Classification Challenge manque d'exemples bénins, ce qui limite son utilité pour la détection binaire (bénin vs malveillant) parallèlement à la classification multi-classes des familles.

Méthodologie
Les auteurs proposent une approche hybride traitant deux étapes distinctes : l'ingénierie des caractéristiques et la modélisation. La méthodologie comprend les étapes suivantes :

1. Extension et Préparation du Jeu de Données :

   • L'étude modifie le jeu de données Microsoft Kaggle en ajoutant 1 609 fichiers désassemblés bénins (.asm) aux 10 868 échantillons de malwares existants répartis sur neuf familles.
   • Cette extension permet à la fois la classification binaire (malware vs bénin) et la classification multi-classes (familles de malwares spécifiques).
   • Un échantillonnage aléatoire stratifié avec remplacement est employé pour atténuer les problèmes de déséquilibre des classes inhérents au jeu de données original.

2. Extraction de Caractéristiques :

   • Caractéristiques Primaires : Le système extrait les appels d'interface de programmation d'application (API), les importations de bibliothèques de liens dynamiques (DLL) et les mnémoniques de codes d'opération (OpCode) de la section .text des fichiers désassemblés.
   • Caractéristiques Secondaires :
     • OpCodes : Extraits sous forme d'unigrammes, filtrés via une sélection basée sur un dictionnaire (suppression des OpCodes irréguliers/personnalisés), puis transformés en quad-grammes de longueur fixe et en n-grammes de longueur variable.
     • APIs et DLLs : Une analyse combinatoire a déterminé que les bi-grammes sont la taille optimale pour ces caractéristiques, équilibrant précision et coût computationnel.
   • Réduction du Bruit : Une analyse de fréquence est réalisée pour écarter les caractéristiques à faible occurrence (seuil < 50), garantissant que seules les caractéristiques représentatives sont conservées.

3. Sélection de Caractéristiques :

   • Un processus de sélection en deux étapes est implémenté :
     • Sélection Primaire : Filtrage basé sur un dictionnaire et analyse de fréquence pour supprimer les caractéristiques irrégulières et rares.
     • Sélection Secondaire : Évaluation des méthodes de filtre (entropie de Shannon), de wrapper (sélection descendante proposée utilisant Random Forest et Regularized Greedy Forest) et intégrées (Lasso, XGBoost).
     • Un algorithme de sélection descendante personnalisé est proposé pour supprimer de manière itérative les caractéristiques les moins importantes jusqu'à atteindre un nombre minimal de caractéristiques, optimisant ainsi l'ensemble de caractéristiques pour des algorithmes spécifiques.

4. Fusion de Caractéristiques :

   • Au lieu de sélectionner un seul meilleur ensemble de caractéristiques, les auteurs effectuent une fusion de caractéristiques en prenant l'union des meilleures caractéristiques de toutes les représentations (bi-grammes d'API, bi-grammes de DLL, quad-grammes et n-grammes de longueur variable) pour créer une matrice d'entrée complète.

5. Fusion d'Algorithmes (Ensemble) :

   • Dix classifieurs de base sont évalués, incluant CART, Naive Bayes, SVM, Régression Logistique, kNN, Réseaux de Neurones, Random Forest, AdaBoost, XGBoost et LightGBM.
   • Un ensemble basé sur un vote pondéré est construit en utilisant les cinq meilleurs classifieurs performants.
   • Les poids de chaque classifieur sont déterminés à l'aide de la programmation de moindres carrés quadratiques séquentiels (SLSQP) pour minimiser la perte logarithmique (log loss) sur l'ensemble de test.
   • La prédiction finale est dérivée en calculant la moyenne géométrique des sorties de probabilité pondérées des membres de l'ensemble.

Contributions Clés

• Modification du Jeu de Données : Extension du jeu de données Microsoft avec des échantillons bénins pour faciliter les tâches de classification binaire et multi-classe.
• Ingénierie des Caractéristiques : Utilisation d'une combinaison d'appels API, d'importations DLL et de n-grammes d'OpCodes (spécifiquement les quad-grammes et les n-grammes de longueur variable) comme caractéristiques primaires et secondaires.
• Sélection de Caractéristiques Personnalisée : Proposition d'un algorithme de sélection descendante et évaluation d'une approche hybride combinant des méthodes de filtre, de wrapper et intégrées pour identifier les caractéristiques les plus précieuses.
• Stratégie de Double Fusion : Mise en œuvre de la fusion de caractéristiques (combinaison de divers ensembles de caractéristiques) et de la fusion d'algorithmes (ensemble de vote pondéré) pour améliorer la robustesse de la détection.
• Évaluation Complète : Fourniture d'une comparaison détaillée avec les méthodes de pointe, incluant les vainqueurs de l'original Microsoft Kaggle challenge et d'autres études récentes.

Résultats Expérimentaux
La méthode proposée a été évaluée sur une configuration matérielle standard (Intel i7-8700, 16 Go de RAM) sans accélération GPU.

• Métriques de Performance : Le modèle d'ensemble a atteint une précision de 99,72 %, un AUC de 0,989 et une perte logarithmique de 0,01.
• Comparaison avec l'État de l'Art :
  • Comparé aux vainqueurs de la compétition originale Microsoft Kaggle (qui ont obtenu une perte logarithmique de ~0,0023), le modèle proposé présente une perte logarithmique légèrement plus élevée (0,01) mais avec des exigences de ressources computationnelles nettement inférieures (ordinateur de bureau standard contre Google Compute Engine avec 104 Go de mémoire).
  • Les auteurs soutiennent que l'approche de l'équipe gagnante reposait fortement sur les caractéristiques de fichiers chiffrés et des hyperparamètres codés en dur spécifiques à la compétition, ce qui pourrait limiter la généralisation. En revanche, l'approche proposée utilise des caractéristiques (bi-grammes d'API, de DLL et n-grammes de longueur variable) traçables à la fonctionnalité du fichier et qui se généralisent mieux.
  • Comparée à une étude d'Ahmadi et al. (2016), la méthode proposée offre une meilleure généralisation en évitant les caractéristiques qui varient considérablement avec les changements de jeu de données (par exemple, les comptes d'instructions dépendants de la taille du fichier) et en utilisant un processus de sélection de caractéristiques plus robuste.

Signification et Revendications
L'article affirme que l'approche hybride proposée automatise efficacement la détection de malwares et la classification de familles. La signification réside dans la démonstration que :

1. La Fusion de Caractéristiques des caractéristiques secondaires (n-grammes) avec les caractéristiques primaires (API/DLL) crée une matrice d'entrée plus robuste que l'utilisation d'un seul type de caractéristique.
2. La Fusion d'Algorithmes via un ensemble de vote pondéré surpasse les classifieurs de base individuels, atteignant une précision élevée même sur des machines aux ressources limitées.
3. L'approche est généralisable et pratique pour un déploiement réel, car elle ne repose pas sur les ressources computationnelles massives ou l'ingénierie de caractéristiques spécifiques à la compétition (comme l'intensité des pixels des fichiers chiffrés) utilisées par les solutions de haut niveau de Kaggle.
4. L'inclusion de fichiers bénins permet un flux de travail de sécurité complet : d'abord déterminer si un fichier est malveillant, puis identifier sa famille spécifique pour une atténuation ciblée.

Les auteurs concluent que bien que leur perte logarithmique soit légèrement supérieure à celle du vainqueur de la compétition, leur méthode offre une solution plus durable, généralisable et efficace en termes de ressources pour la classification de malwares. Des travaux futurs sont prévus pour étudier la fusion entre les caractéristiques de données hexadécimales et désassemblées et pour inclure des échantillons chiffrés dans l'ensemble d'entraînement.