Comparison of Multiple Classifiers for Android Malware Detection with Emphasis on Feature Insights Using CICMalDroid 2020 Dataset

Résumé Technique : Comparaison de multiples classifieurs pour la détection de malwares Android avec accent sur l'analyse des caractéristiques utilisant le jeu de données CICMalDroid 2020

Énoncé du problème
Les cycles de publication rapides des magasins d'applications publics permettent aux malwares Android de se propager plus rapidement que les scanners traditionnels basés sur les signatures ne peuvent réagir. Alors que les premières méthodes de détection reposaient sur des signaux statiques (manifestes, permissions) ou une analyse dynamique (appels système), le domaine s'est déplacé vers de vastes ensembles de caractéristiques et des représentations apprises. Cependant, il existe toujours un besoin de détecteurs fiables qui utilisent des jeux de données complets, des évaluations rigoureuses et des moteurs de décision interprétables afin d'éviter les pièges des signatures manuelles et du sandboxing intensif.

Méthodologie
L'étude a utilisé le jeu de données CICMalDroid 2020, comprenant 17 341 applications Android collectées entre 2017 et 2018. Le jeu de données comprend cinq classes : Benign (Bénin), Adware (Publicité malveillante), Banking malware (Malware bancaire), SMS malware (Malware SMS) et Riskware (Logiciel à risque).

• Extraction de caractéristiques : Les auteurs ont construit un vecteur de caractéristiques hybride en fusionnant des données statiques et dynamiques.
  • Caractéristiques statiques : Dérivées de journaux JSON couvrant les intents, les permissions, les services, le nombre de fichiers, l'obfuscation et les balises de méthodes.
  • Caractéristiques dynamiques : Capturées via l'introspection de la machine virtuelle CopperDroid, incluant les appels système, les appels binder et les comportements composites (ex: accès au système de fichiers, lecture/écriture réseau).
  • Traitement : Les vecteurs initiaux étaient massifs (50 612 statiques, 470 dynamiques). Après un seuillage de la variance (0,1) et la gestion des valeurs manquantes, les vecteurs ont été réduits à 301 caractéristiques statiques et 263 dynamiques, concaténés en un vecteur hybride de 564 dimensions, et normalisés par L2.
• Design expérimental :
  • Division des données : Une répartition stratifiée de 70 % pour l'entraînement et 30 % pour le test.
  • Schémas de prétraitement : Trois approches ont été évaluées :
    1. Original : Caractéristiques hybrides brutes.
    2. PCA : Analyse en composantes principales conservant 95 % de la variance.
    3. LDA : Analyse discriminante linéaire projetant sur des axes de séparation de classes.
  • Classifieurs : Sept modèles ont été testés : XGBoost, CatBoost, Random Forest, Extra Trees, HistGradientBoosting, K-Nearest Neighbors (KNN) et Support Vector Machines (SVM).
  • Métriques d'évaluation : Précision (Accuracy), Précision (Precision), Rappel (Recall), Score F1 et matrices de confusion.

Contributions clés

1. Utilisation de jeux de données : Assemblage et traitement d'un jeu de données hybride équilibré de plus de 17 000 applications avec des métadonnées riches et des journaux de comportement à travers plusieurs familles de malwares.
2. Analyse exploratoire : Réalisation d'une analyse approfondie incluant la distribution des classes, des cartes de corrélation (heatmaps) et des visualisations (LDA et t-SNE) pour comprendre les relations entre les caractéristiques et la séparabilité des classes.
3. Benchmarking complet : Évaluation de sept classifieurs sous trois schémas de prétraitement distincts, établissant des lignes de base de performance.
4. Interprétabilité : Emploi d'un arbre de décision de substitution de profondeur deux pour identifier et résumer les principaux moteurs de décision des modèles.

Résultats

• Performance des classifieurs :
  • Caractéristiques originales : Les méthodes de boosting de gradient ont surpassé toutes les autres. XGBoost a obtenu la performance la plus élevée avec 0,9747 de précision (accuracy), 0,9703 de précision (precision), 0,9731 de rappel (recall) et 0,9716 de score F1. HistGradientBoosting a suivi de près (0,9741 de précision, 0,9708 de F1). CatBoost et Random Forest étaient légèrement inférieurs mais compétitifs (~0,968 de précision). KNN et SVM accusaient un retard significatif (précision < 0,89).
  • PCA : La réduction de dimensionnalité via PCA a dégradé la performance de tous les modèles. La précision de XGBoost est tombée à 0,9164, et le F1 à 0,8988, suggérant qu'un signal utile, particulièrement issu des caractéristiques dynamiques, a été perdu.
  • LDA : La LDA a maintenu une précision dans la zone des 90 % (ex: XGBoost à 0,9221) et a clarifié les clusters séparables dans les projections, mais n'a pas égalé la performance de l'ensemble de caractéristiques original.
• Aperçus spécifiques aux classes : Le SMS malware (la classe la plus large) a atteint des scores F1 quasi parfaits à travers les modèles. Les classes Adware et Benign ont montré des scores F1 plus faibles, particulièrement après la réduction de dimensionnalité.
• Importance des caractéristiques : Une analyse par arbre de substitution a révélé que le nom du package (package name), l'activité principale (main activity) et la cible du SDK (target SDK) étaient les moteurs clés de la prise de décision.

Signification et affirmations
Le papier établit des lignes de base supervisées à haute fidélité pour la détection de malwares Android. Il affirme que des caractéristiques hybrides riches couplées au boosting de gradient (spécifiquement XGBoost) offrent une fondation pratique et interprétable pour le déploiement. L'étude souligne que si la réduction de dimensionnalité (PCA/LDA) peut révéler des motifs distincts, elle sacrifie souvent la précision de la détection en supprimant un signal critique. De plus, l'identification des caractéristiques de métadonnées (comme les noms de packages) comme moteurs primaires souligne la nécessité de prudence face à l'éventuel spoofing par les attaquants. Les auteurs concluent que leurs résultats fournissent une ligne de base robuste et interprétable, suggérant que les travaux futurs devraient se concentrer sur le rafraîchissement des jeux de données et l'exploration de modèles semi-supervisés ou basés sur les transformers.