Comparison of Multiple Classifiers for Android Malware Detection with Emphasis on Feature Insights Using CICMalDroid 2020 Dataset

Technische Samenvatting: Vergelijking van Meerdere Classifiers voor Android-malware Detectie met de Nadruk op Feature-inzichten Gebruikmakend van de CICMalDroid 2020 Dataset

Probleemstelling
De snelle releasecycli van publieke app-stores zorgen ervoor dat Android-malware zich sneller kan verspreiden dan traditionele handtekeninggebaseerde scanners kunnen reageren. Hoewel vroege detectiemethoden vertrouwden op statische signalen (manifests, permissies) of dynamische analyse (system calls), is het veld verschoven naar grote feature-sets en geleerde representaties. Er blijft echter een behoefte aan betrouwbare detectoren die uitgebreide datasets, rigoureuze evaluatie en interpreteerbare beslissingsdrivers gebruiken om de valkuilen van handmatige handtekeningen en zware sandboxing te vermijden.

Methodologie
De studie maakte gebruik van de CICMalDroid 2020 dataset, bestaande uit 17.341 Android-applicaties verzameld tussen 2017 en 2018. De dataset bevat vijf klassen: Benign (onschadelijk), Adware, Banking malware, SMS malware en Riskware.

• Feature Extractie: De auteurs construeerden een hybride feature-vector door statische en dynamische data te combineren.
  • Statische Features: Afgeleid van JSON-logs die intents, permissies, services, bestandstallen, obfuscatie en method tags omvatten.
  • Dynamische Features: Vastgelegd via CopperDroid virtuele machine-introspectie, inclusief system calls, binder calls en samengestelde gedragingen (bijv. toegang tot het bestandssysteem, netwerk lees/schrijfacties).
  • Verwerking: De initiële vectoren waren massief (50.621 statisch, 470 dynamisch). Na variantiedrempelwaarde (0.1) en het afhandelen van ontbrekende waarden, werden de vectoren gereduceerd tot 301 statische en 263 dynamische features, geconcateneerd tot een 564-dimensionale hybride vector, en L2-genormaliseerd.
• Experimenteel Ontwerp:
  • Data Split: Een gestratificeerde 70% training en 30% test split.
  • Preprocessing Schema's: Drie benaderingen werden geëvalueerd:
    1. Original: Ruwe hybride features.
    2. PCA: Principal Component Analysis waarbij 95% van de variantie behouden bleef.
    3. LDA: Linear Discriminant Analysis geprojecteerd op klasse-scheidende assen.
  • Classifiers: Zeven modellen werden getest: XGBoost, CatBoost, Random Forest, Extra Trees, HistGradientBoosting, K-Nearest Neighbors (KNN) en Support Vector Machines (SVM).
  • Evaluatiemetrieken: Accuratesse, Precisie, Recall, F1-score en verwarringsmatrices (confusion matrices).

Belangrijkste Bijdragen

1. Dataset Utilisatie: Een gebalanceerde hybride dataset van 17.000+ apps samengesteld en verwerkt met rijke metadata en gedragslogs over meerdere malwarefamilies.
2. Exploratieve Analyse: Uitgebreide analyse uitgevoerd, inclusclusief klasseverdeling, correlatie-heatmaps en visualisaties (LDA en t-SNE) om de relaties tussen features en de scheidbaarheid van klassen te begrijpen.
3. Uitgebreide Benchmarking: Zeven classifiers geëvalueerd onder drie verschillende preprocessing schema's, waarmee prestatie-baselines werden vastgesteld.
4. Interpreteerbaarheid: Een surrogate decision tree van diepte twee ingezet om de primaire drijvers van modelbeslissingen te identificeren en samen te vatten.

Resultaten

• Prestaties van Classifiers:
  • Original Features: Gradient boosting methoden presteerden beter dan alle anderen. XGBoost behaalde de hoogste prestaties met een accuratesse van 0.9747, precisie van 0.9703, recall van 0.9731 en F1 van 0.9716. HistGradientBoosting volgde nauw (0.9741 accuratesse, 0.9708 F1). CatBoost en Random Forest waren iets lager maar competitief (~0.968 accuratesse). KNN en SVM bleven significant achter (accuratesse < 0.89).
  • PCA: Dimensionaliteitsreductie via PCA verslechterde de prestaties bij alle modellen. De XGBoost-accuratesse daalde naar 0.9164 en de F1 naar 0.8988, wat suggereert dat nuttige signalen, met name van dynamische features, verloren zijn gegaan.
  • LDA: LDA behield accuratessen in de midden-90's (bijv. XGBoost op 0.9221) en verduidelijkte scheidbare clusters in projecties, maar kwam niet in de buurt van de prestaties van de originele feature-set.
• Klasse-specifieke Inzichten: SMS malware (de grootste klasse) behaalde bijna perfecte F1-scores over de modellen heen. Adware en Benign klassen vertoonden lagere F1-scores, vooral na dimensionaliteitsreductie.
• Feature Belangrijkheid: Een analyse via een surrogate tree onthulde dat package name, main activity en target SDK de belangrijkste drijvers waren voor de besluitvorming.

Significantie en Claims
Het paper vestigt hoogwaardige supervised baselines voor Android-malware detectie. Het claimt dat rijke hybride features gekoppeld aan gradient boosting (specifiek XGBoost) een praktische en interpreteerbare basis bieden voor implementatie. De studie benadrukt dat hoewel dimensionaliteitsreductie (PCA/LDA) onderscheidende patronen kan onthullen, het vaak de detectie-accuratesse opoffert door kritieke signalen te verwijderen. Verder onderstreept de identificatie van metadata-features (zoals pakketnamen) als primaire drijvers de noodzaak van voorzichtigheid met betrekking tot potentiële spoofing door aanvallers. De auteurs concluderen dat hun bevindingen een robuuste, interpreteerbare baseline bieden, wat suggereert dat toekomstig werk zich moet richten op dataset-vernieuwingen en het verkennen van semi-supervised of transformer-gebaseerde modellen.