A Hybrid Approach For Malware Classification Using Secondary Features Fusion

Technische Samenvatting: Een Hybride Benadering voor Malware Classificatie door middel van Secundaire Feature Fusie

Probleemstelling
De snelle evolutie van malware, gekenmerkt door polymorfisme, obfuscatie en zero-day varianten, maakt traditionele detectiemethoden ontoereikend. Bestaande anti-malware software faalt vaak bij het detecteren van gevarieerde monsters of bij het classificeren ervan in specifieke families, wat effectieve mitigatie belemmert. Hoewel machine learning (ML) is toegepast op malware-detectie, blijven uitdagingen bestaan met betrekking tot de generalisatie van features over verschillende families, klasse-imbalans in datasets, en de afhankelijkheid van uitsluitend statische of dynamische analyse. Bovendien ontbreken in de veelgebruikte Microsoft Malware Classification Challenge dataset benigne voorbeelden, wat de bruikbaarheid beperkt voor binaire detectie (benigne vs. kwaadaardig) naast multi-class familieclassificatie.

Methodologie
De auteurs stellen een hybride benadering voor die twee afzonderlijke stadia aanpakt: feature engineering en modellering. De methodologie omvat de volgende stappen:

1. Dataset Uitbreiding en Voorbereiding:

   • De studie wijzigt de Microsoft Kaggle dataset door 1.609 benigne gedisassembleerde bestanden (.asm) toe te voegen aan de bestaande 10.868 malware monsters verspreid over negen families.
   • Deze uitbreiding maakt zowel binaire classificatie (malware vs. benigne) als multi-class classificatie (specifieke malware families) mogelijk.
   • Gestratificeerde random sampling met vervanging wordt toegepast om de problemen met klasse-imbalans die inherent zijn aan de originele dataset te mitigeren.

2. Feature Extractie:

   • Primaire Features: Het systeem extraheert Application Programming Interface (API) calls, Dynamic Link Library (DLL) imports, en Operation Code (OpCode) mnemonics uit de .text sectie van gedisassembleerde bestanden.
   • Secundaire Features:
     • OpCodes: Geëxtraheerd als unigrams, gefilterd via een dictionary-gebaseerde selectie (verwijderen van irreguliere/custom OpCodes), en vervolgens getransformeerd naar fixed-length quad-grams en variable-length n-grams.
     • API's en DLL's: Combinatorische analyse bepaalde dat bi-grams de optimale grootte zijn voor deze features, waarbij een balans wordt gevonden tussen nauwkeurigheid en computationele kosten.
   • Ruisreductie: Een frequentieanalyse wordt uitgevoerd om features met een lage frequentie (drempelwaarde < 50) te verwijderen, waardoor alleen representatieve features behouden blijven.

3. Feature Selectie:

   • Een proces van twee stadia voor selectie wordt geïmplementeerd:
     • Primaire Selectie: Dictionary-gebaseerde filtering en frequentieanalyse om irreguliere en zeldzame features te verwijderen.
     • Secundaire Selectie: Evaluatie van filter (Shannon Entropy), wrapper (voorgestelde Backward Selection met gebruik van Random Forest en Regularized Greedy Forest) en embedded (Lasso, XGBoost) methoden.
   • Een op maat gemaakte backward selection algoritme wordt voorgesteld om iteratief de minst belangrijke features te verwijderen totdat een minimum aantal features is bereikt, waardoor de feature set wordt geoptimaliseerd voor specifieke algoritmen.

4. Feature Fusie:

   • In plaats van één enkele beste feature set te selecteren, voeren de auteurs feature fusie uit door de unie te nemen van de beste features uit alle representaties (API bi-grams, DLL bi-grams, quad-grams en variable-length grams) om een uitgebreide inputmatrix te creëren.

5. Algoritme Fusie (Ensemble):

   • Tien base classifiers worden geëvalueerd, waaronder CART, Naive Bayes, SVM, Logistic Regression, kNN, Neural Networks, Random Forest, AdaBoost, XGBoost en LightGBM.
   • Een weighted voting-gebaseerd ensemble wordt geconstrueerd met behulp van de top vijf presterende classifiers.
   • Gewichten voor elke classifier worden bepaald met behulp van Sequential Least Squares Programming (SLSQP) om de log loss op de testset te minimaliseren.
   • De uiteindelijke voorspelling wordt afgeleid door de geometrische gemiddelde van de gewogen waarschijnlijkheidsoutputs van de ensembleleden te berekenen.

Belangrijkste Bijdragen

• Dataset Modificatie: Het uitbreiden van de Microsoft dataset met benigne samples om zowel binaire als multi-class classificatietaken te faciliteren.
• Feature Engineering: Het gebruik van een combinatie van API calls, DLL imports en OpCode n-grams (specifiek quad-grams en variable-length grams) als primaire en secundaire features.
• Gecustomiseerde Feature Selectie: Het voorstellen van een backward selection algoritme en het evalueren van een hybride benadering die filter, wrapper en embedded methoden combineert om de meest waardevolle features te identificeren.
• Duale Fusie Strategie: Het implementeren van zowel feature fusie (combineren van diverse feature sets) als algoritme fusie (weighted voting ensemble) om de detectierobustheid te verbeteren.
• Uitgebreide Evaluatie: Het bieden van een gedetailleerde vergelijking met state-of-the-art methoden, inclusief de winnaars van de originele Microsoft Kaggle challenge en andere recente studies.

Experimentele Resultaten
De voorgestelde methode werd geëvalueerd op een standaard hardware-setup (Intel i7-8700, 16GB RAM) zonder GPU-acceleratie.

• Prestatie-metrieken: Het ensemble model behaalde een nauwkeurigheid van 99,72%, een Area Under the Curve (AUC) van 0,989, en een log loss van 0,01.
• Vergelijking met State-of-the-Art:
  • Vergeleken met de winnaars van de originele Microsoft Kaggle competitie (die een log loss van ~0,0023 behaalden), bereikte het voorgestelde model een iets hogere log loss (0,01) maar met aanzienlijk lagere computationele hulpbronnen (standaard desktop versus Google Compute Engine met 104GB geheugen).
  • De auteurs argumenteren dat de aanpak van het winnende team sterk leunde op encrypted file features en hard-coded hyperparameters specifiek voor de competitie, wat de generaliseerbaarheid potentieel beperkt. In contrast hiermee gebruikt de voorgestelde aanpak features (API, DLL, variable-length n-grams) die traceerbaar zijn naar de functionaliteit van bestanden en beter generaliseren.
  • Vergeleken met een studie van Ahmadi et al. (2016), biedt de voorgestelde methode betere generaliseerbaarheid door features te vermijden die significant variëren met datasetwijzigingen (zoals bestandsgrootte-afhankelijke instructietellingen) en door een robuuster feature selectieproces te gebruiken.

Significantie en Claims
Het artikel claimt dat de voorgestelde hybride benadering effectief malware detectie en familieclassificatie automatiseert. De significantie ligt in de demonstratie dat:

1. Feature Fusie van secundaire features (n-grams) met primaire features (API/DLL) een robuustere inputmatrix creëert dan het gebruik van een enkele feature type.
2. Algoritme Fusie via een weighted voting ensemble superieur is aan individuele base classifiers, waarbij een hoge nauwkeurigheid wordt behaald, zelfs op rekenkracht-beperkte machines.
3. De aanpak generaliseerbaar en praktisch is voor real-world deployment, aangezien het niet vertrouwt op de enorme computationele middelen of competitie-specifieke feature engineering (zoals pixel intensiteit van versleutelde bestanden) die door top-tier Kaggle oplossingen worden gebruikt.
4. De inclusie van benigne bestanden een volledige security workflow mogelijk maakt: eerst bepalen of een bestand kwaadaardig is, en vervolgens de specifieke familie identificeren voor gerichte mitigatie.

De auteurs concluderen dat hoewel hun log loss iets hoger is dan die van de winnaar van de competitie, hun methode een meer duurzame, generaliseerbare en efficiënte oplossing biedt voor malware classificatie. Toekomstig werk is gepland om de fusie tussen hexadecimale en gedisassembleerde data features te onderzoeken en om versleutelde samples in de trainingsset op te nemen.