A Hybrid Approach For Malware Classification Using Secondary Features Fusion

Technisches Resümee: Ein hybrider Ansatz zur Malware-Klassifizierung mittels Fusion sekundärer Merkmale

Problemstellung
Die rasante Evolution von Malware, die durch Polymorphismus, Obfuskation und Zero-Day-Varianten gekennzeichnet ist, macht traditionelle Erkennungsmethoden unzureichend. Bestehende Anti-Malware-Software versagt oft bei der Erkennung variierter Proben oder bei der Klassifizierung in spezifische Familien, was eine effektive Eindämmung erschwert. Obwohl maschinelles Lernen (ML) bereits für die Malware-Erkennung eingesetzt wurde, bleiben Herausforderungen hinsichtlich der Generalisierung von Merkmalen über verschiedene Familien hinweg, der Klassenimbalance in Datensätzen sowie der Abhängigkeit von rein statischer oder dynamischer Analyse bestehen. Zudem mangelt es dem weit verbreiteten Microsoft Malware Classification Challenge-Datensatz an benignen (gutartigen) Beispielen, was dessen Nutzen für die binäre Detektion (benigne vs. maliziös) neben der Multi-Class-Familienklassifizierung einschränkt.

Methodik
Die Autoren schlagen einen hybriden Ansatz vor, der zwei distinkte Phasen adressiert: Feature-Engineering und Modellierung. Die Methodik umfasst die folgenden Schritte:

1. Datensatz-Erweiterung und Vorbereitung:

   • Die Studie modifiziert den Microsoft Kaggle-Datensatz, indem sie 1.609 benigne disassemblierte Dateien (.asm) zu den bestehenden 10.868 Malware-Proben aus neun Familien hinzufügt.
   • Diese Erweiterung ermöglicht sowohl die binäre Klassifizierung (Malware vs. benigne) als auch die Multi-Class-Klassifizierung (spezifische Malware-Familien).
   • Zur Milderung der im Originaldatensatz inhärenten Klassenimbalance wird geschichtete Zufallsstichprobenziehung mit Ersetzung (stratified random sampling with replacement) angewandt.

2. Merkmalsextraktion (Feature Extraction):

   • Primäre Merkmale: Das System extrahiert Application Programming Interface (API)-Aufrufe, Dynamic Link Library (DLL)-Importe und Operation Code (OpCode)-Mnemoniken aus dem .text-Abschnitt der disassemblierten Dateien.
   • Sekundäre Merkmale:
     • OpCodes: Extrahiert als Unigramme, gefiltert mittels einer Wörterbuch-basierten Selektion (Entfernung irregulärer/benutzerdefinierter OpCodes) und anschließend in Fixed-Length Quadgramme sowie Variable-Length N-Gramme transformiert.
     • APIs und DLLs: Kombinatorische Analysen ergaben, dass Bi-Gramme die optimale Größe für diese Merkmale sind, um ein Gleichgewicht zwischen Genauigkeit und Rechenaufwand zu halten.
   • Rauschreduzierung: Eine Frequenzanalyse wird durchgeführt, um Merkmale mit geringem Vorkommen (Schwellenwert < 50) zu verwerfen, wodurch sichergestellt wird, dass nur repräsentative Merkmale beibehalten werden.

3. Merkmalsselektion (Feature Selection):

   • Ein zweistufiger Selektionsprozess wird implementiert:
     • Primäre Selektion: Wörterbuch-basierte Filterung und Frequenzanalyse zur Entfernung irregulärer und seltener Merkmale.
     • Sekundäre Selektion: Evaluierung von Filter- (Shannon-Entropie), Wrapper- (vorgeschlagene Backward Selection mittels Random Forest und Regularized Greedy Forest) und Embedded-Methoden (Lasso, XGBoost).
   • Ein kundenspezifischer Backward-Selection-Algorithmus wird vorgeschlagen, der iterativ die am wenigsten wichtigen Merkmale entfernt, bis eine Mindestanzahl an Merkmalen erreicht ist, um den Merkmalsatz für spezifische Algorithmen zu optimieren.

4. Merkmalsfusion (Feature Fusion):

   • Anstatt nur einen optimalen Merkmalsatz auszuwählen, führen die Autoren eine Merkmalsfusion durch, indem sie die Vereinigung (Union) der besten Merkmale aus allen Repräsentationen (API Bi-Gramme, DLL Bi-Gramme, Quadgramme und Variable-Length Gramme) bilden, um eine umfassende Eingangsmatrix zu erstellen.

5. Algorithmus-Fusion (Ensemble):

   • Zehn Basisklassifikatoren werden evaluiert, darunter CART, Naive Bayes, SVM, Logistische Regression, kNN, Neuronale Netze, Random Forest, AdaBoost, XGBoost und LightGBM.
   • Ein gewichtetes Voting-basiertes Ensemble wird unter Verwendung der fünf leistungsstärksten Klassifikatoren konstruiert.
   • Die Gewichte für jeden Klassifikator werden mittels Sequential Least Squares Programming (SLSQP) bestimmt, um den Log-Loss auf dem Testset zu minimieren.
   • Die endgültige Vorhersage wird durch die Berechnung des geometrischen Mittels der gewichteten Wahrscheinlichkeitsausgaben der Ensemble-Mitglieder abgeleitet.

Zentrale Beiträge

• Modifikation des Datensatzes: Erweiterung des Microsoft-Datensatzes um benigne Proben zur Ermöglichung sowohl binärer als auch Multi-Class-Klassifizierungsaufgaben.
• Feature Engineering: Nutzung einer Kombination aus API-Aufrufen, DLL-Importen und OpCode-N-Grammen (speziell Quadgramme und Variable-Length Gramme) als primäre und sekundäre Merkmale.
• Kundenspezifische Merkmalsselektion: Vorschlag eines Backward-Selection-Algorithmus und Evaluierung eines hybriden Ansatzes, der Filter-, Wrapper- und Embedded-Methoden kombiniert, um die wertvollsten Merkmale zu identifizieren.
• Duale Fusionsstrategie: Implementierung sowohl der Merkmalsfusion (Kombination diverser Merkmalssets) als auch der Algorithmus-Fusion (gewichtetes Voting-Ensemble), um die Robustheit der Erkennung zu erhöhen.
• Umfassende Evaluierung: Bereitstellung eines detaillierten Vergleichs gegen State-of-the-Art-Methoden, einschließlich der Gewinner der ursprünglichen Microsoft Kaggle-Challenge und anderer aktueller Studien.

Experimentelle Ergebnisse
Die vorgeschlagene Methode wurde auf einem Standard-Hardware-Setup (Intel i7-8700, 16GB RAM) ohne GPU-Beschleunigung evaluiert.

• Leistungsmetriken: Das Ensemble-Modell erreichte eine Genauigkeit von 99,72 %, einen Area Under the Curve (AUC) von 0,989 und einen Log-Loss von 0,01.
• Vergleich mit dem Stand der Technik:
  • Im Vergleich mit den Gewinnern der ursprünglichen Microsoft Kaggle-Wettbewerbs (die einen Log-Loss von ~0,0023 erreichten), erzielte das vorgeschlagene Modell einen etwas höheren Log-Loss (0,01), jedoch mit signifikant geringeren Rechenressourcen (Standard-Desktop vs. Google Compute Engine mit 104GB Speicher).
  • Die Autoren argumentieren, dass der Ansatz des Gewinnerteams stark auf verschlüsselte Dateimerkmale und hartcodierte Hyperparameter spezifisch für den Wettbewerb setzte, was die Generalisierbarkeit potenziell einschränkt. Im Gegensatz dazu verwendet der vorgeschlagene Ansatz Merkmale (API, DLL, Variable-Length N-Gramme), die auf die Funktionalität der Datei rückführbar und besser generalisierbar sind.
  • Im Vergleich zu einer Studie von Ahmadi et al. (2016) bietet die vorgeschlagene Methode eine bessere Generalisierbarkeit, da sie auf Merkmale verzichtet, die sich mit Datensatzänderungen signifikant ändern (z. B. dateigrößenabhängige Instruktionszählungen), und einen robusteren Merkmalsselektionsprozess nutzt.

Bedeutung und Behauptungen
Das Paper behauptet, dass der vorgeschlagene hybride Ansatz die Malware-Erkennung und die Familienklassifizierung effektiv automatisiert. Die Bedeutung liegt in der Demonstration, dass:

1. Die Merkmalsfusion von sekundären Merkmalen (N-Gramme) mit primären Merkmalen (API/DLL) eine robustere Eingangsmatrix erzeugt als die Verwendung eines einzelnen Merkmalstyps.
2. Die Algorithmus-Fusion via gewichtetes Voting-Ensemble einzelne Basisklassifikatoren übertrifft und selbst auf ressourcenbeschränkten Maschinen eine hohe Genauigkeit erreicht.
3. Der Ansatz generalisierbar und praktikabel für den realen Einsatz ist, da er nicht auf die massiven Rechenressourcen oder das wettbewerbsspezifische Feature-Engineering (wie die Pixelintensität verschlüsselter Dateien) angewiesen ist, die von Top-Tier-Kaggle-Lösungen verwendet werden.
4. Die Einbeziehung von benignen Dateien einen vollständigen Sicherheitsworkflow ermöglicht: Zuerst die Bestimmung, ob eine Datei maliziös ist, und anschließend die Identifizierung ihrer spezifischen Familie für eine gezielte Eindämmung.

Die Autoren kommen zu dem Schluss, dass ihr Verfahren zwar einen etwas höheren Log-Loss als der des Wettbewerbsgewinners aufweist, aber eine nachhaltigere, generalisierbarere und ressourceneffizientere Lösung für die Malware-Klassifizierung darstellt. Zukünftige Arbeiten planen die Untersuchung der Fusion zwischen hexadezimalen und disassemblierten Datenmerkmalen sowie die Einbeziehung verschlüsselter Proben in den Trainingssatz.