A Unified Evaluation of Learning-Based Similarity Techniques for Malware Detection

Probleemstelling

Moderne malware-analysesystemen opereren op enorme schaal, waarbij miljarden bestanden worden verwerkt. Traditionele cryptografische hashes (zoals MD5 of SHA-256) zijn ongeschikt voor deze taken omdat ze "exacte" identiteit vereisen; zelfs een enkele bitwijziging in een bestand resulteert in een volledig andere hash. Dit maakt ze nutteloos voor taken zoals threat hunting, malware-familietoewijzing en clustering, waar aanvallers vaak kleine transformaties (zoals packing, recompilatie of instructieherordening) toepassen om detectie te omzeilen.

Hoewel er bestaande oplossingen zijn, zoals "fuzzy hashing" (bijv. ssdeep, TLSH) en nieuwere machine learning (ML) methoden die embeddings genereren, zijn deze tot nu toe geïsoleerd van elkaar geëvalueerd. Er ontbreekt een uniforme, reproduceerbare benchmark om te bepalen welke methode het beste presteert onder dezelfde voorwaarden en met dezelfde meetcriteria voor real-world security-workloads.

Methodologie

De auteurs presenteren een systematische vergelijking binnen een unificatie-experimenteel raamwerk, gebruikmakend van de grote, openbare EMBER en EmberSim datasets (in totaal 1 miljoen bestanden met statische PE-metadata).

1. Data Voorverwerking (Feature Engineering):

• De ruwe JSONL-metadata van PE-bestanden (headers, imports, entropy, etc.) wordt omgezet naar vaste lengte numerieke vectoren.
• Dit omvat het "flattenen" van hiërarchische structuren, het verwerken van variabele lengte arrays (bijv. imports) via Bag-of-Words vectorisatie (met een vocabulaire van 2048), en het normaliseren van numerieke waarden.

2. Geëvalueerde Benaderingen:
De studie vergelijkt klassieke methoden met drie verschillende ML-architecturen om latent representations (embeddings) te genereren:

• Klassieke Fuzzy Hashing: ssdeep (als baseline).
• Ongeleerde Autoencoder (AE): Een onbewaakte neurale netwerkarchitectuur (symmetrisch MLP) die de data comprimeert naar een 8-dimensionale latent space om ruis te filteren en saliente features te extraheren.
• Diepe Neurale Netwerken (DNN):
  • Binary Classifier: Een diep fully connected netwerk voor malware/benign detectie, waarbij de activaties van een 128-dimensionale embedding-laag worden gebruikt.
  • Multi-class Classifier (AVClass): Een netwerk getraind op de top-200 malware-families (AVClass labels).
• XGBoost (Gradient Boosted Trees):
  • Getraind als binary en multi-class classifier.
  • De embeddings worden gegenereerd door de indexen van de eindbladeren (leaf nodes) in de 100 bomen van het ensemble te registreren (100-dimensionale vector).

3. Evaluatiemetrics:
Alle methoden worden getest met dezelfde afstandsfunctie (Euclidische afstand / L2-norm) en prestatie-indicatoren:

• Classificatie: Accuracy, Precision, Recall, F1-score, AUC.
• Clustering/Similariteit: Silhouette Score, Davies-Bouldin Index, Calinski-Harabasz Index.
• Label Homogeneity@K: Het percentage van de K dichtstbijzijnde buren dat hetzelfde label deelt als de query (essentieel voor threat hunting).

Belangrijkste Bijdragen

1. Unificatie Benchmark Framework: De eerste reproduceerbare studie die klassieke fuzzy hashes en diverse ML-embeddings (onbewaakt, diep leren, boom-gebaseerd) naast elkaar test op een gedeelde dataset.
2. Rigoureuze Feature Engineering: Een gestandaardiseerde pipeline om complexe PE-metadata om te zetten in ML-vriendelijke vectoren.
3. Vergelijkende Analyse: Een diepgaande vergelijking van hoe verschillende ML-methoden (AE, DNN, XGBoost) latent spaces creëren voor zowel detectie als clustering.
4. Empirische Validatie: Het aantonen dat er geen "one-size-fits-all" oplossing is; elke methode heeft specifieke trade-offs.

Resultaten

De resultaten tonen duidelijke verschillen in prestaties afhankelijk van de taak:

• Classificatie (Detectie):

  • XGBoost presteert het beste voor pure classificatie. Het bereikte een binary accuracy van 97,76% en een AUC van 0,9971.
  • Voor multi-class AVClass classificatie overtrof XGBoost de Deep Learning modellen met meer dan 10 procentpunten (90,55% vs 80,15% accuracy).
  • Conclusie: Boom-gebaseerde modellen zijn superieur voor het onderscheiden van malware van goedkeuring of het classificeren van families.

• Similariteit en Clustering (Embeddings):

  • Deep Learning Embeddings (zowel binary als multi-class) creëren een veel beter gestructureerde ruimte voor similariteit dan XGBoost of fuzzy hashes.
  • Label Homogeneity:
    • ssdeep (Klassiek): Bereikte slechts ~40% homogeneity bij Top-K queries.
    • Autoencoder: Bereikte consistent >80% homogeneity, wat een enorme verbetering is.
    • Neurale Embeddings (Binary Classifier): Bereikte 94,51% homogeneity bij K=100.
    • XGBoost Leaf-Embeddings: Presteerde slechter dan neurale netwerken (71,69% bij K=100 zonder AVClass features), tenzij de AVClass labels zelf als input werden gebruikt (wat een "supervision shortcut" creëert en de generalisatie voorstelt).
  • Clustering Metrics: Deep Learning modellen hadden betere Silhouette Scores en Davies-Bouldin Indices, wat aangeeft dat ze families beter van elkaar kunnen scheiden in de vectorruimte dan XGBoost, ondanks dat XGBoost beter classificeert.

• Belangrijke Observatie: Een hoge classificatie-accuraatheid (zoals bij XGBoost) garandeert niet een goed gestructureerde similariteitsruimte. XGBoost kan goed onderscheid maken tussen twee klassen, maar faalt bij het creëren van een fijne, geometrisch coherente structuur voor veelvoorkomende families.

Betekenis en Conclusie

Het paper concludeert dat er geen enkele methode is die op alle dimensies wint.

• Voor snelle, nauwkeurige detectie (binary classification) blijft XGBoost de voorkeursmethode.
• Voor threat hunting, clustering en similariteit zoeken (waarbij men zoekt naar verwante bestanden ondanks variaties) zijn Learning-Based Embeddings (vooral Deep Learning en Autoencoders) superieur aan traditionele fuzzy hashing en boom-gebaseerde leaf-indexen.

De auteurs bepleiten een hybride aanpak: effectieve malware-analysesystemen moeten complementaire technieken integreren. Ze moeten XGBoost gebruiken voor de initiële triage en classificatie, maar diepe neurale netwerken of autoencoders inzetten voor het genereren van embeddings die robuust zijn tegen obfuscatie en effectief werken in similariteitszoekopdrachten.

Toekomstperspectief: De huidige studie is beperkt tot statische metadata. Toekomstig werk moet zich richten op het testen op ruwe binary-bestanden (om direct fuzzy hashing te vergelijken), het integreren van dynamische analyse (runtime gedrag) en het schalen van deze methoden voor miljarden bestanden via benaderende nearest-neighbor zoekopdrachten.