A Comparison of Malware Image Transformations Using Grad-CAM and Hybrid Learning Models

Technische Samenvatting: Een Vergelijking van Malware Beeldtransformaties met behulp van Grad-CAM en Hybride Leermodellen

Probleemstelling
Hoewel het omzetten van malware-binaries naar 2D-afbeeldingen effectief is gebleken voor machine learning-gebaseerde detectie en classificatie, varieert de prestatie aanzienlijk afhankelijk van de specifieke gebruikte transformatietechniek. Bovendien blijven de verklaarbaarheid en interpreteerbaarheid van deze op beeld gebaseerde modellen grotendeels onverkend binnen het malware-domein. Hoogpresterende Deep Neural Networks (DNN's) functioneren vaak als "black boxes", wat het vertrouwen en de adoptie door analisten in beveiligingsapplicaties beperkt. Er is een kritieke behoefte om te begrijpen hoe verschillende binary-naar-beeld transformaties zowel de classificatienauwkeurigheid als de structuur van de explainable AI (XAI) verklaringen (met name Gradient-weighted Class Activation Maps, Grad-CAM) beïnvloeden. Daarnaast is het onduidelijk of de visuele patronen die door XAI-tools (heatmaps) worden gegenereerd, voldoende structurele informatie bevatten om te dienen als een secundaire representatie voor classificatietaken.

Methodologie
Het onderzoek maakt gebruik van de RawMalTF-dataset, bestaande uit 1으로,000 malware-monsters verdeeld over 17 verschillende families. Elk monster wordt omgezet in acht verschillende beeldrepresentaties: Grayscale, Entropy Hilbert, Byteclass Hilbert, Hybrid Image Transformation (HIT), Bigram Cartesian, Bigram Polar, Spiral en Byteclass.

De studie hanteert een veelzijdige experimentele aanpak:

1. Modelarchitectuur: Een MobileNetV2 Convolutioneel Neuraal Netwerk (CNN), geïnitialiseerd met ImageNet-gewichten, dient als de ruggengraat voor alle deep learning-experimenten. De architectuur omvat een Global Average Pooling-laag gevolgd door een dense classificatiekop. De training omvat een tweestaps-proces: het bevriezen van de ruggengraat om de kop te trainen, gevolgd door het finetunen van de bovenste 30% van de lagen van de ruggengraat.
2. Grad-CAM Analyse: Grad-CAM heatmaps worden gegenereerd voor elk monster om de regio's te visualiseren die de classificatiebeslissingen aansturen. Deze heatmaps worden kwalitatief en kwantitatief geanalyseerd.
3. Feature Extractie uit XAI: De Grad-CAM heatmaps worden behandeld als input-afbeeldingen. Handmatige kenmerken (hand-crafted features) worden uit deze kaarten geëxtraheerd, waaronder globale intensiteitsstatistieken, geometrische vormkenmerken (Hu-momenten, excentriciteit), Local Binary Patterns (LBP) en Gray-Level Co-occurrence Matrices (GLCM). Klassieke machine learning-modellen (Random Forest, XGBoost, SVM) worden getraind op deze feature-vectoren.
4. Hybride Pipelines:
   • CNN op Overlays: CNN's worden direct getraind op de Grad-CAM overlay-afbeeldingen (de originele afbeelding vermengd met de heatmap).
   • CNN-HOG-XGBoost: CNN-embeddings (van de voorlaatste laag) worden geconcateneerd met Histogram of Oriented Gradients (HOG) kenmerken geëxtraheerd uit de overlay-afbeeldingen, die vervolgens als input dienen voor een XGBoost-classifier.
   • Progressieve Feature Fusie: Embeddings worden geëxtraheerd uit modellen die getraind zijn op zowel de originele als de overlay-afbeeldingen van alle acht transformaties. Deze worden geconcateneerd tot feature-vectoren van toenemende dimensionaliteit (256, 512 en 4096 dimensies) en geclassificeerd met behulp van Random Forest.
5. XAI Evaluatie: De studie vergelijkt Grad-CAM met HiResCAM. Het evalueert verklaringen kwantitatief met behulp van faithfulness-metrieken (Deletion/Insertion AUC, drop top20pct, concentratie) en stabiliteits-metrieken (Spearman correlatie, MSE, SSIM, Top-K overlap) onder input-perturbaties.

Belangrijkste Resultaten

• Nauwkeurigheid vs. Transformatie: De classificatieprestaties variëren sterk per transformatie. De Entropy Hilbert transformatie leverde de hoogste nauwkeurigheid op voor een enkel CNN-model (0.688), terwijl Byteclass Hilbert en Spiral het slechtst presteerden.
• Nauwkeurigheid vs. Verklaarbaarheid: Een belangrijke bevinding is dat classificatienauwkeurigheid en de getrouwheid (faithfulness) van de verklaring niet samenvallen. Bijvoorbeeld, de Bigram Polar transformatie produceerde de meest getrouwe verklaringen (hoogste faithfulness score), maar rangschikte slechts middenmoot qua nauwkeurigheid. Daarentegen behaalde Grayscale een hoge nauwkeurigheid maar een lage faithfulness. Entropy Hilbert bleek de meest gebalanceerde transformatie te zijn, met sterke prestaties in zowel nauwkeurigheid als faithfulness.
• Stabiliteit vs. Faithfulness: Er werd een inverse relatie waargenomen tussen faithfulness en stabiliteit. Transformaties met een hoge faithfulness (bijv. Bigam Polar) vertoonden een lagere stabiliteit onder ruis, terwijl zeer stabiele transformaties (bijv. Byteclass, Grayscale) een lagere faithfulness vertoonden.
• Hybride Prestaties: Hybride benaderingen presteerden consequent beter dan CNN-alleen modellen. De CNN-HOG-XGBoost pipeline bereikte een piek-nauwkeurigheid van 0.731 (met behulp van HIT-afbeeldingen).
• Feature Fusie: Het meest significante resultaat werd bereikt door de embeddings van alle 16 modellen (originele en overlay-afbeeldingen voor alle acht transformaties) te combineren in een 4096-dimensionale feature-vector. Een Random Forest classifier getraind op deze vector bereikte een testnauwkeurigheid van 0.777, waarmee de vorige benchmark van 0.751 voor deze dataset werd overtroffen.
• Grad-CAM vs. HiResCAM: Voor de MobileNetV2 architectuur produceerden Grad-CAM en HiResCAM effectief equivalente verklaringen op de laatste convolutionele laag, met verwaarloosbare verschillen op pixelniveau.
• Familie-moeilijkheidsgraad: Bepaalde families (Noon, Androm, Agensla, Injuke) bleven moeilijk te classificeren in alle experimenten, wat wijst op inherente structurele gelijkenissen die moeilijk te onderscheiden zijn met enkel beeldgebaseerde kenmerken.

Betekenis en Bijdragen
Dit onderzoek biedt een systematische evaluatie van de afruil tussen de keuze van beeldtransformaties, classificatienauwkeurigheid en de kwaliteit van de verklaring in malware-analyse. Het onderzoek toont aan dat:

1. Verklaringen als Data: Grad-CAM heatmaps zijn niet louter visualisatietools; ze bewaren betekenisvolle, familie-onderscheidende structuren en kunnen als input voor classificatie worden gebruikt, wat soms de prestaties overtreft van de originele afbeeldingen.
2. Complementaire Kenmerken: Het combineren van deep learning embeddings met klassieke handmatige kenmerken (HOG) en het aggregeren van representaties over meerdere transformatietypes levert een superieure nauwkeurigheid op vergeleken met single-model benaderingen.
3. Ontkoppeling van Metrieken: Nauwkeurigheid, faithfulness en stabiliteit zijn onderscheidende eigenschappen. Optimalisatie voor de één garandeert niet de optimalisatie voor de anderen, wat een gebalanceerde aanpak noodzakelijk maakt voor praktische beveiligingsapplicaties waar zowel correctheid als robuustheid vereist zijn.
4. Benchmark Verbetering: Door een progressieve feature fusie strategie te hanteren, vestigt de studie een nieuwe state-of-the-art nauwkeurigheid (0.777) voor de 17-families malware dataset, waarmee eerdere benchmarks gebaseerd op HOG-kenmerken alleen zijn overtroffen.

Het werk onderstreept dat hoewel geen enkele transformatie alle metrieken domineert, hybride strategieën en de strategische combinatie van meerdere representaties een levensvatbaar pad bieden naar het bouwen van malware classificatiesystemen die tegelijkertijd accuraat, interpreteerbaar en robuust zijn.