Technische Samenvatting: CAM-gestuurde Saliency Cutout en Beeldgebaseerde Malwareclassificatie

Probleemstelling

Beeldgebaseerde malwareclassificatie zet binaire uitvoerbare bestanden om in grijswaartafbeeldingen om convolutionele neurale netwerken (CNN's) voor analyse te kunnen gebruiken. Hoewel CNN's uitstekende resultaten behalen in dit domein, blijft overfitting een punt van zorg. Dropout en Cutout-regularisatie zijn standaardtechnieken om overfitting tegen te gaan; specifiek maskeert Cutout willekeurige ruimtelijke regio's van trainingsafbeeldingen om het model te dwingen te leren van diverse visuele patronen in plaats van te vertrouwen op enkele lokale kenmerken.

De centrale onderzoeksvraag van dit artikel is of Cutout-regularisatie verbeterd kan worden door de plaatsing van de gemaskeerde regio te sturen met behulp van High-Resolution Class Activation Mapping (HiResCAM). Specifiek onderzoeken de auteurs of het verwijderen van regio's die geïdentificeerd zijn als "lage saliency" (minder belangrijk voor de voorspelling van het model) of "hoge saliency" (meest belangrijk) betere classificatieprestaties oplevert vergeleken met standaard willekeurige Cutout. Een secundair doel is om te bepalen of gedragingen waargenomen in datasets met natuurlijke afbeeldingen (zoals CIFAR-100) vertaalbaar zijn naar het malware-domein, of dat malware-afbeeldingen een andere behandeling vereisen vanwege hun structurele verschillen met natuurlijke afbeeldingen.

Methodologie

De studie maakt gebruik van een gecontroleerd experimenteel ontwerp met ResNet18 als baseline-architectuur. De experimenten worden uitgevoerd op twee datasets:

1. RawMal-TF: Een malware-dataset met 17 families van elk 1.000 monsters, omgezet in standaard grijswaartafbeeldingen.
2. CIFAR-100: Een dataset met natuurlijke afbeeldingen die wordt gebruikt als vergelijkend benchmark.

Experimentele Condities

Vier trainingsscenario's worden vergeleken:

1. Geen Cutout: De baseline met de originele trainingsafbeeldingen.
2. Willekeurige Cutout (Random Cutout): Standaard Cutout waarbij vierkante regio's willekeurig worden geselecteerd.
3. Low-Saliency Cutout: De cutout-regio wordt geselecteerd uit gebieden met een lage activatie in een HiResCAM-kaart gegenereerd door een "docent"-model (een no-cutout ResNet18 getraind op dezelfde data).
4. High-Saliency Cutout: De cutout-regio wordt geselecteerd uit gebieden met een hoge activatie in de HiResCAM-kaart.

Implementatiedetails

• Docent-model (Teacher Model): Een Resnet18 die zonder cutout is getraind, genereert HiResCAM saliency-kaarten voor de trainingsafbeeldingen.
• Augmentatie: Voor elke originele afbeelding worden $M$ geaugmenteerde kopieën gemaakt ($M \in \{4, 8\}$). Elke kopie heeft een vierkante regio gemaskeerd (zwart opgevuld).
• Cutout-gebieden: Experimenten testen maskergroottes die 5%, 10%, 20% en 30% van het beeldareaal beslaan.
• Selectielogica: Voor CAM-gestuurde cutout worden kandidaat-vensters gescoord op basis van gemiddelde saliency. De methode selecteert een venster uit de onderste 10% (low-saliency) of de bovenste 10% (high-saliency) van de kandidaten om diversiteit tussen de $M$ kopieën te garanderen, in plaats van altijd het absolute minimum of maximum te kiezen.
• Trainingsconfiguratie: 100 epochs, SGD-optimizer, batchgrootte 128, leersnelheid 0.1 met cosine scheduling. Drie willekeurige seeds (42, 43, 44) worden gebruikt om robuustheid te beoordelen. Validatiedata wordt nooit gemaskeerd.

Belangrijkste Resultaten

RawMal-TF (Malware) Resultaten

De resultaten voor de malware-dataset zijn negatief met betrekking tot het nut van saliency-gestuurde cutout:

• Superioriteit van de Baseline: De Geen Cutout baseline behaalde de hoogste gemiddelde beste validatienauwkeurigheid (72,83% ± 0,16%).
• Degradatie door Cutout: Alle cutout-condities (Random, Low-Saliency en High-Saliency) resulteerden in een lagere gemiddelde validatienauwkeurigheid dan de baseline.
  • Beste Random Cutout ($M=4$, 30% areaal): 71,55%.
  • Beste Low-Saliency Cutout ($M=4$, 30% areaal): 71,43%.
  • Beste High-Saliency Cutout: ~70,66%.
• Saliency vs. Random: Low-saliency cutout toonde inconsistente resultaten vergeleken met random cutout, met verschillen variërend van -0,56 tot +0,46 procentpunten over verschillende configuraties. High-saliency cutout was consequent slechter dan random cutout, met tekorten tot -2,00 procentpunten.
• Conclusie: Saliency-gestuurde plaatsing verbeterde de malwareclassificatie niet; sterker nog, de standaard willekeurige aanpak presteerde beter dan de gestuurde benaderingen, hoewel beide inferieur waren aan geen augmentatie.

CIFAR-100 (Natuurlijke Afbeeldingen) Resultaten

In contrast hiermee toonden de resultaten voor de dataset met natuurlijke afbeeldingen positieve resultaten voor specifieke saliency-gestuurde strategieën:

• Baseline: Geen Cutout nauwkeurigheid was 62,65% ± 0,57%.
• Verbetering door Low-Saliency: Low-saliency cutout met $M=4$ en 10% areaal behaalde 63,51% ± 0,36%, wat de baseline overtrof met 0,86 procentpunt en de overeenkomstige random cutout met 1,25 procentpunt.
• Degradatie door High-Saliency: High-saliency cutout was consequent schadelijk en presteerde significant slechter dan zowel de baseline als de random cutout in alle configuraties.
• Robuustheid: Low-saliency cutout bleef robuust, zelfs naarmate het maskerareal vergroot werd (20% en 30%), terwijl de prestaties van random en high-saliency cutout snel verslechterden.

Belangrijkste Bijdragen en Betekenis

De primaire bijdrage van het artikel is de empirische demonstratie dat saliency-gestuurde Cutout domeinafhankelijk is.

1. Domeinverschil: De studie stelt vast dat technieken die effectief zijn voor natuurlijke afbeeldingen (specifiek low-saliency cutout) niet automatisch overdraagbaar zijn naar malware-afbeeldingen. In het malware-domein komen de door HiResCAM geïdentificeerde "lage saliency"-regio's niet noodzakelijkerwijs overeen met niet-kritieke achtergrondinformatie, zoals ze dat in natuurlijke afbeeldingen zouden doen.
2. Aard van Malware-afbeeldingen: De auteurs stellen dat malware-afbeeldingen afgeleid zijn van byte-sequenties en binaire structuren (bijv. PE-headers, sectiegrenzen). Een lokale vierkante maskering in een malware-afbeelding kan aaneengesloten byte-regio's verwijderen die cruciale structurele informatie coderen voor familieclassificatie, ongeacht de pixelintensiteit of de saliency-score. Bijgevolg kan het maskeren van deze regio's (zelfs als ze door een docent-model als "lage saliency" worden beschouwd) de representatie beschadigen in plaats van deze te regulariseren.
3. Risico van High-Saliency: De resultaten bevestigen dat het maskeren van high-saliency regio's over het algemeen nadelig is in beide domeinen, omdat de meest discriminerende kenmerken worden verwijderd waar het model op vertrouwt.
4. Toekomstige Richting: Het artikel suggereert dat voor malware, maskeringstrategieën structuurbewust moeten zijn (afgestemd op binaire offsets, PE-secties of entropie-transities) in plaats van uitsluitend te vertrouwen op beeldgebaseerde saliency-kaarten die gebaseerd zijn op aannames van natuurlijke afbeeldingen.

Beperkingen en Reikwijdte

De auteurs vermelden expliciet enkele beperkingen:

• Architectuur-specifiteit: De resultaten zijn uitsluitend gebaseerd op ResNet18; de prestaties kunnen verschillen bij andere architecturen (bijv. ViT, EfficientNet).
• Afbeeldingsrepresentatie: De studie is beperkt tot grijswaartafbeeldingen; andere binair-naar-beeld transformaties zijn niet getest.
• Statistische Kracht: Hoewel drie seeds werden gebruikt, is de steekproefomvang klein en moeten de betrouwbaarheidsintervallen als verkennend worden beschouwd.
• Computatiebudget: De geaugmenteerde trainingssets ($M=4$ of $8$) bevatten meer trainingsvoorbeelden dan de baseline, wat betekent dat de vergelijking niet strikt rekenkracht-gebalanceerd is in termen van optimizer-stappen.

Samenvattend concludeert het artikel dat hoewel saliency-gestuurde Cutout de classificatie van natuurlijke afbeeldingen kan verbeteren, het momenteel geen voordeel biedt — en zelfs schadelijk kan zijn — voor grijswaart malwareclassificatie, wat de noodzaak voor domeinspecifieke augmentatiestrategieën in malware-analyse benadrukt.