Towards Certified Malware Detection: Provable Guarantees Against Evasion Attacks

Probleemstelling

Machine learning-gebaseerde statische malware-detectoren zijn kwetsbaar voor adversariële omzeiltechnieken, met name metamorfe mutaties. Aanvallers gebruiken tools zoals PyMetaEngine om de binaire code van een malware-bestand te herschrijven zonder de onderliggende kwaadaardige functionaliteit te veranderen. Deze transformaties verschuiven de feature-vector net genoeg om de beslissingsgrens van het ML-model te kruisen, waardoor een kwaadaardig bestand als onschuldig wordt geclassificeerd.

Traditionele verdedigingen bieden vaak alleen empirische robuustheid (gebaseerd op testen) en geen wiskundige zekerheid. Er is een dringende behoefte aan verdedigingen die formele wiskundige garanties bieden tegen deze feature-space perturbaties, zonder de onderliggende ML-architectuur fundamenteel te hoeven veranderen.

Methodologie

De auteurs stellen een certificeerbaar robuust malware-detectieframework voor dat gebaseerd is op randomized smoothing (geautomatiseerde gladmaking) via feature-ablatie en gerichte ruisinjectie. Het framework bestaat uit twee fasen:

1. Trainingsfase

• Data en Features: Het framework gebruikt het EMBER-dataset voor Portable Executable (PE) bestanden. Er worden 2.381 structurele features geëxtraheerd (bijv. byte-histograms, header-informatie, importbibliotheken) met behulp van LIEF.
• Feature Groepering: Om de semantische coherentie van PE-bestanden te behouden, worden de 2.381 features opgedeeld in disjuncte groepen (ongeveer 50 correlaties per groep).
• Data Augmentatie:
  • Feature Ablatie: Tijdens het trainen worden willekeurige subsets van feature-groepen verwijderd (op 0 gezet). Bijvoorbeeld, 20% van de groepen wordt geablateerd.
  • Ruisinjectie: Op de overgebleven groepen wordt additieve Gaussische ruis toegevoegd ($\epsilon \sim N(0, \rho^2)$).
• Model Training: Een "Smoothed Classifier" (SC) wordt getraind op deze verstoord data. De SC is gebaseerd op LightGBM (een gradient-boosted decision tree), maar leert om robuuste beslissingsgrenzen te vinden die invariant zijn ten opzichte van deze stochastische verstoringen.

2. Inference (Voorspelling) Fase

• Stochastische Aggregatie: In plaats van één voorspelling te doen, genereert het systeem $N$ (bijv. 50) verschillende varianten van het invoerbestand door opnieuw feature-ablatie en ruis toe te passen.
• Meerderheidsstemming: De SC voorspelt het label voor elke variant. Het uiteindelijke label wordt bepaald door meerderheidsstemming (majority vote).
• Certificering (Wilson Score Interval):
  • Op basis van de verdeling van de stemmen wordt een ondergrens voor de waarschijnlijkheid ($p_{lower}$) berekend met behulp van het Wilson Score Interval.
  • Als $p_{lower} > 0.5$, is er een statistische garantie dat de meerderheidsvoorspelling correct is.
  • Hieruit wordt een certificeerbaar robuustheidsstraal ($R$) afgeleid. Dit betekent dat het model zijn voorspelling behoudt voor elke adversariële aanval binnen een $L_2$-straal $R$ rondom het originele punt.

Belangrijkste Bijdragen

1. Aanpassing van Randomized Smoothing: Het framework past randomized smoothing succesvol toe op de discrete feature-space van malware (in plaats van continue beeldpixels), door feature-groepering, ablatie en gerichte ruis te combineren.
2. Formele Certificering: Het introduceert een wiskundig mechanisme om robuustheidsgaranties te berekenen voor malware-feature-perturbaties, gebruikmakend van meerderheidsstemming en het Wilson Score Interval.
3. Empirische Validatie: Het framework wordt getest tegen realistische metamorfe aanvalsscenarios (gegenereerd via PyMetaEngine) en synthetische ruis, waarbij bewezen wordt dat het robuuster is dan onbeschermde basismodellen.
4. Architectuur-onafhankelijkheid: De methode werkt niet alleen voor traditionele ML-modellen (LightGBM), maar generaliseert ook naar deep learning-architecturen (MalConv).

Resultaten

De experimenten zijn uitgevoerd op een dataset van 26.452 malware- en benign-bestanden.

• Robuustheid tegen Synthetische Ruis:
  • Bij een ruisniveau van 40% (waarbij 40% van de feature-groepen beschadigd is), daalt de recall van de standaard Base Classifier (BC) naar 86,97%.
  • De Smoothed Classifier (SC) behoudt een recall van 99,62% en een nauwkeurigheid van 99,32%.
• Robuustheid tegen Metamorfe Aanvallen (PyMetaEngine):
  • Bij gecombineerde aanvallen (metamorfe mutatie + 10% ruis) daalt de recall van de BC naar 94,77%.
  • De SC behoudt een recall van 99,86%, wat aantoont dat metamorfe transformaties op zichzelf niet voldoende zijn om de SC te omzeilen, en dat de SC zeer resistent is tegen gecombineerde aanvallen.
• Generalisatie naar MalConv:
  • Bij toepassing op MalConv (een deep learning model dat werkt op ruwe bytes) behoudt de SC ook hier zijn robuustheid. Bij 40% corruptie daalt de nauwkeurigheid van de basis-MalConv naar 65,54%, terwijl de Smoothed MalConv 94,76% behoudt.

Betekenis en Conclusie

Dit onderzoek biedt een doorbraak in het veld van beveiligde machine learning voor malware-detectie. Het slaat een brug tussen empirische robuustheid en provable security.

• Formele Garanties: Voor het eerst kunnen malware-detectoren een wiskundige garantie geven dat een voorspelling stabiel blijft binnen een bepaalde straal van perturbaties.
• Praktische Toepasbaarheid: De methode vereist geen wijzigingen in de onderliggende modelarchitectuur (het werkt als een wrapper) en is compatibel met zowel traditionele ML als deep learning.
• Toekomstperspectief: Hoewel de huidige methode gebruikmaakt van vooraf gedefinieerde feature-groepen, biedt het een solide basis voor toekomstig onderzoek naar adaptieve groeperingsmechanismen en verdediging tegen complexere, real-world adversariële families.

Kortom, het paper bewijst dat het mogelijk is om malware-detectoren te bouwen die niet alleen effectief zijn, maar waarvan de weerstand tegen omzeiling wiskundig bewezen kan worden.