🤖 machine learning

Building an Adversarial Malware Dataset by Family and Type: Generation, Evasion, and Poisoning Evaluation

Dit artikel introduceert een publiek beschikbaar gestelde dataset van meer dan 77.000 adversariële PE-malware-voorbeelden afkomstig uit de RawMal-TF-collectie, die hun hoge omzeilingspercentages tegen de EMBER-classificator aantonen en hun aanzienlijke impact bij het vergiftigen van op machine learning gebaseerde detectiesystemen.

Oorspronkelijke auteurs: David Košťál, Martin Jureček

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: David Košťál, Martin Jureček

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een hoog-risico spel voor genaamd "Spot de Vervalste", gespeeld tussen twee teams: de Verdedigers (cybersecurity-experts) en de Aanvallers (hackers).

Jarenlang hebben de Verdedigers gebruik gemaakt van een zeer slim, geautomatiseerd scheidsrechter genaamd EMBER. Deze scheidsrechter bekijkt computerprogramma's (specifiek Windows-bestanden) en beslist: "Dit lijkt op een virus" of "Dit lijkt veilig". De Verdedigers trainen deze scheidsrechter door hem miljoenen voorbeelden van slechte en goede bestanden te tonen.

De Aanvallers worden echter steeds slimmer. Ze schrijven niet alleen nieuwe virussen; ze leren hoe ze hun virussen kunnen vermommen zodat de scheidsrechter denkt dat ze onschadelijk zijn. Dit heet een "adversariële aanval".

Dit artikel gaat over een team onderzoekers dat besloot een enorme trainingsgym te bouwen voor de Verdedigers. Ze wilden een grote collectie "vermomde" virussen creëren om te zien hoe goed de scheidsrechter ze kon opsporen, en om te testen wat er gebeurt als de scheidsrechter tijdens zijn training wordt bedrogen.

Hier is de uiteenzetting van hun werk, met gebruikmaking van eenvoudige analogieën:

1. Het Ruwe Materiaal: De "Monsterdierentuin"

De onderzoekers begonnen met een publieke collectie van echte malware genaamd RawMal-TF. Denk hierbij aan een dierentuin met duizenden echte, gevaarlijke monsters (virussen).

Groep A (De Familiedierentuin): Ze sorteerden deze monsters op hun "achternamen" (bijvoorbeeld: alle "Trojaanse paard"-broers, alle "Spyware"-neven).
Groep B (De Type-Dierentuin): Ze sorteerden ze op hun "baanbeschrijvingen" (bijvoorbeeld: "Deze steelt wachtwoorden", "Deze verwijdert bestanden").

2. De Vermommingkunstenaars: De "Generatoren"

Om de adversariële dataset te creëren, kopieerden de onderzoekers de monsters niet zomaar; ze huurden een team Vermommingkunstenaars in (softwaretools genaamd generators).

Het Doel: Een echt monster nemen en het net genoeg aanpassen zodat de scheidsrechter (EMBER) denkt dat het een onschadelijk puppy is, maar het monster doet nog steeds zijn kwaadaardige werk.
De Hulpmiddelen: Ze gebruikten vijf verschillende kunstenaars (zoals MalwareTotal, MAB-Malware en GAMMA Sections). Sommige kunstenaars waren als schilders (ze voegden onschadelijke verf toe aan het bestand), terwijl anderen als kleermakers waren (ze naaiden extra stof in om de vorm te verbergen).
Het Resultaat: Ze creëerden twee enorme nieuwe collecties:
- 44.347 vermomde monsters met familietags.
- 33.596 vermomde monsters met typetags.

De Magische Truc: Deze kunstenaars waren ongelooflijk goed. Tegen de standaard scheidsrechter (EMBER) slaagden 98% van de monsters met familietags en 92% van de monsters met typetags erin om de scheidsrechter te misleiden tot het denken dat ze veilig waren.

3. Het "Vergiftigde" Trainingsexperiment

Dit is het meest kritieke deel van het artikel. De onderzoekers vroegen zich af: "Wat gebeurt er als we de scheidsrechter bedriegen terwijl hij leert?"

Stel je voor dat de scheidsrechter een student is die studeert voor een toets. De onderzoekers namen hun nieuwe collectie vermomde monsters en mengden deze door de studiegids van de student.

De Valstrik: Ze vertelden de student: "Deze vermomde monsters zijn eigenlijk veilig." (In werkelijkheid zijn ze nog steeds gevaarlijk).
De Test: Ze vergiftigden slechts 0,5% van de studiegids (een klein beetje).

Het Schokkende Resultaat:

Voor de vergiftiging kon de student ongeveer 74% van de vermomde monsters opvangen.
Nadat hij was bedrogen met die kleine 0,5% leugens, daalde het vermogen van de student om de monsters op te vangen tot slechts 7%.
De Les: Een klein beetje "vergiftigde" informatie (verkeerd gelabelde data) kan het vermogen van de student om zijn werk te doen volledig breken, zelfs als hij op reguliere toetsen nog steeds goed lijkt te presteren.

4. De Zilveren Rand: "Adversariële Training"

De onderzoekers testten ook het tegenovergestelde scenario. Wat als ze de vermomde monsters in de studiegids mengden maar ze correct labelden als "GEVAARLIJK"?

Het Resultaat: De student werd eigenlijk beter. Door de vermommingen te bestuderen, leerde de student ze op te sporen. Dit heet "adversariële training".
De Conclusie: Als je de verdediger de trucs laat zien die de aanval gebruikt (en ze correct labelt), wordt de verdediger veel sterker.

5. Het Eindgeschenk: Een Publieke Bibliotheek

De onderzoekers hielden deze resultaten niet voor zichzelf. Ze verpakten alles – de originele monsters, de vermomde versies en alle notities over hoe ze waren vermomd – in een publieke bibliotheek (een dataset).

Waarom? Zodat andere onderzoekers deze "gym" kunnen gebruiken om betere scheidsrechters te bouwen die niet kunnen worden bedrogen door deze trucs.
De Haken: Ze gaven toe dat hoewel hun trucs uitstekend werkten tegen de standaard scheidsrechter (EMBER), ze minder succesvol waren tegen de "super-scheidsrechters" (commerciële antivirussoftware die door echte bedrijven wordt gebruikt). Dit betekent dat aanvallers nog veel werk moeten verzetten om de beste verdedigingen te bedriegen.

Samenvatting

Kortom, dit artikel is een enorme vermommingset voor malware. De auteurs toonden aan dat:

Het zeer makkelijk is om huidige AI-malware-detectoren te bedriegen met de juiste tools.
Als je de AI tijdens zijn training liegt (zelfs een klein beetje), kun je hem volledig breken.
Als je de waarheid vertelt en de AI de vermommingen laat zien, kun je hem veel sterker maken.

Ze hebben deze set aan de wereld vrijgegeven zodat verdedigers kunnen oefenen met het opsporen van deze vermommingen voordat de slechteriken ze echt gebruiken.

Technische Samenvatting: Het Opbouwen van een Adversariaal Malware Dataset per Familie en Type

Probleemstelling
Het veld van malware-detectie is steeds meer afhankelijk van machine learning (ML)-classificators, maar deze systemen zijn kwetsbaar voor adversariale aanvallen waarbij kwaadwillenden uitvoerbare bestanden aanpassen om detectie te ontlopen terwijl de functionaliteit behouden blijft. Er bestaat een aanzienlijke kloof in de onderzoeksgemeenschap: er ontbreekt een groot, publiek beschikbaar dataset met real-world malware-binaire bestanden die systematisch zijn omgezet in adversariale voorbeelden. Bestaande adversariale generators vereisen vaak complexe opstellingen, aanzienlijke rekenkracht, of schalen niet naar betekenisvolle datasetgroottes. Bovendien blijft de vatbaarheid van op ML gebaseerde detectiepijplijnen voor data-vergiftigingsaanvallen—waarbij trainingsdata wordt verontreinigd met verkeerd gelabelde voorbeelden—op grote schaal onderbelicht.

Methodologie
De auteurs hebben een uitgebreide adversariale malware dataset samengesteld, afgeleid van de publieke RawMal-TF-collectie, die real-world Portable Executable (PE)-bestanden bevat die zijn gelabeld naar familie (17 distincte families) of type (14 types, bijv. trojan, spyware).

Selectie en Implementatie van Generators:
Het onderzoek maakte gebruik van een suite van vijf geautomatiseerde adversariale malware-generators: Pesidious, MAB-Malware, AMG, GAMMA Sections (van SecML Malware) en MalwareTotal.
- Doelclassificators: De meeste generators waren gericht op de EMBER (2018)-classificator. Om diversiteit en uitdaging te vergroten, werd MalwareTotal ook aangepast om EMBER2024 aan te vallen, een nieuwere, robuustere feature-set en model.
- Infrastructuur: De auteurs implementeerden deze generators in een gecontaineriseerde omgeving (Docker) op een NVIDIA DGX Station A100-server. Ze ontwikkelden een aangepast "harness"-script om parallelle uitvoering te beheren, vastlopen van processen te monitoren en om te gaan met resource-beperkingen.
- Aanpassingen: Verschillende generators vereisten code-aanpassingen om te functioneren in de Linux-omgeving, waaronder het vervangen van Windows-specifieke packers door het cross-platform PEzor en het opnieuw trainen van agents om nieuwe doelclassificators te ondersteunen.
Selectie en Filtering van Voorbeelden:
- De pijplijn verwerkte bronvoorbeelden om adversariale varianten te genereren.
- Een selectie-algoritme (Algoritme 1) werd ingezet om het beste adversariale variant per bronbestand te kiezen. Het primaire criterium was de EMBER-score (lager is beter voor ontvluchting), met een secundaire beperking op de toename van de bestandsgrootte (voorkeur voor een verhouding ≤ 1,5x, met een harde limiet van 25 MB).
- De dataset bevat voorbeelden ongeacht hun oorspronkelijke classificatiestatus (malicious of benign) om diversiteit te waarborgen, mits ze succesvol zijn aangepast.
- Pathologische gevallen (bijv. niet-aangepaste outputs, ingestorte voorbeelden waarbij verschillende inputs identieke outputs opleveren) werden gedetecteerd en gefilterd.
Evaluatiemetrics:
- Ontvluchtingsprestaties: Gemeten door de reductie in EMBER-scores en het percentage voorbeelden dat als benign wordt geclassificeerd.
- Antivirus-ontvluchting: Geëvalueerd tegen VirusTotal (VT), specifiek met analyse van detectiepercentages over alle beschikbare engines en een gecureerde "Top 10"-lijst van commerciële AV's.
- Overhead: Gemeten door de toename in bestandsgrootte.
Data-vergiftigingsexperimenten:
De auteurs voerden trainingsexperimenten uit om de impact van data-vergiftiging te evalueren. Ze injecteerden adversariale voorbeelden in de trainingsset van een LightGBM-classificator (getraind op RawMal-TF-features) onder variërende condities:
- Vergiftigd Aandeel: Het percentage van de trainingsdata vervangen door adversariale voorbeelden (variërend van 0,1% tot 20%).
- Transferabiliteitsrate ( $\tau$ ): Het aandeel van de geïnjecteerde malicious voorbeelden dat verkeerd gelabeld is als benign. $\tau=0$ vertegenwoordigt adversariale training (correcte labels), terwijl $\tau=1$ maximale vergiftiging vertegenwoordigt (onjuiste labels).

Belangrijkste Bijdragen

AdvMal-TF Dataset: De release van twee grote, publiek beschikbare datasets:
- Familie-gelabeld: 44.347 adversariale voorbeelden.
- Type-gelabeld: 33.596 adversariale voorbeelden.
- Beide datasets bevatten uitgebreide metadata, waaronder EMBER-scores, EMBER2024-scores en VirusTotal-classificaties.
Schalbare Generatiepijplijn: Een robuust, gecontaineriseerd framework voor het parallel draaien van meerdere adversariale generators, waarmee betrouwbaarheidsproblemen die vaak voorkomen in malware-tools voor onderzoek worden aangepakt.
Vergiftigingsanalyse: Empirisch bewijs dat de kwetsbaarheid van malware-classificators voor kleinschalige data-vergiftigingsaanvallen kwantificeert, evenals de effectiviteit van correct gelabelde adversariale training.

Resultaten

Ontvluchtingspercentages:
- Tegen de EMBER-classificator bereikte het familie-gelabelde dataset een 98,35% ontvluchtingspercentage voor oorspronkelijk gedetecteerde voorbeelden, en het type-gelabelde dataset 92,20%.
- GAMMA Sections en Pesidious waren bijzonder effectief tegen commerciële AV's op VirusTotal, hoewel ontvluchtingspercentages aanzienlijk varieerden per generator en doelwit.
- Generators gericht op EMBER2024 bereikten lagere succespercentages, wat de toegenomen robuustheid van het nieuwere model benadrukt.
Bestandsgrootte Overhead: GAMMA Sections produceerde de grootste toename in bestandsgrootte (vaak >1000%), terwijl MalwareTotal de beste balans bood tussen score-reductie en grootte-toename.
Impact van Vergiftiging:
- Hoge Kwetsbaarheid: Het injecteren van volledig verkeerd gelabelde voorbeelden ( $\tau=1.0$ ) die slechts 0,5% van de trainingsdata vertegenwoordigden, verhoogde het ontvluchtingspercentage van de hergetrainde classificator van een baseline van 26,1% naar 92,8% op het familie-gelabelde dataset.
- Adversariale Training: Omgekeerd verlaagde het injecteren van correct gelabelde adversariale voorbeelden ( $\tau=0$ ) consistent de ontvluchtingspercentages onder de baseline, en fungeerde als effectieve adversariale training.
- Stabiliteit van Metrics: F1-scores bleven misleidend stabiel, zelfs terwijl de ontvluchtingspercentages instortten, wat aangeeft dat standaardmetrics mogelijk falen in het detecteren van door vergiftiging veroorzaakte degradatie in adversariale robuustheid.
- Datasetkarakteristieken: Het familie-gelabelde dataset vertoonde tekenen van overfitting (hoge baseline F1 maar slechte generalisatie over datasets), terwijl het type-gelabelde dataset meer diversiteit en realistischere baseline-prestaties vertoonde.

Betekenis
Het artikel stelt dat de AdvMal-TF-dataset een kritieke resourcekloof opvult door real-world, functioneel behouden adversariale binaire bestanden op schaal te bieden. De auteurs beweren dat deze resource toekomstig onderzoek zal faciliteren naar:

Adversariale Malware: Het begrijpen van de mogelijkheden en beperkingen van huidige ontvluchtingstechnieken.
Data-vergiftiging: Het evalueren van de robuustheid van detectiepijplijnen tegen verontreiniging van trainingsdata.
Defensieve Robuustheid: Het mogelijk maken van de ontwikkeling van veerkrachtigere classificators door adversariale training met correct gelabelde voorbeelden.

Het werk benadrukt dat hoewel huidige generators moeite hebben met geavanceerde classificators zoals EMBER2024, de beschikbaarheid van diverse, grootschalige datasets essentieel is voor het vooruitbrengen van defensieve strategieën. De auteurs concluderen dat de kwaliteit van trainingsdata (specifiek de juistheid van labels) even kritiek is als de hoeveelheid data bij het bepalen van de robuustheid van een classificator.