Disentangling Mechanism, Budget, and Coverage in Data Augmentation for Imbalanced Malware Family Classification
Dit artikel ontrafelt de effecten van het generatiemechanisme, het augmentatiebudget en de dekking in diepe generatieve modellen voor ongebalanceerde malware-classificatie, waarbij wordt vastgesteld dat hoewel de meeste factoren verwaarloosbare prestatiewinsten opleveren, het vergroten van het augmentatiebudget een kleine maar reproduceerbare verbetering biedt voor RBF-SVM-classifiers, wat het cruciale belang van experimenteel ontwerp bij het evalueren van dataugmentatiestrategieën benadrukt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de digitale wereld staan beveiligingsteams voor een constante, ongelijke strijd tegen kwaadaardige software. Ze moeten duizenden computerprogramma's sorteren in families op basis van hoe ze zich gedragen, vergelijkbaar met hoe een bioloog planten sorteert op basis van hun bladvormen. Het probleem is dat de gegevens waarop ze vertrouwen sterk scheefgetrokken zijn. Een paar veelvoorkomende families van malware verschijnen duizenden keren in hun registers, terwijl veel zeldzame, opkomende families slechts een handvol keer voorkomen. Wanneer een computerprogramma probeert te leren van deze scheve data, wordt het uitstekend in het herkennen van de veelvoorkomende dreigingen, maar faalt het in het herkennen van de zeldzame, die vaak het gevaarlijkst zijn omdat ze nieuw en onvoorspelbaar zijn. Om dit op te lossen, hebben onderzoekers een techniek geprobeerd genaamd data-augmentatie. Dit houdt in dat er nepvoorbeelden worden gemaakt van de zeldzame families om het computerprogramma te leren hoe het ze kan herkennen. Sommige onderzoekers gebruiken eenvoudige methoden die bestaande voorbeelden kopiëren en licht aanpassen, terwijl anderen complexe, deep-learning-systemen gebruiken die proberen vanuit het niets te verbeelden hoe een nieuw voorbeeld eruit zou moeten zien. Het heersende verhaal is geweest dat de complexere, fantasierijkere systemen betere nepdata produceren en daarom leiden tot betere beveiligingsinstrumenten.
Een team van onderzoekers aan de San Jose State University besloot te testen of dit verhaal eigenlijk waar was. Ze wilden zien of de chique, complexe systemen werkelijk superieur waren, of dat het succes van deze instrumenten simpelweg te maken had met hoeveel nepvoorbeelden ze creëerden en welke families ze kozen om op te focussen. Hiervoor bouwden ze een gecontroleerd experiment met een dataset van bijna 1.200 kwaadaardige programma's die twintig verschillende families vertegenwoordigen. Ze namen twintig verschillende families, variërend van die met slechts vijf bekende monsters tot die met honderdvijftig, en creëerden een trainingsomgeving waarin de computerprogramma's moesten leren deze te identificeren. De onderzoekers vergeleken vervolgens drie verschillende soorten leersystemen: een random forest, die beslissingen neemt door een reeks ja-of-nee-vragen te stellen; een neuraal netwerk, dat leert via lagen van verbindingen; en een support vector machine, die grenzen tussen groepen trekt op basis van hoe ver ze van elkaar verwijderd zijn. Ze testten deze systemen met twee verschillende manieren om de malware te beschrijven: één die telde hoe vaak specifieke computerinstructies voorkwamen, en een andere die die instructies omzette in wiskundige coördinaten om hun betekenis te vangen.
De onderzoekers stelden een strikte set regels op om een eerlijke vergelijking te garanderen. Ze stemden het aantal gecreëerde nepvoorbeelden voor elke familie af en zorgden ervoor dat dezelfde families door elke methode werden aangepakt. Hierdoor konden ze drie specifieke factoren isoleren: de methode die werd gebruikt om de nepdata te creëren, het totale aantal gegenereerde nepvoorbeelden en het aantal verschillende families dat deze nepvoorbeelden ontving. Ze vergeleken een eenvoudige methode die interpolaat tussen echte voorbeelden met een complex, niet-afgestemd systeem dat data genereert vanuit ruis. Toen ze naar de resultaten keken, ontdekten ze dat het complexe, generatieve systeem de eenvoudige methode niet consistent overtrof. Sterker nog, voor het meest effectieve leersysteem in hun studie was het verschil tussen het gebruik van de complexe generator en de eenvoudige methode zo klein dat het bijna onzichtbaar was. De studie detecteerde geen significant effect van de complexiteit van de generator, waarbij werd erkend dat hoewel er geen effect werd gevonden, kleinere effecten mogelijk bleven en niet door de analyse werden uitgesloten. In plaats daarvan ontdekten ze dat de meest significante factor simpelweg het aantal toegevoegde nepvoorbeelden was. Wanneer ze het aantal synthetische monsters voor een specifieke familie verhoogden, verbeterde de prestatie van het op afstand gebaseerde leersysteem merkbaar.
De onderzoekers ontdekten ook dat de voordelen van het toevoegen van meer nepdata niet gelijkmatig verdeeld waren over alle typen leersystemen. Het systeem dat vertrouwt op het meten van afstanden tussen datapunten was het enige dat een duidelijke, herhaalbare verbetering liet zien wanneer het aantal nepmonsters toenam. De andere systemen, inclusief de random forest, presteerden zo goed op hun eigen, dat het toevoegen van nepdata weinig tot geen verschil maakte. In sommige gevallen behaalde de random forest de hoogste nauwkeurigheidsscores zonder enige augmentatie. Dit suggereert dat voor bepaalde typen leermiddelen de inspanning om complexe synthetische data te genereren wellicht onnodig is. De studie onderzocht ook of het toevoegen van nepdata aan meer families, in plaats van alleen aan de moeilijkste, hielp. Ze vonden dat het verbreden van de scope om meer families te includeren een kleine boost gaf, maar dat dit ongeveer half zo effectief was als het simpelweg vergroten van het aantal voorbeelden voor de families die al werden aangepakt.
De bevindingen dagen de aanname uit dat meer geavanceerde kunstmatige intelligentie altijd beter is voor deze specifieke taak. De onderzoekers concludeerden dat de gangbare praktijk om verschillende generatieve modellen te vergelijken zonder te controleren voor het aantal gecreëerde voorbeelden, misleidend is. Wanneer het aantal voorbeelden en de doelgerichte families constant worden gehouden, doet de keuze van de generator er veel minder toe dan de hoeveelheid verstrekte data. De meest betrouwbare verbeteringen kwamen voort uit het simpelweg hebben van meer datapunten voor de zeldzame families, een factor die met veel eenvoudigere methoden kan worden bereikt. Voor beveiligingsanalisten betekent dit dat ze, voordat ze investeren in complexe systemen om nieuwe malwarevoorbeelden te generen, eerst moeten overwegen of hun huidige leermiddelen simpelweg ondergetraind zijn door een gebrek aan data. Als ze een systeem gebruiken dat vertrouwt op het meten van afstanden tussen voorbeelden, is het toevoegen van meer data de sleutel. Als ze een systeem gebruiken dat al robuust is, zoals een random forest, is de extra inspanning om complexe synthetische data te generen wellicht de kosten niet waard. De studie beweert niet dat complexe generatoren nutteloos zijn, maar laat zien dat hun voordeel niet zo automatisch of universeel is als voorheen werd aangenomen, en dat de hoeveelheid data vaak belangrijker is dan de methode die wordt gebruikt om het te creëren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.