Better Call Graphs: A New Dataset of Function Call Graphs for Malware Classification
Dit artikel introduceert "Better Call Graphs" (BCG), een uitgebreide en publiekelijk beschikbare dataset van unieke, grootschalige functie-aanroepgrafieken geëxtraheerd uit recente Android-applicaties, ontworpen om de beperkingen van bestaande verouderde en redundante datasets te overwinnen door een meer betrouwbare en diverse malwareclassificatie mogelijk te maken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de digitale wereld zijn mobiele applicaties niet slechts verzamelingen van code; het zijn complexe netwerken van instructies die een telefoon vertellen wat hij moet doen. Om te begrijpen hoe een app zich gedraagt, kijken beveiligingsonderzoekers vaak naar de "function call graph" (functie-oproepgrafiek) van een app. Stel je dit voor als een kaart van een stad waar elk gebouw een specifieke taak is die de app kan uitvoeren, en de wegen die de gebouwen verbinden laten zien welke taken andere taken triggeren. Deze kaart onthult de werkelijke structuur en het gedrag van de app, wat veel betrouwbaarder is voor het opsporen van problemen dan simpelweg naar de naam van de app kijken of naar een paar oppervlakkige details. Deze aanpak is cruciaal omdat kwaadwillenden die schadelijke software, oftewel malware, creëren, vaak proberen hun werk te verbergen door minuscule, cosmetische wijzigingen aan te brengen in de code. Deze wijzigingen kunnen eenvoudige scanners die zoeken naar specifieke tekstpatronen misleiden, maar ze veranderen zelden de onderliggende kaart van hoe de app daadwerkelijk functioneert. Jarenlang heeft het vakgebied van mobiele beveiliging vertrouwd op deze kaarten om dreigingen te vangen, maar de kwaliteit van de kaarten zelf was een grote flessenhals.
Een lange tijd werkten onderzoekers die betere detectiesystemen wilden bouwen met verouderde of gebrekkige kaarten. Veel bestaande collecties van deze app-kaarten werden gebouwd van software die nu decennia oud is, wat een tijd reflecteert waarin mobiele apps veel eenvoudiger waren. Bovendien waren deze oudere collecties vaak gevuld met kopieën van dezelfde app, vermomd met licht afwijkende namen maar met exact dezelfde interne structuur. Dit creëerde een vals gevoel van veiligheid; machine learning-modellen die getraind waren op deze oude, repetitieve kaarten konden zeer hoge scores behalen in tests, niet omdat ze slim waren, maar omdat ze simpelweg de duplicaten hadden onthouden. Wanneer ze geconfronteerd werden met een nieuwe, moderne app, faalden deze modellen vaak volledig. De snelle evolutie van het mobiele ecosysteem betekent dat de dreigingen van vandaag structureel verschillend zijn van die uit het verleden, en de instrumenten die worden gebruikt om ze te bestuderen hadden een serieuze update nodig.
Om dit probleem op te lossen, heeft een team van onderzoekers aan de University at Buffalo een nieuwe, uitgebreide collectie van app-kaarten gemaakt genaamd "Better Call Graphs". Deze dataset is niet alleen een grotere versie van wat eraan voorafging; het is een fundamenteel ander middel dat vanaf nul is opgebouwd met recente software. Het team verzamelde meer dan 125.000 applicatiebestanden uit belangrijke publieke repositories en filterde deze terug naar een definitieve set van ongeveer 10.000 unieke voorbeelden. Ze waren streng op de kwaliteit: ze verwierpen elke app die te klein was om complexe gedragingen te bevatten, verwijderden alle software die vóór 2017 was gecompileerd om moderne relevantie te garanderen, en controleerden rigoureus op duplicaten. Ze gebruikten een verificatiesysteem met meerdere engines om te bevestigen welke apps kwaadaardig waren, waardoor de labels accuraat en betrouwbaar waren. Het resultaat is een dataset die de ware complexiteit van moderne mobiele software vastlegt, met zowel onschuldige apps als diverse soorten malware, waaronder trojans, adware en ransomware.
Toen de onderzoekers standaard detectiemethoden testten op deze nieuwe dataset, waren de resultaten scherp en onthullend. Op oudere, bekende datasets bereikten de beste machine learning-modellen nauwkeurigheidspercentages van bijna 90 procent, waardoor de taak om malware op te sporen bijna opgelost leek. Echter, wanneer deze zelfde modellen werden toegepast op de nieuwe "Better Call Graphs"-dataset, stortte hun prestatie in. De nauwkeurigheid daalde naar rond de 77 procent, en een kritiekere maatstaf voor succes, de macro-F1-score, daalde van bijna 90 procent naar slechts 18 procent. Deze dramatische daling was geen falen van de modellen, maar een bewijs dat de oude datasets misleidend waren geweest. De modellen hadden overgefit op de repetitieve patronen uit het verleden, en wanneer ze werden geconfronteerd met de echte complexiteit en variëteit van moderne apps, hadden ze moeite met generaliseren. De nieuwe dataset legde een aanzienlijke kloof bloot tussen de huidige technologie en de realiteit van moderne mobiele dreigingen.
De studie onderzocht ook hoe de moeilijkheid van detectie in de loop van de tijd verandert. Wanneer de onderzoekers hun modellen trainden op oudere apps en testten op nieuwere, daalde de prestatie nog verder, wat bevestigde dat het landschap van mobiele malware snel verschuift. Dit fenomeen, bekend als concept drift, betekent dat een model dat getraind is op data van vijf jaar geleden, waarschijnlijk ineffectief is vandaag de dag. De nieuwe dataset bevatte ook gedetailleerde informatie over de apps zelf, zoals hun grootte, de machtigingen die ze aanvragen en de specifieke bibliotheken die ze gebruiken, waardoor een meer holistisch beeld van de software mogelijk werd. Ondanks deze rijke details vonden zelfs de meest geavanceerde grafiekgebaseerde modellen het moeilijk om verschillende families van malware binnen de nieuwe dataset te onderscheiden, wat suggereert dat de structurele gelijkenissen tussen verschillende soorten moderne dreigingen veel sterker zijn dan voorheen gedacht.
Uiteindelijk dient dit werk als een noodzakelijke reality check voor het vakgebied van mobiele beveiliging. Door een schone, moderne en niet-redundante collectie van app-kaarten te bieden, hebben de onderzoekers een nieuwe standaard gesteld voor hoe detectiesystemen moeten worden geëvalueerd. De bevindingen suggereren dat de hoge succespercentages gerapporteerd in eerdere studies vaak een illusie waren, gecreëerd door verouderde en repetitieve data. De weg vooruit vereist het ontwikkelen van nieuwe technieken die de echte complexiteit van moderne applicaties kunnen aanpakken, in plaats van te vertrouwen op methoden die alleen werken op de vereenvoudigde, historische versies van het probleem. De dataset is nu publiekelijk beschikbaar, wat een rigoureuze testomgeving biedt voor toekomstig onderzoek en ervoor zorgt dat de volgende generatie beveiligingstools wordt gebouwd op een fundament van waarheid in plaats van herhaling.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.