Evaluation Pitfalls and Multimodal Baselines for the \dataset{} IoT Malware Dataset

In de digitale wereld fungeren beveiligingsonderzoekers als artsen van het immuunsysteem voor computers. Ze bouwen hulpmiddelen om kwaadaardige software, of malware, op te sporen voordat het schade kan aanrichten. Om deze hulpmiddelen te trainen, hebben ze enorme bibliotheken aan gegevens nodig: opnames van hoe computers zich gedragen wanneer ze gezond zijn, en opnames van hoe ze zich gedragen wanneer ze ziek zijn. De kwaliteit van de trainingsdata bepaalt hoe goed de resulterende beveiligingsinstrumenten werken. Als de data gebrekkig zijn, zullen de instrumenten in de echte wereld falen, waarbij ze vaak gevaarlijke dreigingen missen of valse alarmen veroorzaken. Een grote uitdaging in dit veld is ervoor zorgen dat de manier waarop onderzoekers hun data verdelen in trainings- en testgroepen niet per ongeluk voor een bias zorgt. Als een computerprogramma tijdens de training een specifiek stuk malware ziet en vervolgens tijdens de test precies hetzelfde stuk ziet, leert het niet echt nieuwe dreigingen te detecteren; het heeft simpelweg het antwoord uit het hoofd geleerd. Bovendien moeten onderzoekers beslissen of ze een beveiligingsinstrument beoordelen op basis van hoe goed het individuele momenten van verdachte activiteit vangt, of op basis van hoe goed het volledige geïnfecteerde programma's identificeert, wat een zeer verschillende taak kan zijn.

Een team van onderzoekers van Tarim University richtte zich onlangs op een nieuwe en ongewoon gedetailleerde databibliotheek genaamd CIC-YNU-IoTMal2026. Deze dataset is een schatkist voor beveiligingsexperts omdat het drie verschillende soorten informatie gelijktijdig vastlegt voor duizenden computerprogramma's. Het legt het netwerkverkeer vast dat in en uit stroomt, de systeemactiviteit zoals CPU-gebruik, en de specifieke lijst met commando's die het programma aan het besturingssysteem geeft. Deze programma's werden uitgevoerd op vier verschillende soorten computerchips om te zien of de beveiligingsinstrumenten werkzaam konden zijn over verschillende hardware heen. De onderzoekers bouwden geen nieuw beveiligingsinstrument; in plaats daarvan traden ze op als auditors. Ze onderzochten de dataset zelf om te zien of de standaardwijzen om beveiligingsinstrumenten op deze data te testen, ernstige problemen verborgen. Ze wilden weten of de hoge scores die door andere onderzoekers werden gerapporteerd echt waren, of dat ze het resultaat waren van subtiele fouten in de manier waarop de data werd gehanteerd.

De audit begon met het kijken naar hoe de data werd verdeeld. De meest gebruikelijke methode is om alle opgenomen momenten van activiteit willekeurig te husselen, waarbij sommige in een trainingsstapel worden geplaatst en andere in een teststapel. De onderzoekers ontdekten dat deze aanpak fundamenteel gebrekkig was voor deze specifieke dataset. Omdat de data volledige programma's vastlegt, betekende het husselen van de momenten dat de teststapel momenten bevatte van programma's die al in de trainingsstapel zaten. Sterker nog, elk testmoment deelde zijn ouderprogramma met de trainingsset, en een klein percentage van de testmomenten waren exacte duplicaten van trainingsmomenten. Dit betekende dat elk beveiligingsinstrument dat op deze manier werd getest, in feite werd beoordeeld op vragen waarvan het de antwoorden al had gezien. Hoewel dit de scores op deze specifieke dataset niet kunstmatig opblompte, betekende het wel dat de resultaten niet te vertrouwen waren voor het voorspellen van hoe goed een instrument zou werken op werkelijk nieuwe, ongeziene programma's. De onderzoekers concludeerden dat de enige eerlijke manier om deze instrumenten te testen is door volledige programma's bij elkaar te houden, zodat ervoor wordt gezorgd dat geen enkel programma zowel in de trainings- als in de testgroep voorkomt.

Zelfs toen de onderzoekers de methode voor het verdelen van de data corrigeerden, ontdekten ze een tweede, meer verraderlijk probleem. De dataset bevat duizenden kleine snapshots van activiteit, en veel beveiligingsinstrumenten worden beoordeeld op hoe goed ze deze individuele snapshots vangen. De onderzoekers ontdekten dat deze methode een gevaarlijke foutmodus verbergt. Ongeveer zestien procent van de kwaadaardige programma's in de dataset werd volledig gemist door de beveiligingsinstrumenten. Deze gemiste programma's waren niet geavanceerd; ze waren simpelweg latent. Ze waren uitgevoerd in de testomgeving, maar waren niet "wakker geworden" om hun kwaadaardige activiteiten te starten, waardoor ze er precies uitzagen als onschuldige programma's. Omdat de kwaadaardige programma's die wel wakker werden erg luidruchtig waren en honderden activiteitssnapshots genereerden, domineerden zij de statistieken. De stille, latente programma's werden weggedrukt, waardoor het beveiligingsinstrument veel beter leek dan het in werkelijkheid was. De onderzoekers benadrukten dat men, om een waar beeld van veiligheid te krijgen, het instrument moet beoordelen op de vraag of het het volledige programma vangt, en niet alleen de luidruchtige momenten.

De studie onderzocht ook hoe de instrumenten presteerden wanneer ze geconfronteerd werden met verschillende soorten computerchips. De dataset bevatte programma's die draaiden op vier verschillende architecturen, en de onderzoekers testten of een instrument dat getraind was op drie daarvan, dreigingen op de vierde kon detecteren. De resultaten waren schokkend. Wanneer het instrument werd getest op een specif type chip genaamd ARM, die gebruikelijk is in veel kleine apparaten, stortte het in. Het instrument werd zo onbetrouwbaar dat het onschuldige programma's bijna tachtig procent van de tijd als gevaarlijk markeerde, terwijl het nog steeds bijna alle werkelijke malware ving. Dit falen kwam niet doordat het instrument de malware niet kon herkennen; het kwam doordat de onschuldige programma's op de ARM-chip anders gedroegen dan onschuldige programma's op de andere chips. Het instrument had de verkeerde patronen geleerd voor wat "normaal" eruitzag op die specifieke hardware. De onderzoekers vonden dat dit probleem heel goedkoop opgelost kon worden. Door het instrument slechts een fractie van de onschuldige programma's van de nieuwe chip te tonen — minder dan één procent van de totale data — herstelde de prestatie van het instrument zich onmiddellijk tot bijna perfectie. Dit suggereerde dat de oplossing voor cross-chip beveiliging niet complexe nieuwe algoritmen zijn, maar simpelweg het blootstellen van het instrument aan een paar voorbeelden van de nieuwe omgeving.

Ten slotte keken de onderzoekers naar de verschillende soorten beschikbare data: netwerkverkeer, systeemactiviteit en commando-traces. Ze vonden dat in een gecontroleerde omgeving het combineren van alle drie de soorten data de beveiligingsinstrumenten bijna perfect maakte. Echter, deze perfectie was fragiel. Wanneer de instrumenten gedwongen werden om alleen op netwerkverkeer te vertrouwen, misten ze de latente programma's. Wanneer ze alleen vertrouwden op de commando-traces, faalden ze volledig wanneer de chiparchitectuur veranderde. De meest robuuste combinatie bleek een mix van netwerkverkeer en systeemactiviteit te zijn, wat de specifieke zwakheden van de andere methoden vermeed. De onderzoekers merkten ook op dat het specifieke type wiskundig model dat werd gebruikt om het instrument te bouwen, er nauwelijks toe deed. Of ze nu een eenvoudig lineair model of een complex neuraal netwerk gebruikten, de resultaten waren bijna identiek. Dit bewees dat de belangrijkste factor voor succes niet de verfijning van het instrument was, maar de keuzes die werden gemaakt over hoe de data te splitsen, hoe een succes te definiëren en hoe de verschillende soorten computerchips te behandelen.

Het artikel sluit af met een reeks duidelijke richtlijnen voor iedereen die deze dataset gebruikt. Ze bevelen aan om altijd volledige programma's bij elkaar te houden bij het verdelen van data, resultaten te rapporteren op basis van het feit of volledige programma's worden gevangen in plaats van alleen individuele momenten, en transparant te zijn over hoe onbekende of ongeclassificeerde programma's worden behandeld. Ze dringen onderzoekers er ook toe om hun instrumenten te testen op verschillende soorten computerchips en om te rapporteren hoe sterk de resultaten variëren als het experiment meerdere keren wordt uitgevoerd. De belangrijkste les is dat de weg naar betere beveiliging niet ligt in het bouwen van complexere modellen, maar in het stellen van betere vragen en het gebruiken van schonere data. Door de evaluatiemethoden te verbeteren, kan de gemeenschap ervoor zorgen dat de instrumenten die ze bouwen ook daadwerkelijk werken wanneer ze het hardst nodig zijn.