How Far Does Entropy Go? Duplicates, Confounding, Drift and Padding in Entropy-Based Detection of Malicious PE Files
Dit artikel toont aan dat entropie-gebaseerde detectie van kwaadaardige PE-bestanden ernstig wordt gecompromitteerd door dataduplicaten, grootte-confounding en adversariële padding, wat onthult dat dergelijke modellen grotendeels bekende secties memoriseren en gemakkelijk kunnen worden omzeild door het toevoegen van onschadelijk lijkende bytes, waardoor robuustere detectiestrategieën noodzakelijk worden.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de digitale wereld vertrouwen experts op het gebied van beveiliging vaak op een eenvoudig wiskundig concept genaamd entropie om gevaarlijke software op te sporen. Stel je een bestand voor als een lange reeks getallen. Als die getallen een voorspelbaar patroon volgen, zoals een verhaal geschreven in gewone Engelse taal of een standaard programma, heeft de reeks een lage entropie; het is ordelijk en gemakkelijk te beschrijven. Maar als de getallen door elkaar gehusseld zijn, zoals een bericht dat in een kluis is opgesloten of een bestand dat is gecomprimeerd om ruimte te besparen, heeft de reeks een hoge entropie; het ziet er willekeurig en chaotisch uit. Omdat kwaadaardige programma's vaak hun ware aard verbergen door hun code te husselen, scannen beveiligingstools vaak op dit hoge niveau van willekeur. Als een bestand te chaotisch lijkt, markeert het hulpmiddel het als verdacht. Deze methode is snel, goedkoop en breed gebruikt om miljoenen bestanden te sorteren, waarbij wordt beslist welke een nadere blik verdienen en welke genegeerd kunnen worden.
Een nieuw onderzoek door onderzoekers van de Universiteit van Florence en de Universiteit van Pisa stelt echter een kritische vraag: hoeveel kunnen we deze maatstaf van chaos eigenlijk vertrouwen? Het team onderzocht of de willekeur van een specif part sectie van een Windows-uitvoerbaar bestand — de eerste sectie van de code — daadwerkelijk een betrouwbaar teken van gevaar is, of dat het een truc is die gemakkelijk kan worden misleid. Ze analyseerden bijna 43.000 file headers en bijna 800.000 gelabelde monsters uit een belangrijke beveiligingsdataset. Hun werk onthult dat de huidige afhankelijkheid van deze enkele maatstaf veel kwetsbaarder is dan voorheen gedacht, waarbij vaak herhaling wordt verward met gevaar en het volledig faalt wanneer het wordt geconfronteerd met nieuwe, onbekende dreigingen.
De onderzoekers begonnen door te kijken naar een verborgen gebrek in de manier waarop deze beveiligingstools worden getest. Ze ontdekten dat in beide datasets ongeveer 64 procent van de kwaadaardige bestanden de eerste sectie van hun code deelde met ten minste één ander bestand. Dit betekent dat veel verschillende kwaadaardige programma's zijn gebouwd vanuit exact hetzelfde gescrambelde sjabloon. Wanneer beveiligingstools worden getest met behulp van willekeurige verschuivingen, verschijnt hetzelfde sjabloon vaak zowel in de trainingsgroep als in de testgroep. Het hulpmiddel leert niet echt gevaar te herkennen; het memoriseert simpelweg dat specifieke sjabloon. Wanneer de onderzoekers dit corrigeerden door identieke bestanden samen te groeperen, nam het vermogen van het hulpmiddel om nieuwe dreigingen te detecteren aanzienlijk af. In een test die ontworpen was om de werkelijke omstandigheden na te bootsen waarbij het hulpmiddel bestanden ziet die het nog nooit eerder is tegengekomen, werd de op entropie gebaseerde detector bijna nutteloos, waarbij minder dan één procent van de malware werd gevangen bij een veilige foutmarge.
De studie onthulde ook dat de tools vaak vertrouwden op de grootte van het bestand in plaats van op de chaos ervan. In één dataset waren kwaadaardige bestanden toevallig groter dan veilige bestanden, waardoor de detector leerde grote bestanden als gevaarlijk te markeren. Maar toen de onderzoekers dit testten op een andere, grotere dataset, verdween dit verschil in grootte en stortte de prestatie van het hulpmiddel in. Dit bewees dat de detector geen universele regel over malware vond, maar in plaats daarvan een toevalligheid exploiteerde die specifiek was voor die ene collectie gegevens. Bovendien ontdekten ze dat bestanden met lege eerste secties — een veelvoorkomend teken van packing software die wordt gebruikt om code te verbergen — ook vaak in veilige programma's werden gevonden, wat betekent dat dit kenmerk alleen niet kan onderscheiden tussen een virus en een legitieme applicatie.
Misschien wel de meest opvallende bevinding betreft hoe gemakkelijk deze detectoren kunnen worden omzeild. De onderzoekers berekenden de wiskundige limieten van wat er gebeurt wanneer een aanvaller extra, onschadelijke bytes aan het einde van een bestandsectie toevoegt. Ze ontdekten dat een aanvaller bijna altijd genoeg padding kan toevoegen om het uiterlijk van het bestand net genoeg te veranderen om de detector te misleiden, zonder het programma daadwerkelijk te breken. Als de aanvaller in staat is om een grote hoeveelheid padding toe te voegen, kunnen ze garanderen dat de detector de dreiging in meer dan 90 procent van de gevallen mist. Zelfs als de aanvaller probeert subtiel te zijn en slechts een kleine hoeveelheid padding toevoegt, kunnen ze nog steeds een aanzienlijk aantal gevallen ontwijken, vooral als ze de padding zorgvuldig kiezen om op normale, veilige gegevens te lijken.
De onderzoekers onderzochten ook of ze een detector konden bouwen die immuun is voor deze trucs. Ze ontdekten dat een model gebaseerd op een strikte wiskundige regel — dat de totale hoeveelheid informatie in een bestand niet kan afnemen wanneer bytes worden toegevoegd — inderdaad onmogelijk te misleiden zou zijn door padding toe te voegen. Echter, dit "onhackbare" model was zo voorzichtig dat het bijna geen enkele malware detecteerde. Het was een perfecte verdediging tegen evasie, maar een vreselijk hulpmiddel voor het vinden van dreigingen. De studie concludeert dat hoewel entropie een nuttige aanwijzing is, het een fout is om er alleen op te vertrouwen. Het signaal dat het biedt is vaak een reflectie van herhaalde code of bestandsgrootte in plaats van echte kwaadwillendheid, en het kan worden verwijderd met eenvoudige, voorspelbare wijzigingen. Voor effectieve beveiliging moeten experts verder kijken dan deze enkele maatstaf en het combineren met vele andere factoren om het volledige plaatje te zien.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.