Related Families, Not Label Errors: A Case Study of a Failure Mode in Open-World Malware Evaluation on BODMAS
Dit artikel toont aan dat de slechte prestaties van open-world malware detectie op de BODMAS-benchmark niet worden veroorzaakt door etiketteringsfouten of defecten in de detector, maar door de aanwezigheid van nauw verwante families in de trainingsset die de uit de handel gehouden "nieuwe" monsters feitelijk bekend maken voor ongesuperviseerde nieuwheidsscoringsmethoden.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de digitale wereld bouwen beveiligingsonderzoekers programma's die ontworpen zijn om als wachters te fungeren, die constant scannen op kwaadaardige software die computers bedreigt. Deze programma's zijn getraind om bekende dreigingen te herkennen, maar de echte uitdaging ligt in de "open wereld", waar elke dag geheel nieuwe soorten malware verschijnen. Om te testen of deze wachters werkelijk klaar zijn voor het onbekende, gebruiken onderzoekers een specifieke methode: ze verbergen een hele groep bekende kwaadaardige software uit het trainingsprogramma en vragen vervolgens: "Kan jouw systeem deze nieuwe groep herkennen als iets dat het nog nooit eerder heeft gezien?" Als het systeem de verborgen groep als een vreemde markeert, slaagt het voor de test. Dit proces gaat ervan uit dat de verborgen groep werkelijk uniek is en geen nauwe verwanten heeft in de trainingsdata. Als de verborgen groep een neef is van een groep die het systeem al kent, loopt de test vast, niet omdat het systeem zwak is, maar omdat de gestelde vraag gebrekkig is.
Een team van onderzoekers onderzocht onlangs een verwarrende mislukking in een van de meest gerespecteerde tests voor malwaredetectie, bekend als BODMAS. Ze ontdekten dat wanneer zij een specifieke familie malware genaamd berbew uit de trainingsdata verwijderden, het detectiesysteem spectaculair faalde. In plaats van de verborgen monsters als nieuwe dreigingen te markeren, bestempelde het systeem ze met vol vertrouwen als veilige, bekende software. De resultaten waren zo slecht dat het systeem slechter presteerde dan willekeurige gokken. Op het eerste gezicht leek dit op een catastrofale fout van de detectietechnologie. Echter, de onderzoekers ontdekten dat de fout niet in de intelligentie van de software lag, maar in de structuur van de test zelf. De verborgen berbew-familie had een zeer nauwe verwant, genaamd qukart, die nog in de trainingsdata aanwezig was. Omdat de twee groepen zo vergelijkbaar waren in hun digitale vingerafdrukken, herkende het systeem de verborgen monsters correct als behorend tot een familie die het al kende, ook al kende het niet de specifieke naam van de verborgen groep. De test strafte het systeem af voor het accuraat zijn over de relatie tussen de twee groepen.
Om dit te bewijzen, voerden de onderzoekers een gecontroleerd experiment uit. Ze verwijderden zowel de berbew- als de qukart-families tegelijkertijd uit de trainingsdata, om er zeker van te zijn dat er geen nauwe verwanten achterbleven. Toen ze de test opnieuw uitvoerden, schoot de prestatie van het systeem op de berbew-monsters omhoog van een falende score naar bijna perfecte detectie. Deze dramatische verschuiving bevestigde dat de oorspronkelijke mislukking werd veroorzaakt door de aanwezigheid van een verwante familie in de trainingsset, en niet door een fout in het detectiealgoritme. De onderzoekers waren zorgvuldig in het uitsluiten van andere veelvoorkomende verklaringen. Ze auditeerden de volledige dataset en controleerden duizenden paren malwarefamilies om te zien of er daadwerkelijk duplicaten met verschillende namen tussen zaten, wat voor de verwarring had kunnen zorgen. Ze vonden geen duplicaten onder de meest verdachte paren. Ze onderzochten ook de naamgevingsconventies van antivirusleveranciers, die gerelateerde malware vaak onder één enkele lijnnaam groeperen. Ze ontdekten dat deze namen de problemen niet voorspelden; in één gedocumenteerd geval werden drie families als onderdeel van dezelfde lijn beschouwd, maar slechts twee van hen waren daadwerkelijk nauw genoeg om het systeem te verwarren. De derde was onderscheidend, wat aantoonde dat het blindelings vertrouwen op namen de verkeerde groepen zou hebben samengevoegd en de echte kwestie zou hebben gemist.
Het onderzoek onthulde verder dat deze verwarring specifiek was voor de manier waarop het systeem "nieuwheid" mat. De onderzoekers testten verschillende wiskundige benaderingen om het onbekende op te sporen. Ze ontdekten dat elke methode die een monster vergeleek met een brede, globale samenvatting van alle bekende software, zou falen wanneer een nauwe verwant aanwezig was. Deze methoden zouden het verborgen monster als normaal zien omdat het dicht bij de bekende verwant ligt. Echter, een andere benadering, die een monster alleen vergeleek met zijn dichtstbijzijnde buren, presteerde beter. Het kreeg het antwoord niet volledig goed, maar het draaide het resultaat niet volledig om, wat suggereert dat kijken naar lokale details in plaats van een globaal gemiddelde een veiligere strategie is wanneer nauwe verwanten aanwezig zijn. De onderzoekers merkten ook op dat een gesuperviseerd systeem, dat tijdens de training de familienamen mocht gebruiken, de twee groepen effectief kon scheiden, wat bewees dat de labels correct waren en de families onderscheidend waren, zij het zeer vergelijkbaar.
De kernles van dit werk is dat de manier waarop we beveiligingssoftware testen, moet veranderen. Het simpelweg rapporteren van een enkel gemiddeld cijfer voor hoe goed een systeem nieuwe dreigingen detecteert, verbergt deze kritieke fouten. De onderzoekers betogen dat we, voordat we een test als succesvol verklaren, eerst moeten meten hoe nauw verwant de verborgen groepen zijn aan de groepen die voor training worden gebruikt. Als een verborgen groep een nauwe neef heeft in de trainingsset, meet de test niet het vermogen om het werkelijk onbekende te vinden; het meet het vermogen om tussen zeer vergelijkbare bekenden te onderscheiden. De oplossing is niet om deze verwante families uit de test te verwijderen, aangezien zij realistische dreigingen vertegenwoordigen die beveiligingsteams moeten afhandelen. In plaats daarvan zouden onderzoekers de resultaten apart moeten rapporteren voor families die nauwe verwanten hebben en voor families die dat niet hebben. Deze transparantie zorgt ervoor dat een systeem niet onterecht wordt gestraft voor het correct identificeren van een bekende lijn, en het biedt een duidelijker beeld van waar de technologie werkelijk staat. Door deze specifieke foutmodus en de stappen die zijn ondernomen om het te begrijpen te documenteren, hopen de onderzoekers anderen te voorkomen dezelfde fouten te herhalen en om een eerlijkere evaluatie te stimuleren van hoe goed onze digitale wachters het onbekende werkelijk kunnen zien.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.