🤖 machine learning

SEED: Semi-supervised Continual MalwarE Detection for Tackling ConcEpt Drift on a BuDget

Het artikel stelt SEED voor, een semi-supervised continu leerframework dat een op maat gemaakte binaire cross-entropy-doelfunctie combineert met actief leren en singuliere waardenontbinding om malware effectief te detecteren onder conceptdrift met beperkte gelabelde gegevens, en dat aanzienlijk beter presteert dan bestaande hiërarchische contrastieve leermethoden op datasets met zwakke semantische structuren.

Oorspronkelijke auteurs: Suresh Kumar Amalapuram, Bikraj Shresta, Siva Ram murthy Chebiyam, Bheemarjuna Reddy Tamma, Sumohana S Channappayya

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Suresh Kumar Amalapuram, Bikraj Shresta, Siva Ram murthy Chebiyam, Bheemarjuna Reddy Tamma, Sumohana S Channappayya

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een beveiligingsagent bent op een drukke luchthaven. Jouw taak is om boeven (malware) op te sporen tussen duizenden onschuldige reizigers (goede apps).

Het Probleem: De "Chameleons"
Het probleem is dat de boven voortdurend hun vermommingen veranderen. Een maand geleden droeg een crimineel misschien een rode hoed; vandaag dragen ze een blauwe. In de wereld van computers heet dit Concept Drift. Als je beveiligingssysteem alleen is getraind op "rode hoeden", zal het de "blauwe hoeden" die later opdagen, missen.

Om bij te blijven, moet je je beveiligingssysteem elke maand opnieuw trainen. Maar er zit een addertje onder het gras: Labelen is duur en traag. Om het systeem te leren hoe een "boef" eruitziet, moet een menselijk expert handmatig voorbeelden inspecteren en labelen. Je kunt het je niet veroorloven genoeg experts in te huren om elke enkele reiziger te labelen. Je hebt slechts een klein budget om er een paar te labelen.

De Oude Manier: De "Koppel"-Valstrik
Eerdere methoden probeerden dit op te lossen met een techniek die Contrastive Learning heet. Stel je dit voor als een spelletje "Zoek de Tweeling". Het systeem probeert mensen die op elkaar lijken bij elkaar te groeperen.

De Tekortkoming: Dit spel werkt uitstekend als je een fotoboek hebt van iedereen die correct is gelabeld. Maar als je slechts een paar gelabelde foto's hebt (het beperkte budget), raakt het systeem in de war. Het probeert tweelingen te vinden onder vreemden en eindigt met het groeperen van onschuldige mensen met criminelen, of andersom. Het artikel toont aan dat wanneer je deze "koppel"-methode probeert te gebruiken met beperkte labels, de prestaties van het beveiligingssysteem aanzienlijk dalen.

De Nieuwe Oplossing: SEED (De Slimme Matchmaker)
De auteurs stellen een nieuwe methode voor die SEED heet. Denk aan SEED niet als een spelletje tweelingen, maar als een Slimme Matchmaker die een "Geheugentbank" gebruikt.

Hier is hoe SEED werkt in drie eenvoudige stappen:

1. De "Geheugentbank" (Buffer)

SEED houdt een kleine, gecureerde collectie van eerdere voorbeelden (zowel goede als slechte) in een speciale geheugentbank. Het slaat ze niet willekeurig op; het organiseert ze met een wiskundige truc genaamd SVD (Singular Value Decomposition).

De Analogie: Stel je de geheugentbank voor als een bibliotheek. In plaats van elk enkel boek te bewaren, maakt de bibliothecaris (SVD) een "samenvattingskaart" van de belangrijkste verhalen. Deze kaart is compact maar vangt de essentie van alles wat eerder is gebeurd. Dit helpt SEED om het verleden te onthouden zonder overweldigd te raken door te veel data.

2. De "Matchmaker" (Voor Geziene Taken)

Wanneer een nieuwe, niet-gelabelde reiziger arriveert, gokt SEED niet. In plaats daarvan projecteert het hen op de "samenvattingskaart" uit de Geheugentbank.

De Analogie: Het vraagt: "Met wie in onze geschiedenis lijkt deze persoon het meest op?" Het vindt de dichtstbijzijnde match uit het verleden. Als de nieuwe persoon erg lijkt op een bekende crimineel van vorige maand, behandelt SEED hen ook als een crimineel. Als ze lijken op een bekende onschuldige persoon, behandelt SEED hen als onschuldig.
Het Voordeel: Dit stelt het systeem in staat om te leren van de ongelabelde meerderheid door hen te verbinden met de gelabelde minderheid, zonder dat ze gedwongen hoeven te worden in rigide "tweeling"-paren te passen.

3. De "Onzekerheidsdetector" (Voor Ongezien Taken)

Soms verschijnt er een volledig nieuw type crimineel dat er op niemand in de Geheugentbank lijkt.

De Analogie: SEED berekent hoe "verward" het is over deze nieuwe persoon. Als de persoon zeer ver weg staat van iedereen in de geheugentbank (hoge onzekerheid), markeert SEED hen.
De Actie: Het zegt tegen het menselijk expert: "Ik weet het bij deze niet zeker. Kijk even en vertel me of ze goed of slecht zijn." Dit zorgt ervoor dat de mens alleen zijn beperkte budget besteedt aan de voorbeelden die echt hulp nodig hebben.

4. De "Cool-Down"-periode (Vertraagde Buffer-update)

Een van de grootste risico's in beveiliging is Ruizige Labels. Soms maken zelfs experts fouten, of geven geautomatiseerde tools het verkeerde label. Als je direct een verkeerd label in je Geheugentbank stopt, leert het systeem de verkeerde les en verspreidt die fout naar toekomstige taken.

De Analogie: SEED introduceert een "Cool-Down"-periode. Wanneer een nieuw label wordt ontvangen, gaat het niet direct de Geheugentbank in. Het wacht een paar maanden (een vertraging).
Waarom? Door te wachten, geeft het systeem tijd om het label te verifiëren of om de "waarheid" te stabiliseren. Als een label een fout was, kan het misschien worden gecorrigeerd voordat het ooit wordt opgeslagen. Dit voorkomt dat het systeem zijn eigen geheugen "vergiftigt" met slechte data.

De Resultaten: Waarom Het Belangrijk Is

Het artikel testte SEED op real-world data van Android- en Windows-systemen.

De Overwinning: In vergelijking met de oude "Koppel"-methoden was SEED veel beter in het opsporen van nieuwe, ongezichten criminelen, vooral wanneer menselijke experts slechts een klein percentage (20%) van de data konden labelen.
De Verbetering: Op één dataset verbeterde SEED de detectie met 40% ten opzichte van de oude methode wanneer labels schaars waren. Op een andere verbeterde het met 14%.
De Robuustheid: Zelfs wanneer de labels ruisig waren (vol fouten), hield SEED's "Cool-Down"-strategie het systeem stabiel, terwijl andere methoden crashten.

Samenvattend
SEED is een slimmere manier om beveiligingsagenten te trainen. In plaats van hen te dwingen elk gezicht te onthouden (wat te duur is), helpt het hen nieuwe gezichten te verbinden met een compacte, georganiseerde herinnering aan het verleden. Het weet wanneer het om hulp moet vragen, en het wacht om zeker te zijn dat de hulp accuraat is voordat het zijn geheugen bijwerkt. Dit houdt het beveiligingssysteem scherp, zelfs wanneer de criminelen voortdurend hun vermommingen veranderen.

Technische Samenvatting: SEED - Semi-supervised Continual MalwarE Detection

1. Probleemstelling

Op machine learning gebaseerde malware-detectoren ondervinden na verloop van tijd aanzienlijke veroudering door concept drift, waarbij de statistische eigenschappen van zowel onschadelijke als kwaadaardige applicaties evolueren. Dit fenomeen vereist continue aanpassing (Open World Learning) terwijl gelijktijdig stabiliteit wordt behouden tegen catastrofaal vergeten van eerder aangeleerde kennis.

Een kritieke bottleneck bij het implementeren van dergelijke systemen is het labelbudget. In het beveiligingsdomein is het verkrijgen van volledig gelabelde data arbeidsintensief, duur en vaak onbetrouwbaar vanwege labeldynamiek en verificatieretardaties. Hoewel recente state-of-the-art (SOTA) methoden zoals HCL (Hierarchical Contrastive Learning) semantische structuren benutten om drift te hanteren, zijn ze sterk afhankelijk van volledig gelabelde data. De auteurs observeren dat wanneer HCL wordt aangepast aan semi-supervised settings (met slechts gedeeltelijke labels, aangeduid als HCL*), de prestaties aanzienlijk verslechteren, met name op datasets die geen sterke inherente semantische structuren bezitten (bijvoorbeeld BODMAS en AndroZoo). Bijvoorbeeld, op de BODMAS-dataset daalt HCL* van een AUT (Area Under the Time curve) van 0,795 naar 0,613 in vergelijking met zijn volledig supervised tegenhanger.

Het artikel adresseert de uitdaging om robuuste malware-detectie te handhaven onder beperkte supervisie en concept drift, specifiek wanneer sterke semantische structuren ontbreken of wanneer labelbudgetten beperkt zijn.

2. Methodologie: SEED

De voorgestelde methode, SEED (Semi-supervised Continual MalwarE Detection for Tackling ConcEpt Drift on a BuDget), is een semi-supervised continual learning framework dat active learning en een vertraagde buffer-update strategie integreert. Het werkt in twee distincte fasen: training op "gezichten taken" (gedeeltelijk gelabeld) en "ongezichten taken" (volledig ongelabeld).

2.1 Training met Gezichten Taken (Gedeeltelijk Gelabelde Data)

Voor taken die zowel gelabelde ( $D^l_t$ ) als ongelabelde ( $D^u_t$ ) samples bevatten, hanteert SEED een tweestapsproces om ongelabelde data te benutten zonder te vertrouwen op contrastieve loss:

Constructie van Representatieruimte via SVD: De methode construeert een latente representatieruimte met behulp van gelabelde exemplaren van eerdere taken. In plaats van alle ruwe representaties op te slaan, past het Singular Value Decomposition (SVD) toe op de gecodeerde latente vectoren om orthonormale basisvectoren te extraheren. Dit verlaagt opslagkosten en vangt de meest saliente kenmerken van de data.
Selectie van Exemplaren en Paarsgewijs Leren: Voor elke ongelabelde sample projecteert SEED deze in de op SVD gebaseerde representatieruimte. Vervolgens worden cosinusafstanden berekend om het meest geschikte gelabelde exemplaar (of een groep exemplaren) uit de buffer te vinden. Een adaptief drempelmechanisme selecteert de beste match op basis van de huidige verhouding gelabelde data.
Functie voor Verlies: In plaats van contrastieve loss gebruikt SEED een op maat gemaakte Binary Cross-Entropy (BCE) loss. Het dwingt representatieve gelijkenis af tussen een ongelabelde sample en zijn geselecteerde gelabelde tegenhanger in de latente ruimte.
Gradient Projection Memory (GPM): Om catastrofaal vergeten te mitigeren, maakt SEED gebruik van GPM. De gradienten van de huidige taak worden geprojecteerd orthogonaal op de gradientrichtingen van eerdere taken (specifiek voor malwareklassen), zodat het leren van nieuwe kenmerken niet interfereert met eerder aangeleerde malwaredefinities.

2.2 Training met Ongezichten Taken (Volledig Ongelabelde Data)

Bij het tegenkomen van taken zonder labels hanteert SEED een active learning strategie om de taak om te vormen tot een gedeeltelijk gelabelde taak:

Kwantificering van Onzekerheid: Het model berekent de onzekerheid van ongelabelde samples door hun gemiddelde cosinusafstand te meten tot de in de buffer opgeslagen groepen van onschadelijke en kwaadaardige software.
Gebalanceerde Selectie: Om bias ten opzichte van de meerderheidsklasse (onschadelijk) te vermijden, selecteert de methode samples voor labelen door een analist op basis van een gebalanceerde rangschikkingsstrategie (het selecteren van samples die ver weg van of dicht bij specifieke groepen liggen om vertegenwoordiging van beide klassen te garanderen).
Overgang: Zodra een subset van samples is gelabeld door een beveiligingsanalist, wordt de taak behandeld als een "gezichten taak" en verwerkt volgens de methodologie beschreven in Sectie 2.1.

2.3 Vertraagde Buffer-Update Strategie

Om het probleem van labelruis aan te pakken (veelvoorkomend in beveiligingslabeling waar initiële oordelen onjuist of instabiel kunnen zijn), introduceert SEED een vertraagde buffer-update. Nieuw gelabelde samples worden niet direct toegevoegd aan de replay-buffer. In plaats daarvan worden ze vastgehouden voor een vaste vertragingstijd (bijvoorbeeld 1, 3 of 11 maanden) om labels de tijd te geven te stabiliseren (wat de convergentie van multi-engine antivirus-oordelen nabootst). Dit voorkomt dat ruisige labels zich verspreiden tijdens het op replay gebaseerde leerproces.

3. Belangrijkste Bijdragen

Identificatie van Beperkingen in Contrastief Leren: Het artikel toont aan dat contrastieve leermethoden (zoals HCL) aanzienlijke prestatieverlies lijden in semi-supervised settings wanneer sterke semantische structuren ontbreken, wat de noodzaak onderstreept voor alternatieve benaderingen.
SEED Framework: Een nieuwe semi-supervised continual learning methode die:
- SVD gebruikt om een robuuste representatieruimte te construeren uit beperkte gelabelde data.
- Contrastieve loss vervangt door een paarsgewijze gelijkenis-leerbenadering met behulp van op maat gemaakte BCE loss.
- Active learning integreert om informatieve samples te selecteren uit volledig ongelabelde taken.
Mitigatie van Ruis: De introductie van een vertraagde buffer-update strategie om de nadelige effecten van labelruis te mitigeren, waarbij robuustheid wordt getoond zelfs bij hoge ruisverhoudingen (tot 80%).
Uitgebreide Evaluatie: Uitgebreide experimenten op Windows (BODMAS) en Android (AndroZoo, APIGraph) datasets die de effectiviteit van de methode aantonen onder variërende labelbudgetten en ruisniveaus.

4. Experimentele Resultaten

De auteurs evalueerden SEED tegen klassieke continual learning baselines (EWC, A-GEM, MIR, CBRS) en contrastieve leermethoden (CADE, HCL, HCL*).

Prestaties op BODMAS (Windows): SEED behaalde een gemiddelde verbetering van 40% in AUT (detectie van ongezichten malware) in vergelijking met HCL* over variërende labelbudgetten. Het presteerde aanzienlijk beter dan HCL* (0,810 versus 0,613) en CADE.
Prestaties op AndroZoo (Android): SEED toonde een gemiddelde verbetering van 14% ten opzichte van HCL* (0,855 versus 0,780).
Prestaties op APIGraph (Android): Op deze dataset, die sterke semantische structuren bezit (API-calls), bleef SEED concurrerend met HCL*, met een AUT van 0,930 in vergelijking met 0,948 voor HCL*. Dit suggereert dat SEED veelzijdig is en goed presteert zelfs wanneer semantische structuren aanwezig zijn, hoewel het het meest uitblinkt waar deze ontbreken.
Robuustheid tegen Labelruis: Onder hoge labelruis (tot 80%) behield SEED met de vertraagde buffer-strategie stabiele prestaties (bijvoorbeeld unseen-AUT(A) rond 0,85–0,90 op AndroZoo), terwijl modellen die direct op ruisige labels werden getraind drastisch verslechterden.
Sensitiviteitsanalyse: De methode toonde consistente verbeteringen bij hogere labelverhoudingen, met name op BODMAS, en liet zien dat de 95% SVD-drempel en cosinusafstandsmetingen de meest stabiele prestaties opleverden.

5. Betekenis en Beweringen

Het artikel beweert dat SEED een praktische oplossing biedt voor malware-detectie in resource-beperkte, open-world omgevingen waar volledig gelabelde data niet beschikbaar is. De primaire betekenis ligt in:

Ontkoppeling van Semantische Structuur: In tegenstelling tot contrastieve methoden die sterke semantische relaties vereisen om positieve/negatieve paren te vormen, vertrouwt SEED op projectie in een ruimte van basisvectoren, waardoor het effectief is op diverse datasets ongeacht de inherente structuur.
Budget-efficiëntie: Het benut effectief een klein deel van gelabelde data (bijvoorbeeld 20%) om zich aan te passen aan concept drift, waardoor de afhankelijkheid van exhaustieve handmatige labeling wordt verminderd.
Stabiliteit tegen Ruis: Door de dynamische aard van beveiligingslabels te erkennen, biedt de vertraagde buffer-strategie een realistisch mechanisme om labelruis te hanteren zonder complexe ruismodelleren.

De auteurs concluderen dat SEED robuust is onder beperkte supervisie, contrastief leren overtreft bij afwezigheid van sterke semantische structuur en concurrerend blijft wanneer dergelijke structuur aanwezig is, en zo een gebalanceerde aanpak biedt voor continue malware-detectie.