🤖 machine learning

FARM: Few-shot Adaptive Malware Family Classification under Concept Drift

Dit paper introduceert FARM, een unified framework dat conceptdrift in Windows-malware detecteert en aanpast via een triplet autoencoder en few-shot learning, waardoor de classificatieprestaties in dynamische omgevingen met beperkte supervisie aanzienlijk worden verbeterd.

Oorspronkelijke auteurs: Numan Halit Guldemir, Oluwafemi Olukoya, Jesús Martínez-del-Rincón

Gepubliceerd 2026-03-16

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Numan Halit Guldemir, Oluwafemi Olukoya, Jesús Martínez-del-Rincón

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een hondentrainer bent die gespecialiseerd is in het herkennen van verschillende hondenrassen. Je hebt een jaar lang geoefend met foto's van bekende rassen, zoals de Duitse Herder en de Golden Retriever. Je bent zo goed geworden dat je ze bijna blindelings herkent.

Maar dan gebeurt er iets: de wereld verandert.

De "Verkleurde" Honden (Covariate Drift): Een Duitse Herder krijgt een nieuwe jas aangetrokken of leert een nieuwe truc. Hij is nog steeds een Duitse Herder, maar hij ziet er anders uit dan de foto's die je in je hoofd hebt. Je oude kennis werkt niet meer perfect.
De "Nieuwe" Honden (Label Drift): Er duikt een volledig nieuw ras op dat nog nooit eerder is gezien, bijvoorbeeld een "Cyber-Poedel". Je hebt geen foto's van dit ras, dus je weet niet wat het is.

In de digitale wereld zijn deze honden virussen (malware). Ze veranderen continu om te ontsnappen aan beveiliging. De meeste antivirusprogramma's werken als een statische lijst: als een virus er niet op staat, of als het er net anders uitziet dan op de lijst, faalt het systeem.

Dit paper introduceert FARM (Few-shot Adaptive Recognition of Malware). FARM is geen simpele lijst, maar een slimme, lerende hondentrainer die zich aanpast aan de veranderingen.

Hier is hoe FARM werkt, vertaald naar alledaagse taal:

1. De "Geheime Taal" (Triplet Autoencoder)

Stel je voor dat FARM niet naar de honden kijkt op basis van hun kleur of grootte (wat makkelijk te veranderen is), maar naar hun ziel of gedrag.
FARM vertaalt elk virus naar een punt in een onzichtbare ruimte (een "latente ruimte").

Alle Duitse Herders landen dicht bij elkaar in deze ruimte.
Alle Golden Retrievers landen bij elkaar.
Als een virus probeert te veranderen (een nieuwe jas aan), beweegt het puntje een beetje, maar blijft het nog steeds in de buurt van de "Duitse Herder-groep".
Als het een heel nieuw ras is, landt het puntje ergens waar nog nooit iemand is geweest.

2. De "Wachtkamer" en de "Wachter" (Drift Detection)

FARM heeft een wachter die elke nieuwe virus-check doet.

De Regel: Als een virus-puntje binnen de veilige cirkel van een bekende groep valt, is het veilig (of tenminste, het is een bekend type).
Het Alarm: Als een virus-puntje buiten de cirkel valt, schreeuwt de wachter: "Dit is raar! Dit past niet bij onze bekende groepen!"
In plaats van het virus nu alvast een naam te geven (wat fout kan zijn), stopt FARM het in een wachtkamer (buffer).

3. De "Kleine Groepjes" (Few-shot Adaptation)

Dit is het slimme deel. Normaal gesproken zou je duizenden nieuwe voorbeelden nodig hebben om een nieuw ras te leren herkennen. FARM heeft maar weinig nodig (soms maar 10).

Als er genoeg verdachte virusjes in de wachtkamer zitten die op elkaar lijken, maakt FARM een nieuwe groep aan.
Het maakt een "gemiddeld beeld" (een prototype) van deze nieuwe groep.
Het resultaat: Vanaf dat moment herkent FARM dit nieuwe virusras direct, zelfs als hij er maar een paar heeft gezien. Hij hoeft niet opnieuw te studeren; hij past gewoon zijn lijstje aan.

4. De "Grote Opknapbeurt" (Retraining)

Soms zijn er zoveel nieuwe virusjes dat het handmatig bijwerken niet meer genoeg is. Dan doet FARM een grote opknapbeurt:

Hij neemt al zijn oude kennis én de nieuwe virusjes uit de wachtkamer.
Hij studeert alles opnieuw door om een nog slimmere, bredere visie te krijgen.
Hierdoor wordt hij na verloop van tijd nog beter in het herkennen van zowel oude als nieuwe bedreigingen.

Waarom is dit belangrijk?

In de echte wereld veranderen virussen elke dag.

Zonder FARM: Een antivirusprogramma wordt na een paar maanden "oud" en ziet 50% van de nieuwe virussen niet meer. Het is alsof je probeert de wereld van 2010 te begrijpen met een kaart van 2024.
Met FARM: Het systeem is als een levend organisme. Het merkt op dat dingen veranderen, maakt zich zorgen over wat het niet kent, leert snel van een paar voorbeelden, en past zich daarna volledig aan.

Kort samengevat:
FARM is een antivirus-systeem dat niet blindelings vertrouwt op oude lijsten. Het leert de "essentie" van virussen, merkt op wanneer iets verandert of nieuw is, en leert zich razendsnel nieuwe bedreigingen aan met slechts een handvol voorbeelden. Het is de oplossing voor een wereld waarin virussen nooit stil staan.

Probleemstelling

Malware-detectiemodellen lijden vaak onder prestatieverlies door concept drift (veranderingen in de data-distributie over tijd). Dit fenomeen treedt op in twee vormen binnen het Windows Portable Executable (PE) malware-domein:

Covariaten-drift: Bestaande malware-families evolueren (bijv. door auteurs die gedrag aanpassen om detectie te ontwijken), waardoor de statistische eigenschappen van bekende klassen veranderen.
Label-drift: Het verschijnen van volledig nieuwe, onbekende malware-families die niet in de oorspronkelijke trainingsdata voorkomen.

Traditionele modellen, die vaak zijn getraind op statische datasets, falen in real-world scenario's omdat ze niet kunnen adapteren aan deze dynamiek. Bestaande oplossingen zijn vaak beperkt tot het Android-platform, vereisen grote hoeveelheden gelabelde data voor hertraining, of vertrouwen op onbetrouwbare waarschijnlijkheidsscores (zoals softmax) om drift te detecteren, wat vaak leidt tot overconfidentie bij onbekende monsters.

Methodologie: Het FARM Framework

FARM (Few-shot Adaptive Recognition of Malware) is een unificerend framework dat drift-detectie en adaptatie integreert in één pijplijn. Het werkt in drie fasen:

1. Trainingsfase: Triplet Autoencoder

In plaats van een standaard classifier, gebruikt FARM een Triplet Autoencoder.

Architectuur: Een encoder-decoder structuur die EMBER-features (statice PE-features) projecteert naar een lage-dimensionale latente ruimte.
Verliesfunctie: De training combineert Triplet Loss (om semantische structuur te creëren: anker, positief en negatief monster) met Mean Squared Error (MSE) Loss (voor reconstructie van de input).
Doel: Het creëren van een discriminatieve latente ruimte waar monsters van dezelfde familie dicht bij elkaar liggen en van verschillende families ver uit elkaar.

2. Drift-detectiefase: DBSCAN en Dynamische Drempels

Clustering: In de latente ruimte wordt DBSCAN (Density-Based Spatial Clustering of Applications with Noise) toegepast. Dit is cruciaal omdat het geen vooraf bepaald aantal clusters vereist en subgroepen binnen families kan detecteren.
Drempelbepaling: Voor elke cluster wordt een dynamische acceptatiedrempel ( $\tau$ ) berekend op basis van de maximale afstand van een inlier tot het clustercentrum.
Detectie: Een nieuw monster wordt als "gedrift" (drifted) gemarkeerd als de afstand tot het dichtstbijzijnde bekende clustercentrum de drempel overschrijdt. Dit voorkomt dat onbekende monsters geforceerd worden toegewezen aan een bestaande klasse.

3. Adaptatiefase: Few-Shot en Retraining

Gedetecteerde drift-monsters worden opgeslagen in een buffer.

Few-Shot Adaptatie: Zodra er een coherent cluster van gedrifted monsters is gevormd (minimaal 10 monsters), wordt het gemiddelde embedding van dit cluster gebruikt als een nieuw prototype. Dit prototype wordt direct toegevoegd aan de classifier, waardoor het systeem nieuwe families kan herkennen met slechts een paar gelabelde voorbeelden, zonder de encoder opnieuw te hoeven trainen.
Volledige Retraining: Wanneer voldoende monsters voor een nieuwe familie zijn verzameld (drempel: 100 monsters), wordt het model volledig hergetraind. Hierbij worden de originele data en de nieuwe monsters gecombineerd om de latente ruimte en de clustering-structuur permanent bij te werken.

Belangrijkste Bijdragen

Unificatie van Detectie en Adaptatie: FARM koppelt drift-detectie (via unsupervised clustering in een metrische ruimte) direct aan adaptie (via few-shot learning), in plaats van ze als gescheiden problemen te behandelen.
Triplet Autoencoder voor Drift: Het gebruik van een triplet-autoencoder in plaats van een standaard classifier elimineert de afhankelijkheid van onbetrouwbare confidence-scores voor drift-detectie.
Few-Shot Strategie voor Windows PE: Het framework is specifiek ontworpen voor Windows PE-malware (een domein waar eerder weinig onderzoek naar drift-adaptatie is gedaan) en lost het probleem van schaarse labels op door prototypes te genereren uit minimale data.
Dynamische Clustering: Het gebruik van DBSCAN met dynamische drempels maakt het mogelijk om zowel covariaten-drift (evolutie van bekende families) als label-drift (nieuwe families) te onderscheiden.

Resultaten

Het framework is geëvalueerd op de BenchMFC-dataset (223.000+ monsters, 526 families, tijdsgesegmenteerd).

Drift-detectie:
- Bij Label-drift (onbekende families) detecteerde FARM 84% van de nieuwe monsters correct als drift.
- Bij Covariaten-drift (evolutie van bekende families) behaalde het model een algehele nauwkeurigheid van 81,4%, waarbij 31,9% van de monsters correct als drift werd gedetecteerd zonder dat de classificatie van de overige monsters werd beïnvloed.
Few-Shot Adaptatie:
- Na adaptatie met slechts een paar voorbeelden behaalde FARM een gemiddelde F1-score van 0,85 op onbekende malware-families.
- De prestaties varieerden per familie; families met sterke overlap met bekende families (zoals vobfus) hadden lagere scores, wat de complexiteit van de embedding-ruimte illustreert.
Retraining:
- Na volledige hertraining steeg de gemiddelde F1-score voor onbekende families naar 0,94 (een verbetering van 10,6% ten opzichte van alleen few-shot).
- Voor covariaten-drift leidde adaptatie tot een gemiddelde verbetering van 5,6% in de F1-score.

Betekenis en Conclusie

FARM biedt een robuuste oplossing voor het dynamische probleem van malware-classificatie. Het bewijst dat het mogelijk is om malware-families te detecteren en te adapteren in real-time met minimale menselijke supervisie.

Praktische Toepassing: Het framework is ideaal voor operationele omgevingen waar labels schaars zijn en malware snel evolueert. Het vermijdt de noodzaak van frequente, kostbare volledige hertrainingen door eerst te schakelen naar snelle few-shot adaptatie.
Beperkingen: De prestaties zijn afhankelijk van de kwaliteit van de EMBER-features en de hyperparameters van DBSCAN. FAMILIES met sterke functionele overlap met bekende families (zoals droppers) blijven een uitdaging voor de latente ruimte.
Toekomst: Verdere onderzoek richt zich op het uitbreiden naar gecomprimeerde (packed) malware en het verbeteren van de interpretatie van drift-beslissingen.

Kortom, FARM demonstreert dat een combinatie van metrisch leren, unsupervised clustering en few-shot learning een effectieve strategie is om de "veroudering" van malware-detectiemodellen tegen te gaan.