💻 computer science

Empirical Analysis of Evasion and Poisoning Against Malware Data Drift Detection

Dit artikel onderzoekt hoe evasie- en vergiftigingsaanvallen, die doorgaans zijn ontworpen om malware-classifiers te compromitteren, de gecombineerde werking van data-driftdetectoren en malware-classifiers op unieke wijze beïnvloeden, waarbij wordt onthuld dat de onderscheidende kenmerken van driftdetectoren de effectiviteit en het gedrag van deze adversariële aanvallen veranderen.

Oorspronkelijke auteurs: Mingyue Yang, David Lie, Nicolas Papernot

Gepubliceerd 2026-08-05

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mingyue Yang, David Lie, Nicolas Papernot

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de uitsmijter bent van een enorme, high-tech nachtclub. Je baan is om lastmakers (malware) op te sporen en buiten de deur te houden, terwijl je de goede gasten (benigne software) binnenlaat. Een lange tijd heb je een lijst met bekende gezichten van lastmakers gebruikt om dit te doen. Maar lastmakers zijn sluw; ze veranderen hun haar, dragen vermommingen of laten een baard staan om op gewone mensen te lijken. Om bij te blijven, heb je een slimme AI ingehuurd die je helpt de vibe van een lastmaker te herkennen, zelfs als ze er anders uitzien.

Maar er is een addertje onder het gras. Na verloop van tijd verandert de menigte in de club. De "vibe" van de buurt verschuift, en de AI raakt in de war omdat de mensen die binnenkomen niet meer lijken op de mensen die jaren geleden binnenkwamen. Dit wordt concept drift genoemd. Om dit op te lossen, huurt de club een tweede AI in, een "Drift Detector". Deze tweede AI geeft niet om de vraag of iemand een lastmaker of een goede gast is; hij let er alleen op of iemand vreemd genoeg afwijkt van de gebruikelijke menigte. Als iemand er te vreemd uitziet, geeft de Drift Detector een melding aan een menselijke bewaker om de persoon te controleren. Het idee is dat als een lastmaker probeert een vermomming te gebruiken, de Drift Detector hem toch zal betrappen omdat hij er te vreemd uitziet.

Maar hier komt de twist. Wat als de lastmakers weten van beide bewakers? Wat als ze de hoofd-AI kunnen foppen door te denken dat ze goede gasten zijn, én de Drift Detector kunnen foppen door te laten lijken alsoals een normaal persoon? Dit paper vraagt zich precies dat af. De onderzoekers wilden zien of kwaadwillenden een dubbelspel konden spelen: het systeem dat de slechte jongens vangt foppen, terwijl ze ook het systeem dat de vreemdelingen vangt foppen. Ze testten dit door te proberen "vergiftigde" gasten (die zich in de trainingslijst proberen te mengen) en "vermomde" gasten (die proberen langs de deur te glippen) naar binnen te smokkelen.

De Dubbelblinde Roofoverval

De onderzoekers zetten een digitale roofoverval op om te zien hoe goed deze twee beveiligingssystemen samenwerken tegen een aanvaller. Ze gebruikten echte gegevens uit twee verschillende "buurten" (datasets genaamd Bodmas en Androzoo) met duizenden softwaremonsters. Het slachtoffer (de clubeigenaar) had twee belangrijke instrumenten: een Malware Classifier (de hoofd-uitsmijter) en een Drift Detector (de kijker naar vreemde zaken). Het doel van de aanvaller was simpel maar geraffineerd: malware eruit laten zien als een onschadelijke app voor de bouncer, en ervoor zorgen dat het niet "vreemd" genoeg lijkt om door de kijker naar vreemde zaken te worden gemarkeerd.

De aanvaller moest aan een aantal regels voldoen, net als een echte crimineel die onder de radar wil blijven. Ze mochten de functionaliteit van de malware niet breken (de app moest nog steeds werken) en ze mochten het bestandsformaat niet veranderen. Ze konden alleen bepaalde kenmerken aanpassen, zoals extra ruimte toevoegen of bepaalde getallen wijzigen, maar ze konden niets verwijderen dat nodig was om het bestand te laten werken. Ze hadden ook geen volledige toegang tot de beveiligingscamera's van de club; ze kenden slechts 10% van de gasten en moesten hun eigen "surrogaat"-modellen (nep beveiligingssystemen) bouwen om hun trucjes te oefenen voordat ze ze op het echte werk probeerden.

De Verrassende Resultaten

De onderzoekers probeerden twee hoofdtypen aanvallen: Evasion (het langs de bewakers laten glippen van vermomde malware) en Poisoning (het binnensluipen van valse "goede" gasten in de trainingslijst, zodat de bewakers de verkeerde lessen leren).

De Evasion-verrassing:
Toen de onderzoekers probeerden malware langs het systeem te smokkelen door kleine "perturbaties" (minimale wijzigingen) aan de bestanden toe te voegen, ontdekten ze iets contra-intuïtiefs. Normaal gesproken maakt het in de wereld van AI een aanval makkelijker om een classifier te misleiden als de veranderingen groter zijn. Als je een gezicht genoeg verandert, herkent de AI het niet meer. Maar hier trad de Drift Detector op als een strikte uitsmijter die elke verandering haat.

Wanneer de aanvallers de malware té veel veranderden om de hoofd-classifier te misleiden, werd de Drift Detector achterdochtig. Hij zag deze zwaar gemodificeerde bestanden als "out of distribution"—dat wil zeggen, ze leken totaal niet op de normale menigte. De Drift Detector markeerde ze als vreemd, waardoor de menselijke bewaker ze betrapte. Het paper vond dat voor systemen die een specif으로 type Drift Detector gebruiken genaamd CADE (die een "contrastive autoencoder" gebruikt), het groter maken van de perturbatie de aanval juist verzwakte. Hoe groter de vermomming, hoe groter de kans dat de Drift Detector het merkt. De aanvallers moesten extreem precies zijn en een "sweet spot" vinden waar de malware normaal genoeg leek voor de Drift Detector, maar nog steeds de hoofd-classifier kon foppen.

De Poisoning-paradox:
De poisoning-aanval was nog interessanter. De aanvaller probeerde "backdoor" malware naar binnen te smokkelen, vermomd als onschadelijke apps. Het idee was dat als de clubeigenaar het beveiligingssysteem opnieuw zou trainen met deze valse gasten, het nieuwe systeem de echte malware later zou binnenlaten.

De onderzoekers ontdekten echter dat het toevoegen van meer vergiftigde gasten niet altijd hielp. Sterker nog, voor de CADE-gebaseerde Drift Detector maakte het toevoegen van te veel vergiftigde monsters de aanval zelfs onmogelijk. Waarom? Omdat de interne "kaart" (embedding space) van de Drift Detector beperkte ruimte heeft. Wanneer er te veel vergiftigde monsters in het "goede gasten"-gebied van de kaart werden gepropt, raakte het systeem in de war. Om de nieuwe, licht afwijkende monsters te begrijpen, begon de Drift Detector ze juist weg van het centrum van de "goede gasten"-menigte te duwen om de boel georganiseerd te houden. Hierdoor zagen de vergiftigde monsters er weer vreemd uit, waardoor de Drift Detector ze alsnog markeerde. Het paper suggereert dat hoe meer je in het systeem probeert te proppen, hoe meer het systeem de slechte zaken eruit duwt.

Wat dit betekent voor de toekomst

Het paper concludeert dat het aanvallen van een systeem met zowel een classifier als een drift detector een delicaat evenwicht is. Het gaat er niet alleen om dat je de malware laat lijken op een goed mens; het gaat er ook om dat hij niet te veel afwijkt van de menigte.

De onderzoekers ontdekten dat het type Drift Detector veel uitmaakt. Systemen zoals Transcendent (die een andere methode gebruiken gebaseerd op statistische zekerheid) waren makkelijker te misleiden met grote veranderingen dan CADE. Maar voor CADE moesten de aanvallers zeer voorzichtig zijn. Als ze de malware te ver richting de "benigne" kant duwden, dreef het te ver weg van het "centrum" van de benigne menigte en werd het betrapt.

Uiteindelijk laat dit paper zien dat hoewel aanvallers zeer slim kunnen zijn, de unieke manier waarop deze Drift Detectors werken een nieuw soort verdediging creëert. Hetzelfde mechanisme dat het systeem helpt zich aan te passen aan nieuwe dreigingen (door op te merken wanneer dingen er anders uitzien), maakt het ook moeilijker voor aanvallers om onopgemerkt te blijven. De studie suggereert dat om deze verdediging te breken, een aanvaller zijn instrumenten (surrogaatmodellen) en zijn trucs (loss functions) met extreme precisie moet kiezen, waarbij hij perfect afgestemd is op hoe de Drift Detector de wereld ziet. Het is een kat-en-muisspel waarbij de muis net vreemd genoeg moet zijn om onzichtbaar te blijven, maar niet zo vreemd dat hij wordt betrapt.

Technische Samenvatting: Empirische Analyse van Evasie en Vergiftiging tegen Malware Data Drift Detectie

Probleemstelling

Machine learning (ML)-gebaseerde malwareclassificatiesystemen worden geconfronteerd met de uitdaging van concept drift, waarbij evoluerende malware en legitieme software ervoor zorgen dat modellen verouderd raken. Om dit te mitigeren, zijn data drift detectoren (bijv. CADE, Transcendent) ontwikkeld om monsters te identificeren die afwijken van de distributie van de trainingsdata. Deze detectoren worden gebruikt om potentieel foutief geclassificeerde monsters af te wijzen of om hertraining te triggeren.

Hoewel evasie- en vergiftigingsaanvallen (evasion and poisoning attacks) op ML-gebaseerde malwareclassificatiesystemen uitgebreid zijn bestudeerd, blijft het onduidelijk hoe deze aanvallen functioneren wanneer een systeem zowel een malwareclassifier als een data drift detector gebruikt. Het kernprobleem dat wordt geadresseerd is dat data drift detectoren andere doelstellingen, verliesfuncties en architecturen hebben dan classificators. Bijgevolg kan een aanval die succesvol is tegen een classifier, falen tegen een drift detector, of andersom. Dit onderzoek onderzoekt de effectiviteit van evasie- en vergiftigingsaanvallen wanneer zij gericht zijn op het gecombineerde systeem van een malwareclassifier en een data drift detector.

Methodologie

Dreigingsmodel en Opzet

Slachtoffer-systeem: Het slachtoffer maakt gebruik van een MLP voor malwareclassificatie en ofwel CADE (Contrastive Autoencoder-gebaseerd) of Transcendent (Conformal Prediction-gebaseerd) voor data drift detectie.
Aanvalsdoelen: De aanvaller beoogt malwaremonsters te creëren die:
1. Worden foutief geclassificeerd als benign (legitiem) door de malwareclassifier.
2. Niet worden geselecteerd als top- $k$ drifting monsters door de data drift detector (waardoor menselijke inspectie wordt vermeden).
Kennis van de aanvaller: De aanvaller heeft beperkte toegang (10% van de trainingsdata) en bouwt surrogaatmodellen (MLP of CAE) om aanvallen te genereren die overdraagbaar zijn naar het slachtoffer.
Restricties:
- Functionaliteit: Modificaties mogen de functionaliteit of het bestandsformaat van de malware niet breken.
- Feature Restricties: Voor de Bodmas-dataset zijn slechts 17 van de 2.381 features aanpasbaar. Voor Androzoo zijn significante features geselecteerd via RFE.
- Perturbatie Limieten: Perturbaties zijn begrensd om opvallendheid te voorkomen.
- Vergiftigingstype: Er wordt uitgegaan van clean-label poisoning; de aanvaller kan de labels niet wijzigen maar kan monsters injecteren met backdoor-triggers (universele perturbaties) afgeleid van benignware.

Aanvallingsmethoden

De auteurs genereren universele perturbaties met behulp van twee verschillende verliesfuncties gebaseerd op surrogaatmodellen:

MLP Surrogaat: Minimaliseert de cross-entropy loss om malwaremonsters over de beslissingsgrens naar de benign klasse te duwen.
CAE Surrogaat: Minimaliseert de Mean Squared Error (MSE) tussen de embedding van het malwaremonster en het benign middelpunt (centroid) in de latente ruimte.

Deze perturbaties worden toegepast in twee scenario's:

Evasie: Het toevoegen van perturbaties aan malwaremonsters tijdens de inferentiefase.
Vergiftiging: Het injecteren van benign monsters die de backdoor-trigger bevatten in de trainingsset om de slachtoffermodellen te hertrainen.

Evaluatiemetrieken

De primaire metriek is de Overall Attack Success Rate (ASR $_{overall}$ ), gedefinieerd als de proportie malwaremonsters die gelijktijdig:

Foutief als benign worden geclassificeerd.
Een drift score hebben die lager is dan de $k$ -de meest gedrifte monster (voor CADE, gebaseerd op OOD-scores; voor Transcendent, gebaseerd op cred+conf scores).

Belangrijkste Resultaten

1. Evasie-aanvallen

Alleen Malware Classificatie: Zowel MLP als CAE surrogaat-perturbaties omzeilen effectief malwareclassificatiesystemen, waarbij de succesratio toeneemt naarmaling van de perturbatie-magnitude.
Gecombineerd Systeem (Classifier + Drift Detector):
- CADE: Er is sprake van een contra-intuïtieve trade-off. Hoewel grotere perturbaties de evasie tegen de classifier vergroten, verlagen ze vaak de totale ASR tegen het gecombineerde systeem. Grote perturbaties creëren features die CADE interpreteert als "onbekende patronen", waardoor de monsters verder van het benign middelpunt in de embedding-ruimte komen te liggen. CADE identificeert deze vervolgens correct als drifting monsters, waardoor ze worden gemarkeerd voor inspectie.
- Transcendent: In tegen tegenstelling tot CADE kan Transcendent (dat een SVM gebruikt op de CAE embedding-ruimte) hogere ASR's bereiken met grote perturbaties gegenereerd door MLP-surrogaten. Omdat Transcendent vertrouwt op de afstand tot de SVM-beslissingsgrens in plaats van alleen op het middelpunt, kunnen monsters die ver in de benign regio worden geduwd (maar ver van het middelpunt liggen), nog steeds als "niet-drifting" worden beschouwd.
- Keuze van Surrogaat: De keuze van het surrogaatmodel is crutiaal. MLP-surrogaten falen vaak tegen CADE omdat ze optimaliseren voor classificatie-betrouwbaarheid zonder rekening te houden met de geometrische restricties van de CAE embedding-ruimte.

2. Vergiftigingsaanvallen

Impact van Monster Volume: Het verhogen van het aantal vergiftigde monsters leidt niet lineair tot een verbetering van de aanvalssuccesrate.
CADE Beperkingen: Naarmate er meer vergiftigde monsters (benignware met triggers) worden geïnjecteerd, worstelt het CAE-model om deze nauwkeurig te reconstrueren binnen de beperkte ruimte nabij het benign middelpunt. Om de reconstructieverlies te minimaliseren, leert de CAE deze getriggerde monsters naar gebieden te mappen die verder weg liggen van het benign middelpunt. Bijgevolgen begint het vergiftigde model deze monsters als drifting te markeren, wat de totale ASR vermindert.
Capaciteitsrestricties: Deze degradatie is prominenter in CADE-modellen met kleinere embedding-ruimtes of bij het aanvallen van datasets met een hoge feature-dimensionaliteit (bijv. Androzoo). In deze gevallen presteren MLP-gebaseerde vergiftigingsaanvallen beter dan CAE-gebaseerde, omdat CAE-gebaseerde losses de benign middelpunt doelbewust verdringen, wat de reconstructieproblematiek verergert.

Belangrijkste Bijdragen

Dual-Target Aanvalsanalyse: Het artikel evalueert empirisch evasie- en vergiftigingsaanvallen tegen de combinatie van malwareclassificatiesystemen en data drift detectoren, waarbij wordt opgemerkt dat naarทราบ de auteur van de auteurs geen enkel bestaand werk eerder de malware data drift detectoren heeft aangevallen.
Karakterisering van Detectorgedrag: De auteurs tonen aan dat data drift detectoren fundamenteel anders reageren op aanvallen dan classificators. Specifiek laten ze zien dat perturbaties die effectief zijn voor classificatie (grote magnitude) schadelijk kunnen zijn voor drift-evasie vanwege de geometrische eigenschappen van embedding-ruimtes (bijv. CAE centroids).
Vergiftigingsdynamiek: De studie onthult dat in scenario's van clean-label poisoning waarbij CAE-gebaseerde drift detectoren betrokken zijn, het verhogen van het volume aan vergiftigde data onbedoeld de capaciteit van de detector kan versterken om de aanval te detecteren, vanwege de reconstructiebeperkingen van autoencoders.

Betekenis en Claims

Het artikel claimt dat de unieke kenmerken van data drift detectoren — specifiek hun afhankelijkheid van de geometrie van de embedding-ruimte en reconstructie-losses — een complexe interactie vormen met adversariële perturbaties.

Voor Aanvallers: Succes vereist zorgvuldige kalibratie. Het simpelweg maximaliseren van de perturbatie-grootte om een classifier te misleiden, kan de drift detector triggeren. Aanvallers moeten hun surrogaatmodellen en verliesfuncties afstemmen op de specifieke architectuur van de drift detector (bijv. het vermijden van CAE-surrogaten voor CAE-gebaseerde detectoren als de embedding-ruimte vol is).
Voor Verdedigers: De bevindingen suggereren dat data drift detectoren een robuuste secundaire verdedigingslaag bieden. Ze kunnen kwaadaardige monsters detecteren die erin geslaagd zijn de primaire classifier te omzeilen, met name wanneer die monsters "out-of-distribution" features vertonen veroorzaakt door agressieve adversariële perturbaties. De effectiviteit hangt echter af van de architectuur en capaciteit van de detector.

De auteurs concluderen dat hoewel hoge aanvalssuccesratio's haalbaar zijn tegen classificators, de aanwezigheid van een data drift detector het aanvalslandschap fundamenteel verandert, wat vaak de totale succesrate van zowel evasie- als vergiftigingspogingen vermindert.