eDySec: A Deep Learning-based Explainable Dynamic Analysis Framework for Detecting Malicious Packages in PyPI Ecosystem

1. Probleemstelling

De beveiliging van open-source software-repositories, met name de Python Package Index (PyPI), wordt steeds meer bedreigd door aanvallen op de softwareleveringsketen van de volgende generatie. In tegenstelling tot traditionele malware passen deze aanvallen vaak de volgende technieken toe:

• Meerfasige uitvoering: Kwaadaardige logica die inactief blijft totdat specifieke triggers (bijvoorbeeld tijdens installatie of na installatie) worden geactiveerd.
• Dynamische payload-generatie: Code die payloads alleen tijdens de uitvoering genereert.
• Ontwijktechnieken: Geofencing en conditionele triggers die statische analyse omzeilen.

Beperkingen van Bestaande Oplossingen:

• Statische/Metadata-analyse: Traditionele Machine Learning (ML)-detectoren die vertrouwen op statische code of metadata, falen bij het detecteren van gedrag dat zich alleen tijdens de uitvoering manifesteert.
• Uitdagingen bij Dynamische Analyse: Hoewel dynamische analyse runtime-gedrag vastlegt (systeemoproepen, netwerkverkeer, bestands-I/O), is de resulterende data hoogdimensionaal, spaarzaam en heterogeen.
• Onvoldoende ML: Conventionele ML-modellen worstelen met het modelleren van deze complexe, hoogdimensionale patronen, wat leidt tot een hoog aantal vals-positieven (FP) en vals-negatieven (FN).
• Gebrek aan Robuustheid: Bestaande studies missen vaak een rigoureuze stabiliteitsanalyse (consistentie over verschillende runs) en uitlegbaarheid (begrip van waarom een model een beslissing nam), waardoor een "black box" ontstaat die moeilijk te vertrouwen is in beveiligingskritieke omgevingen.

2. Methodologie: Het eDySec Framework

De auteurs stellen eDySec voor, een framework dat is ontworpen om efficiënt, stabiel en uitlegbaar te zijn. Het maakt gebruik van het QUT-DV25-dataset, dat 36 dynamische gedragskenmerken (systeemoproepen, netwerkverkeer, directory-toegang, afhankelijkheidslogboeken) vastlegt van 14.271 PyPI-pakketten (7.127 kwaadaardig, 7.144 onschuldig) tijdens de installatiefase en de fase na installatie.

Het framework werkt in vier distincte fasen:

A. Data Voorbereiding & Preprocessing

• Trace-verzameling: Gebruik van eBPF (extended Berkeley Packet Filter) om kernel- en gebruikersniveau-traces te verzamelen (Filetop, Opensnoop, Install, TCP, SysCall, Pattern).
• Heterogene Verwerking:
  • Numerieke kenmerken: Gestandaardiseerd via z-score normalisatie.
  • Categorische/Pattern-kenmerken: Getransformeerd naar TF-IDF-representaties.
  • Sequentiemodellen: Geserialiseerd naar tekstuele sequenties, getokeniseerd en opgevuld (padded).

B. Kenmerkselectie

Om de hoge dimensionaliteit en spaarzaamheid aan te pakken, evalueert het framework meerdere kenmerkselectiestrategieën om de optimale subset te vinden:

• Statistisch: ANOVA, Correlatie (CORR).
• AutoML: Fast and Lightweight AutoML (FLAML).
• Probabilistische Optimalisatie: Particle Swarm Optimization (PSO), Whale Optimization Algorithm (WOA).
• Selectiecriteria: Een gewogen objectieve functie die voorspellende prestaties ($\alpha$) en kenmerkreductie ($1-\alpha$) in evenwicht brengt.
• Resultaat: FLAML werd geselecteerd als de optimale methode, waardoor het kenmerkenset werd gereduceerd van 36 naar 17 kenmerken terwijl de hoge nauwkeurigheid behouden bleef.

C. Modelselectie & Evaluatie

Het framework vergelijkt drie categorieën van Deep Learning (DL)-architecturen met traditionele ML-basismodellen:

1. Klassiek DL: CNN, MLP, LeNet, MDCNN, NN.
2. Pre-Attention: LSTM, RNN.
3. Attention-gebaseerd: Transformer, BERT, DistilGPT-2.

• Training: Modellen worden getraind op het gereduceerde kenmerkenset met behulp van binaire cross-entropy loss.
• Basislijn: Vergelijking met DySec, een state-of-the-art Random Forest (RF)-gebaseerd dynamisch analyseframework.

D. Stabiliteit & Uitlegbaarheid (XAI)

• Stabiliteitsanalyse: Evalueert modelconsistentie over herhaalde runs met behulp van gemiddelde prestaties, standaardafwijking, betrouwbaarheidsintervallen en rangschikkingsgebaseerde vergelijkingen.
• Uitlegbaarheid: Integreert SHAP (SHapley Additive exPlanations) en LIME (Local Interpretable Model-agnostic Explanations) om te bieden:
  • Globale Interpretatie: Identificeren welke kenmerken de kwaadaardige classificatie in het algemeen drijven.
  • Lokale Interpretatie: Uitleggen van specifieke instantievoorspellingen (bijvoorbeeld waarom een specifiek pakket werd gemarkeerd).

3. Belangrijkste Bijdragen

1. eDySec Framework: Een nieuw DL-gebaseerd proces dat dynamisch gedragsanalyse integreert met rigoureuze kenmerkselectie, stabiliteitsbeoordeling en XAI.
2. Kenmerkoptimalisatie: Demonstreert dat FLAML-gebaseerde kenmerkselectie de dimensionaliteit met 52,78% kan reduceren (van 36 naar 17 kenmerken) zonder prestaties te offeren, en effectief ruis filtert.
3. Modelsuperioriteit: Bewijst dat lichtgewicht Klassieke DL-modellen (specifiek MLP) in dit specifieke domein betere prestaties leveren dan complexe Attention-gebaseerde modellen en traditionele ML-basismodellen.
4. Stabiliteit & Transparantie: Vestigt een benchmark voor stabiliteit bij het detecteren van kwaadaardige pakketten en biedt transparante, interpreteerbare besluitvorming via SHAP/LIME, waarmee het "black box"-probleem wordt aangepakt.
5. Empirische Validatie: Uitgebreide evaluatie op het QUT-DV25-dataset die significante verbeteringen toont ten opzichte van de state-of-the-art (DySec).

4. Experimentele Resultaten

De evaluatie op het QUT-DV25-dataset leverde de volgende belangrijke metrieken op:

• Prestaties vs. State-of-the-Art (DySec):
  • Nauwkeurigheid: Verbeterd van 96% (DySec) naar 99% (eDySec MLP).
  • Vals-positieven (FP): Gereduceerd met 82% (van 34 naar 6).
  • Vals-negatieven (FN): Gereduceerd met 79% (van 52 naar 11).
  • Kenmerkdimensionaliteit: Gereduceerd met 52,78% (36 $\to$ 17 kenmerken).
• Model-efficiëntie:
  • Inferentie-latentie: 170ms per pakket.
  • Trainingstijd: Het beste MLP-model trainde in ~318s, aanzienlijk sneller dan grote Transformer-modellen (bijvoorbeeld BERT duurde ~17.450s).
  • Stabiliteit: Klassieke DL-modellen (MLP, MDCNN, NN) behaalden bijna perfecte stabiliteitsscores (0,996) met een zeer lage standaardafwijking (0,004), terwijl complexe modellen zoals BERT en RNN een hogere variantie vertoonden.
• Kenmerkinzichten:
  • Gecombineerde Traces: De combinatie van alle trace-typen (Filetop, SysCall, etc.) presteerde beter dan individuele traces.
  • Belangrijke Drijvers: Procesbewerkingen en I/O-bewerkingen werden geïdentificeerd als de meest invloedrijke kenmerken voor het detecteren van kwaadaardig gedrag.
  • Zwakke Kenmerken: "Install"-traces alleen waren onvoldoende, wat de noodzaak benadrukt van monitoring na installatie.

5. Betekenis en Implicaties

• Voor Beveiligingspraktici: eDySec demonstreert dat dynamische analyse cruciaal is voor het detecteren van aanvallen op de leveringsketen van de volgende generatie die statische analyse mist. Het bewijst dat lichtgewicht DL-modellen efficiënt kunnen worden ingezet (lage latentie) zonder enorme rekenkracht te vereisen.
• Voor Repository-platforms: Het framework suggereert een gelaagde verdedigingsstrategie waarbij verdachte pakketten worden doorgestuurd naar dynamische analyse in een zandbak. De opname van XAI helpt analisten om geautomatiseerde moderatiebeslissingen te vertrouwen.
• Voor Onderzoekers: De studie benadrukt dat kwaliteit en representatie van kenmerken vaak belangrijker zijn dan modelcomplexiteit. Het vestigt ook een nieuwe standaard voor het evalueren van beveiligingsmodellen door stabiliteitsmetrieken en uitlegbaarheid te vereisen, verder dan alleen nauwkeurigheidsscores.
• Toekomstige Richtingen: De auteurs suggereren het framework uit te breiden naar andere ecosystemen (npm, Maven) en kernel-niveau AI-agent monitoring te integreren om complexere ontwijktechnieken vast te leggen.

Concluderend slaagt eDySec erin de kloof te overbruggen tussen hoogpresterend deep learning en de praktische behoeften van softwareleveringsketenbeveiliging door een detector te leveren die niet alleen zeer nauwkeurig is, maar ook stabiel, efficiënt en transparant.