Technische Samenvatting: Het Temmen van Data-uitdagingen in ML-gebaseerde Beveiligingstaken met Generatieve AI

1. Probleemstelling

Machine learning (ML)-classificatoren worden veelvuldig ingezet voor cybersecurity-taken, zoals malware-detectie, detectie van netwerkinbraken en privacy-classificatie. Hoewel algoritmische vooruitgang de primaire focus van onderzoek is geweest, hebben de data-uitdagingen die inherent zijn aan beveiligingsdomeinen beperkte aandacht gekregen, wat vaak resulteert in prestatieplafonds. De auteurs identificeren vijf kritieke data-uitdagingen:

1. Beperkte of vertekende trainingsdata: Inclusief ernstige class-imbalance, ondervertegenwoordigde aanvalspatronen en onvoldoende steekproefgroottes vanwege de hoge kosten van labeling en domeinexpertise.
2. Hoge dimensionaliteit: Kenmerken overschrijden vaak duizenden dimensies, wat de "vloek van de dimensionaliteit" verergert.
3. Concept-drift: Aanvallers passen zich in de loop van de tijd aan, waardoor de testverdeling na implementatie afwijkt van de trainingsverdeling.
4. Ruwe labels en overlappende class-verdelingen: Veelvoorkomend in beveiligingsdata waar de ground truth moeilijk vast te stellen is of klassen inherent vergelijkbaar zijn.
5. Adversariële voorbeelden: Hoewel dit wordt opgemerkt, richt dit artikel zich voornamelijk op de eerste vier uitdagingen.

De kernonderzoeksvraag is of Generatieve AI (GenAI) deze data-uitdagingen kan aanpakken om de prestaties van classificatoren te verbeteren, specifiek door trainingsdatasets te verrijken met synthetische data.

2. Methodologie

2.1 Experimentele Opzet

De studie evalueert GenAI over 7 diverse beveiligingstaken (3 binair, 4 multi-class) met behulp van real-world threat-data. Deze taken omvatten BGP-hijacking-detectie, detectie van Tor-gebaseerde malware-traffic, detectie van IoT cryptojacking, privacy-classificatie van webcookies, classificatie van Windows-malware (MS-Malware), classificatie van PE-malware (BODMAS) en OS-fingerprinting (nPrintML).

De auteurs vergelijken 6 State-of-the-Art (SoTA) GenAI-modellen ontworpen voor tabulaire data met traditionele augmentatiemethoden:

• GenAI-modellen: TVAE (VAE), CTAB-GAN+ (cGAN), TabDDPM (Diffusion), TabSyn (VAE+Diffusion), GReaT (LLM) en REaLTabFormer (LLM).
• Traditionele Baselines: SMOTE (lineaire interpolatie) en MC-CCR (reiniging en herpositionering).

2.2 Het Nimai-kader

Inzichtelijkmakend dat bestaande GenAI-tools primair class-conditional generatie bieden (het creëren van samples op basis van een label), maar geen controle over specifieke regio's van de data-manifold, stellen de auteurs Nimai voor.

• Architectuur: Nimai is een VAE-gebaseerd model dat gebruikmaakt van een discrete latente ruimte (Vector Quantized VAE) gecombineerd met een Masked Token Model (MTM) geïnspireerd door BERT.
• Mechanisme: In tegenstelling tot standaard VAE's die continue latente ruimtes gebruiken (gevoelig voor posterior collapse), discretiseert Nimai latente tokens. Het hanteert een masking-strategie waarbij een subset van latente kenmerken wordt "weggeblazen" en voorspeld wordt op basis van context.
• Controlemodi:
  • Nimai-S (Sample-Conditioned): Genereert samples in de nabijheid van bestaande real samples door het maskeren en reconstrueren van kenmerken van een specifieke input. Dit richt zich op ondervertegenwoordigde regio's binnen een klasse.
  • Nimai-C (Class-Conditioned): Genereert samples uitsluitend op basis van een class-label, vergelijkbaar met bestaande tools.
  • Nimai-Hybrid: Combineert beide benaderingen voor herstel na implementatie-drift.

2.3 Evaluatiestrategie

De evaluatie richt zich op data-augmentatie voor implementatie (pre-training) en snelle herstel na implementatie (post-training).

• Meting: Relatieve winst ($\Delta G$) in macro F-score (of F-score voor de kwaadaardige klasse voor specifieke taken) vergeleken met training op alleen real data.
• Robuustheid: Experimenten worden uitgevoerd over 10 trials met verschillende random seeds. Onbetrouwbare metingen (Variatiecoëfficiënt $\ge$ 1) worden gemarkeerd.

3. Belangrijkste Resultaten

3.1 Pre-Implementatie Prestaties

• Succes in Data-beperkte Omgevingen: GenAI verbeterde de prestaties significant bij 5 van de 7 taken.
  • BGP Hijacking: In een uiterst data-beperkte setting (slechts ~180 trainingsamples, 17 kwaadaardig) bereikte Nimai-S een prestatiewinst van 32,6%, waarmee het alle baselines overtrof.
  • IoT & MS-Malware: Nimai-S en CTAB-GAN+ toonden significante winsten (tot respectievelijk 17,37% en 13,53%) in sterk onbalans of hoge dimensionaliteit scenario's.
  • BODMAS (Concept Drift): Voor taken met drift presteerden class-conditional benaderingen (Nimai-C, TVAE, TabDDPM) over het algemeen beter dan sample-conditional benaderingen, met een winst tot 59,42% in specifieke drift-maanden.
• Mislukte Cases:
  • Tor, Cookie, nPrintML: GenAI-schema's slaagden over het algemeen niet in het verbeteren van de prestaties. De auteurs schrijven dit toe aan overlappende class-verdelingen, ruwe labels en extreme feature-sparseheid (tot 98,66% nulwaarden). In deze gevallen versterkte synthetische data vaak bestaande vertekeningen of slaagde het er niet in om class-onafscheidelijkheid op te lossen.
  • Mislukte Model-instantiatie: 5 van de 6 bestaande GenAI-schema's faalden bij het trainen of het genereren van bruikbare data bij minstens één taak.
    • LLM-gebaseerde modellen (GReaT, REaLTabFormer): Mislukten respectievelijk bij 6/7 en 5/7 taken vanwege schaalbaarheidsproblemen met hoge-dimensionaliteit feature-vectoren (overschrijding van tokenlimieten of GPU-geheugen).
    • TabDDPM: Lijd aan mode collapse bij de IoT-taak, waarbij het faalde om samples van de minderheidsklasse te genereren.
    • TVAE/TabSyn: Hadden moeite met hoge-dimensionaliteit of grootschalige datasets (bijv. nPrintML, Cookie).

3.2 Post-Implementatie (Concept Drift)

• Snelle Herstel: De auteurs demonstreerden dat een Nimai-Hybrid aanpak kon herstellen van concept drift met minimale labelinspanning.
• Efficiëntie: Door gebruik te maken van uncertainty sampling om een kleine subset van drift-data te selecteren (zoveel als 64 gelabelde samples) en sample-conditional generatie toe te passen, boekte het systeem een prestatieboost van 60,4% in de maanden met de grootste schade bij de BODMAS-taak, waarmee het retraining op alleen de kleine subset (INSOMNIA baseline) overtrof.

3.3 Mechanisme van Verbetering

Diepgaande analyse met LIME en distributiemetingen (entropie en scheefheid) onthulde dat succesvolle augmentatie (bijv. bij IoT en BGP-taken) de feature-scheefheid verminderde en de entropie verhoogde, wat effectief vertekeningen in de real dataset mitigeerde en meer symmetrische feature-distributies bevorderde, wat de generalisatie van de classifier helpt.

4. Belangrijkste Bijdragen

1. Systematische Evaluatie: De eerste studie die systematisch 6 SoTA GenAI-modellen voor tabulaire data evalueert over 7 diverse beveiligingstaken, en zowel kansen als significante faalmodi identificeert.
2. Nimai-kader: Introductie van een nieuw VAE-gebaseerd schema met een discrete latente ruimte en masked token modeling, wat hooggecontroleerde, sample-conditional data-synthese mogelijk maakt om vertekeningen binnen een klasse aan te pakken.
3. Drift-herstel: Demonstratie van een hybride GenAI-strategie voor snelle aanpassing na implementatie aan concept drift met minimale menselijke labeling.
4. Foutanalyse: Identificatie van specifieke taakkenmerken (ruwe labels, overlappende distributies, sparse features) die GenAI-prestaties hinderen, en de ontdekking dat huidige LLM-gebaseerde tabulaire generators nog niet schaalbaar zijn voor hoge-dimensionaliteit beveiligingsdata.

5. Betekenis en Claims

De auteurs stellen dat hun studie een gebalanceerd perspectief biedt op de bruikbaarheid van GenAI in beveiliging. Zij betogen dat hoewel GenAI geen "one-size-fits-all" oplossing is en worstelt met specifieke data-pathologieën (zoals ruis en overlap), het beduidend ongebruikt potentieel heeft voor het aanpakken van data-schaarste en vertekening in beveiligingstaken.

Het artikel stelt dat toekomstige vooruitgang in beveiligingsclassificatoren eerder kan worden gestremd door data-beperkingen dan door algoritmische beperkingen. Door GenAI-tools te ontwikkelen die effectief gecontroleerde, hoogwaardige synthetische data kunnen synthetiseren, kan de gemeenschap de vooruitgang "opnieuw ontsteken" voor beveiligingsproblemen waar algoritmische innovatie een plateau heeft bereikt. De auteurs benadrukken dat hun werk een stap is naar het ontwikkelen van GenAI-tools die specifiek zijn toegesneden op het adversariële en data-beperkte karakter van cybersecurity, in plaats van simpelweg kant-en-klare modellen toe te passen.