Technische Samenvatting: Mitigatie van het effect van klasse-imbalans in data met een hiërarchische en afhankelijke structuur

Probleemstelling

Het classificeren van cyberbeveiligingskwetsbaarheden met behulp van de Common Weakness Enumeration (CWE) taxonomie presenteert twee primaire uitdagingen: extreme klasse-imbalans en sterke hiërarchische afhankelijkheden tussen zwakheden-categorieën. De CWE-taxonomie organiseert zwakheden in abstractieniveaus (Base, Class, Pillar, Variant, Compound), waarbij hogere knopen brede concepten vertegenwoordigen en lagere knopen specifieke details. In de praktijk domineren een klein aantal typen zwakheden het corpus, terwijl zeldzame maar impactvolle categorieën aanzienlijk ondervertegenwoordigd blijven.

Hoewel Transformer-gebaseerde encoders zoals BERT en RoBERTa zich hebben gevestigd als sterke baselines voor CWE-tekstclassificatie, worstelen zij met zeldzame categorieën door klasse-imbalans. Bovendien bezitten CWE-labels expliciete ouder-kind-afhankelijkheden (bijv. een "Variant" is altijd een kind van een "Base"), wat betekent dat misclassificaties op hogere abstractieniveaus naar beneden cascaderen. Traditionele benaderingen voor imbalans, zoals random oversampling, undersampling en synthetische generatietechnieken zoals Synthetic Minority Oversampling Technique (SMOTE) en Adaptive Synthetic Sampling (ADASYN), worden breed toegepast, maar hun effectiviteit op hiërarchische, gestructureerde tekst-embeddings blijft grotendeels onverkend. Specifiek is het onduidelijk of lineaire interpolatie in hoogdimensionale embedding-ruimtes de structurele beperkingen van de CWE-hiërarchie respecteert.

Methodologie

De studie evalueert een reeks modellen onder verschillende dataugmentatiecondities en stelt een nieuwe architectuur voor die de hiërarchische structuur direct integreert in het leerproces.

1. Experimentele Baselines en Oversampling

De auteurs evalueerden empirisch een reeks Machine Learning (Random Forest, SVM), Deep Learning (CNN, BiGRU) en Transformer-gebaseerde (BERT) modellen op een ongebalanceerde hiërarchische CWE-dataset.

• Oversampling: SMOTE en ADASYN werden uitsluitend toegepast op de trainingsset. SMOTE egaliseerde alle klassen naar 393 monsters met $k$-neighbors=2, terwijl ADASYN de synthese concentreerde op moeilijkere grensregio's om bijna gelijke aantallen te bereiken.
• Modellen:
  • Klassieke ML: Random Forest (100 bomen) en SVM (lineaire kernel).
  • Deep Learning: CNN (128 filters, kernel groottes [4,6,6]) en BiGRU (128 verborgen dimensie).
  • Transformers: BERT-base (uncased) en de voorgestelde Hierarchy-Aware RoBERTa.
  • Training: Alle deep learning-modellen werden getraind met een batchgrootte van 8 voor 15 epochs.

2. Voorgestelde Benadering: Hierarchy-Aware RoBERTa

Het artikel introduceert een Hierarchy-Aware RoBERTa framework dat CWE-structurele informatie expliciet incorporeert via leerbare parent-class embeddings.

• Architectuur: Het model maakt gebruik van een pre-trained SecureBERT encoder om een 768-dimensionale [CLS] representatie van de invoertekst te genereren.
• Hiërarchische Injectie: Een leerbare parent-categorie embedding (24-dimensionaal) wordt geïntroduceerd om grove structurele relaties te vangen. Deze embedding wordt gezamenlijk met het netwerk getraind.
• Fusie: De semantische representatie ($h_{cls}$) en de hiërarchische context ($h_p$) worden gefuseerd via concatenatie: $h_f = [h_{cls}, h_p]$.
• Classificatie: De gefuseerde representatie wordt geregulariseerd met dropout (0.3) en door een lineaire classificatiekop gestuurd om logits te produceren.
• Formulering: De taak wordt niet geformuleerd als een onafhankelijke voorspelling $P(Y_{child}|X_{text})$, maar als een conditioneel waarschijnlijkheidsprobleem $P(Y_{child}|X_{text}, Y_{parent})$, waarbij de "Parent ID" als structurele prior wordt gebruikt.

Belangrijkste Bijdragen

1. Empirische Evaluatie: De studie biedt een uitgebreide evaluatie van ML, DL en Transformer-modellen onder SMOTE en ADASYN resampling op een ongebalanceerde hiërarchische CWE-dataset.
2. Analyse van Synthetische Interpolatie: De auteurs demonstreren dat synthetische interpolatie in hoogdimensionale embedding-ruimtes de inherente ouder-kind beperkingen schendt. Hoewel het marginale voordelen biedt voor klassieke ML-modellen, verslechtert deze methode consequent de prestaties van deep learning-architecturen.
3. Hierarchy-Aware Model: De introductie van een Hierarchy-Aware RoBERTa model dat CWE structurele priors injecteert via leerbare parent-class embeddings, wat end-to-end gezamenlijke modellering van semantische inhoud en hiërarchische structuur mogelijk maakt.
4. Prestatiewinst: Het voorgestelde model bereikt een gewogen F1-score van 0.76 zonder datamaugmentatie, waarmee het alle baselines overtreft. Opvallend genoeg verbetert het de F1-score voor de "Class" categorie van 0.49 (BERT baseline) naar 0.60.

Resultaten

• Impact van Oversampling:
  • Klassieke ML: SMOTE en ADASYN boden zwakke maar positieve verbeteringen voor Random Forest (nauwkeurigheid steeg van 0.65 naar 0.69) en SVM (nauwkeurigheid bleef stabiel rond 0.71–0.72).
  • Deep Learning: Oversampling verslechterde de prestaties consistent. De vanilla CNN nauwkeurigheid daalde van 0.71 naar 0.55 (SMOTE) en 0.51 (ADASYN). BiGRU daalde respectievelijk van 0.70 naar 0.53 en 0.44.
  • Transformers: BERT bereikte 0.74 nauwkeurigheid zonder augmentatie. De voorgestelde Hierarchy-Aware RoBERTa behaalde de hoogste nauwkeurigheid van 0.76.
• Prestaties per Klasse:
  • Het voorgestelde model behaalde de hoogste gewogen F1-score (0.76) vergeleken met BERT (0.73), CNN (0.68 baseline), en BiGRU (0.69 baseline).
  • Significante winsten werden waargenomen in minderheidsklassen; bijvoorbeeld verbeterde de F1-score van de "Class" categorie van 0.49 (BERT) naar 0.60 (Hierarchy-Aware RoBERTa).
  • Extreem schaarse categorieën (Compound en Pillar) bleven op 0.00 F1 staan bij alle modellen, wat de grenzen van supervised learning bij extreme data-schaarsheid benadrukt.

Betekenis en Claims

Het artikel betoogt dat hiërarchie-bewuste representatieleer een meer principiële alternatief is voor oversampling voor gestructureerde kwetsbaarheidsclassificatie. De auteurs beweren dat synthetische interpolatietechnieken (SMOTE/ADASYN) falen in dit domein omdat:

1. Ze samples produceren die een gebrek aan linguïstische coherentie vertonen in hoogdimensionale contextuele ruimtes.
2. Ze de structurele afhankelijkheden van de CWE-taxonomie schenden (bijv. een "Variant" kan niet bestaan zonder een "Base"), waardoor structureel ongeldige embeddings worden gecreëerd die het model in verwarring brengen.
3. Ze samples behandelen als onafhankelijke entiteiten in een platte feature-ruimte, waarbij de boomstructuur van CWE's wordt genegeerd waar fouten van ouder naar kind cascaderen.

Door de ouder-kind relatie expliciet te modelleren via leerbare embeddings, dwingt het voorgestelde framework structurele consistentie af en verbetert het de discriminatie tussen minderheid en semantisch afhankelijke klassen zonder de ruis die door synthetische datageneratie wordt geïntroduceerd.

Beperkingen

De auteurs erkennen nederig enkele beperkingen:

• Inference Afhankelijkheid: Het model gaat ervan uit dat parent-niveau metadata beschikbaar is tijdens inference, wat aansluit bij coarse-to-fine pipelines, maar mogelijk niet geschikt is voor alle scenario's.
• Statische Hiërarchie: De hiërarchie wordt als vast beschouwd; het model kan mogelijk niet generaliseren naar nieuwe of herschikte knopen zonder hertraining, gezien de voortdurende updates aan de CWE-taxonomie.
• Omvang van Hiërarchie: Alleen directe ouderinformatie wordt gevangen, waarbij multi-hop voorouders, sibling-relaties en boomdiepte worden genegeerd, wat de prestaties beperkt op diep geneste klassen zoals Compound en Pillar.
• Parameter Overhead: Leerbare parent embeddings voegen een bescheiden parameter overhead toe, wat de schaalbaarheid naar zeer grote taxonomieën zou kunnen hinderen.
• Domeinspecifiteit: De benadering is alleen geëvalueerd binnen het CWE-domein, waardoor de generaliseerbaarheid naar andere hiërarchische taken empirisch ongetoetst blijft.