An Empirical Study of the Imbalance Issue in Software Vulnerability Detection

Titel: Een empirische studie naar het onevenwichtsprobleem bij de detectie van softwarekwetsbaarheden

1. Het Probleem

De detectie van softwarekwetsbaarheden is cruciaal voor de cybersecurity, maar handmatige inspectie is tijdrovend en vereist specifieke expertise. Hoewel Deep Learning (DL) veelbelovend is voor het automatiseren van deze taak op functieniveau, vertonen bestaande modellen vaak wisselende prestaties.

Het kernprobleem dat deze studie adresseert, is het onevenwichtsprobleem (imbalance issue). In datasets met broncode zijn kwetsbare stukken code (de minderheidsklasse) extreem zeldzaam vergeleken met veilige code (de meerderheidsklasse). Bijvoorbeeld, in sommige datasets komt slechts 1 kwetsbaarheid voor op 300+ veilige functies.

• Gevolg: DL-modellen worden tijdens het trainen "gebias" naar de meerderheidsklasse (veilige code). Dit leidt tot een lage verlieswaarde (loss) voor veilige code, maar een hoge verlieswaarde voor kwetsbare code.
• Resultaat: De modellen bereiken een hoge algehele nauwkeurigheid (accuracy) omdat ze simpelweg alles als "veilig" classificeren, maar ze missen de kwetsbaarheden volledig (hoge False Negative Rate).

2. Methodologie

De auteurs voeren een uitgebreide empirische studie uit om de impact van onevenwicht te kwantificeren en bestaande oplossingen te evalueren.

• Datasets: Er werden negen open-source datasets gebruikt, afkomstig van projecten zoals FFmpeg, QEMU, LibTIFF, Asterisk en VLC. Deze datasets variëren sterk in onevenwichtsverhouding (van bijna 1:1 tot meer dan 300:1).
• Modellen: Twee state-of-the-art foundation modellen werden getest:
  • CodeBERT: Gebaseerd op Transformers, getraind op bimodale data (code + natuurlijke taal).
  • GraphCodeBERT: Neemt ook de dataflow van de broncode als input.
• Geëvalueerde Oplossingen: Zeven methoden uit andere domeinen (Computer Vision en NLP) werden toegepast:
  • Data-niveau: Random down-sampling, random over-sampling, en augmentatie via adversarial attacks (variabelenaam-wijziging).
  • Model-niveau: Threshold-moving (aanpassen van de beslissingsdrempel), Mean False Error (MFE) loss, Class-balanced (CB) loss, en Focal loss.
• Evaluatiemetrics: In plaats van alleen "accuracy" te gebruiken, werden zes metrics geanalyseerd: Accuracy, False Positive Rate (FPR), False Negative Rate (FNR), Precision, Recall en F1-score.

3. Belangrijkste Resultaten

A. Impact van Onevenwicht (RQ1)
De experimenten bevestigen dat onevenwicht leidt tot een sterke bias. Zelfs bij een hoge algehele accuracy (bijv. 99,77%) kan de detectie van kwetsbaarheden catastrofaal slecht zijn (bijv. slechts 44,44% recall). De modellen leren voornamelijk van de veilige code, wat resulteert in een hoge False Negative Rate.

B. Evaluatiemetrics (RQ2)

• Accuracy en FPR blijven misleidend voor kwetsbaarheidsdetectie omdat ze de prestaties op de minderheidsklasse verbergen.
• Precision, Recall en F1-score bieden de meest informatieve inzichten.
  • Recall is essentieel om te zien hoeveel kwetsbaarheden er daadwerkelijk worden gevonden.
  • Precision is belangrijk om te weten hoeveel "veilige" code ten onrechte als kwetsbaar wordt gemarkeerd (false positives).

C. Effectiviteit van Oplossingen (RQ3)
Geen enkele bestaande oplossing werkt perfect over alle datasets en metrics heen:

1. Focal Loss: Is de beste keuze voor het verbeteren van Precision. Het focust op moeilijk te classificeren monsters, ongeacht of ze kwetsbaar of veilig zijn.
2. MFE en Class-balanced Loss: Deze loss-functies stimuleren de Recall. Ze dwingen het model om meer aandacht te besteden aan de minderheidsklasse (kwetsbaarheden), maar gaan vaak ten koste van de precision.
3. Random Over-sampling: Presteert over het algemeen het beste op de F1-score (het evenwicht tussen precision en recall).
4. Random Down-sampling: Presteert over het algemeen het slechtst omdat er te veel informatie over veilige code verloren gaat, vooral in kleine datasets.

D. Externe Factoren (RQ4)
De effectiviteit van oplossingen wordt beïnvloed door externe factoren:

• Afwezigheid van kwetsbaarheidstypen: Als een specifiek type kwetsbaarheid niet voorkomt in de trainings- of validatieset, kunnen oplossingen dit niet oplossen (het model kan geen kennis verwerven over wat het niet heeft gezien).
• Identificatie-moeilijkheid: Sommige kwetsbaarheidstypen zijn inherent moeilijker te detecteren.
• Data-distributie: Verschillen in distributie tussen validatie- en testsets (distribution shift) kunnen leiden tot een totale degradatie van de prestaties, vooral bij methoden zoals threshold-moving.

4. Bijdragen en Inzichten

• Empirisch Bewijs: Het artikel levert het eerste uitgebreide bewijs dat het onevenwichtsprobleem de kern is van de variabiliteit in prestaties van DL-modellen voor kwetsbaarheidsdetectie.
• Richtlijnen voor Praktijk:
  • Gebruik Precision, Recall en F1 in plaats van Accuracy.
  • Kies Focal Loss als het doel is om valse positieven te minimaliseren (hoge precision).
  • Kies MFE of CB Loss als het doel is om zoveel mogelijk kwetsbaarheden te vinden (hoge recall).
  • Kies Random Over-sampling voor een gebalanceerde F1-score.
• Noodzaak voor Nieuwe Oplossingen: Bestaande oplossingen uit Computer Vision en NLP zijn niet direct toepasbaar zonder aanpassing. Er is behoefte aan oplossingen die specifiek zijn ontworpen voor softwarekwetsbaarheden, rekening houdend met de syntactische en semantische complexiteit van code en de verdeling van kwetsbaarheidstypen.

5. Betekenis

Deze studie is van groot belang voor de softwarebeveiligingsgemeenschap omdat het de valkuilen van het gebruik van "off-the-shelf" deep learning modellen voor kwetsbaarheidsdetectie blootlegt. Het benadrukt dat het simpelweg toepassen van bestaande technieken zonder rekening te houden met de extreme onevenwichtigheid in de data, leidt tot modellen die in de praktijk onbruikbaar zijn (ze vinden geen kwetsbaarheden). De bevindingen vormen een basis voor het ontwikkelen van robuustere, op maat gemaakte detectiemodellen en bieden een realistisch kader voor het evalueren van toekomstige onderzoekswerk.