VulnScout-C: A Lightweight Transformer for C Code Vulnerability Detection

Probleemstelling

Het detecteren van kwetsbaarheden in C-programma's is een kritieke uitdaging in softwarebeveiliging. Hoewel Large Language Models (LLMs) zoals GPT-4 en DeepSeek R1 sterke prestaties leveren bij het identificeren van beveiligingsfouten, zijn ze vaak onpraktisch voor integratie in ontwikkelingsworkflows. Deze modellen hebben miljarden parameters, wat leidt tot hoge inferentiekosten, groot geheugengebruik en hoge latentie. Dit maakt ze ongeschikt voor real-time analyse of gebruik in multi-agent systemen die snelle reactietijden vereisen. Aan de andere kant lijden traditionele statische analyse-tools vaak aan hoge rates van vals-positieven (vaak >60%) en gebrek aan semantisch begrip. Er is dus een dringend behoefte aan een model dat de nauwkeurigheid van grote LLMs combineert met de efficiëntie en snelheid van compacte modellen.

Methodologie

De auteurs introduceren VulnScout-C, een compacte transformer-architectuur die specifiek is ontworpen voor het detecteren van kwetsbaarheden in C-code.

1. Architectuur (VulnScout-C):

• Modelgrootte: Het model telt in totaal 693 miljoen parameters, waarvan slechts 353 miljoen actief zijn tijdens inferentie dankzij een Mixture-of-Experts (MoE) ontwerp.
• Basis: Het is afgeleid van de Qwen-familie (specifiek Qwen3-30B-A3B embeddings), maar is geoptimaliseerd voor de taak.
• Componenten:
  • Gebruik van Grouped Query Attention (GQA) om de geheugenfootprint van key-value caches te verkleinen.
  • Rotary Position Embeddings (RoPE) voor betere lengte-extrapolatie.
  • Een MoE-feedforward-netwerk met 25 experts en 1 gedeelde expert, waarbij per token slechts 2 experts actief zijn (1 gerouteerde expert + 1 gedeelde expert).
  • Het model heeft 8 transformer-lagen en een contextvenster dat geschikt is voor langere code-segmenten dan traditionele encoder-modellen.

2. Het VULNSCOUT Dataset:
Om bestaande benchmarks aan te vullen en hiaten in de dekking van bepaalde CWE-categorieën (Common Weakness Enumeration) op te vullen, hebben de auteurs een nieuw dataset van 33.565 gelabelde C-code samples (19.239 kwetsbaar, 14.326 veilig) gecreëerd.

• Generatie: Samples worden gegenereerd via een gecontroleerde multi-agent pipeline.
• Dual-Verification: Een uniek kenmerk is het strikte validatieprotocol. Een sample wordt alleen aanvaard als twee onafhankelijke verifiers overeenstemming bereiken:
  1. ESBMC: Een formele verificatietool (bounded model checking).
  2. GPT-OSS-120B: Een LLM-verifier die de code semantisch analyseert.
• Alleen samples waarbij beide verifiers hetzelfde oordeel vellen (bijv. beide "kwetsbaar" of beide "veilig") worden opgenomen. Dit elimineert onnauwkeurigheden en waarborgt hoge datakwaliteit.

3. Trainingsstrategie:
Het model ondergaat een meervoudig trainingsproces:

• Fase 1: Initialisatie en pre-training op de Juliet Test Suite voor basisdetectie.
• Fase 2: Continue pre-training op een mix van datasets (SecVulEval, FormAI-v2, BenchVul en het nieuwe VULNSCOUT) voor binary classificatie.
• Fase 3: Gespecialiseerde fine-tuning voor CWE-classificatie (25 klassen).
• Loss Functie: Er wordt een rank-aware weighted BCE loss gebruikt. Dit geeft meer gewicht aan de detectie van zware kwetsbaarheden die in de "MITRE Top 25" voorkomen, gebaseerd op hun rangschikking.

Belangrijkste Bijdragen

1. Compacte en Efficiënte Architectuur: VulnScout-C is een MoE-gebaseerde transformer die presteert op het niveau van veel grotere modellen, maar met een fractie van de rekencapaciteit. Het verwerkt samples in ongeveer 4,97 ms per sample (bij een batchgrootte van 32), wat real-time analyse in CI/CD-pipelines mogelijk maakt.
2. VULNSCOUT Dataset: Een hoogwaardig, gecurateerd dataset dat hiaten in bestaande benchmarks opvult, met name voor ondervertegenwoordigde CWE-categorieën. Het dataset is openbaar beschikbaar gesteld onder CC BY 4.0.
3. Rank-Aware CWE Classificatie: Een innovatieve loss-functie die het model prikkelt om prioriteit te geven aan de meest kritieke beveiligingsproblemen (MITRE Top 25), wat resulteert in een hoge nauwkeurigheid op deze specifieke categorieën.

Resultaten

Het model is geëvalueerd op de gestandaardiseerde CASTLE-benchmark (250 samples, 25 CWE-categorieën).

• Prestaties: VulnScout-C behaalde een CASTLE-score van 1068, wat hoger is dan alle geëvalueerde baselines, inclusief geavanceerde redenerende LLMs (zoals GPT-o3 Mini met 977, GPT-4o met 954) en commerciële statische analyse-tools.
• Classificatiemetrics:
  • Binary F1-score: 85,4%
  • Nauwkeurigheid (Accuracy): 82,4%
  • Recall: 86,0%
  • Precision: 84,9%
• CWE-specifiek: Het model behaalde een gemiddelde F1-score van 84,6% over alle 25 CASTLE-categorieën en 90,4% voor de 8 categorieën die overlappen met de MITRE Top 25. Voor specifieke kritieke fouten zoals CWE-787 (Out-of-bounds Write) en CWE-78 (OS Command Injection) werd een F1-score van 100% behaald.
• Vergelijking: Het model overtreft zowel traditionele statische analyse-tools (die vaak veel vals-positieven genereren) als grote LLMs, terwijl het aanzienlijk sneller en goedkoper is om uit te voeren.

Betekenis en Impact

Dit paper bewijst dat taak-specialisatie en architecturale efficiëntie (via MoE) de kloof tussen de theoretische kracht van grote LLMs en de praktische toepasbaarheid in softwareontwikkeling kunnen dichten.

• Praktische Toepasbaarheid: Door de lage latentie en het geringe geheugengebruik kan VulnScout-C direct worden geïntegreerd in IDE's, pre-commit hooks en CI/CD-pipelines, wat continu en real-time kwetsbaarheidsanalyse mogelijk maakt zonder dure inferentie-servers.
• Kwaliteit van Data: De methode van dual-verification (ESBMC + LLM) voor datasetgeneratie biedt een nieuwe standaard voor het creëren van betrouwbare, synthetische trainingsdata voor beveiligingstaken.
• Toekomst: De resultaten suggereren dat toekomstige beveiligingstools zich kunnen richten op compacte, gespecialiseerde modellen in plaats van steeds grotere generieke modellen, wat de toegankelijkheid van geavanceerde beveiligingsanalyse vergroot.