AVIATOR: Towards AI-Agentic Vulnerability Injection Workflow for High-Fidelity, Large-Scale Code Security Dataset

Probleemstelling

De complexiteit van softwaresystemen en de geavanceerdheid van cyberaanvallen maken geautomatiseerde kwetsbaarheidsdetectie essentieel. Data-gedreven benaderingen, met name die gebruikmaken van Deep Learning (DL), zijn veelbelovend, maar hun effectiviteit is sterk afhankelijk van de beschikbaarheid van grote, nauwkeurig gelabelde datasets. Bestaande datasets hebben echter ernstige tekortkomingen:

• Synthetische datasets: Zijn schoon en controleerbaar, maar missen de structurele en semantische complexiteit van productiesoftware.
• Realistische datasets: Gebaseerd op commits of databases (zoals NVD), maar lijden vaak onder ruis in labels (slechts 25% nauwkeurigheid in sommige gevallen) door heuristische labeling.
• Injectie-methoden: Bestaande technieken voor het injecteren van kwetsbaarheden (zoals VGX of VulScribeR) zijn beperkt in dekking (weinig CWE-types), contextuele authenticiteit, of injectiesucces. Ze vertrouwen vaak op handgemaakte patronen of optimaliseren voor downstream-metrics in plaats van injectie-correctheid, wat leidt tot ruis in de trainingsdata.

Er is een dringende behoefte aan een methode die schaalbaar is, hoge labelnauwkeurigheid biedt, en realistische, diverse kwetsbaarheden genereert die de werkelijke software-omgeving nabootsen.

Methodologie: Het AVIATOR Framework

AVIATOR (AI Agentic Vulnerability Injection And Transformation with Optimized Reasoning) is het eerste framework dat kwetsbaarheidsinjectie benadert als een gecoördineerde workflow van gespecialiseerde AI-agenten. In plaats van een monolithisch model te gebruiken, deconstrueert AVIATOR het proces naar subtaken die gespecialiseerde agenten uitvoeren, wat het redeneerproces van een menselijke beveiligingsexpert nabootst.

Het framework bestaat uit twee hoofdmodules:

1. Vulnerability Injection Module:

   • Code Understanding: Analyseert de semantiek en dataflow van de veilige code.
   • Information Loader: Haalt specifieke definities op van het te injecteren kwetsbaarheids-type (CWE).
   • Vuln.-Specific Code Understanding: Identificeert veiligheidsmechanismen (zoals validatiechecks) die de kwetsbaarheid voorkomen.
   • Vulnerability Injector: Het kernagent dat de transformatie uitvoert. Dit agent maakt gebruik van:
     • Retrieval-Augmented Generation (RAG): Haalt vergelijkbare voorbeelden op uit een kennisbank om realistische patronen te leren.
     • Fine-tuning: Gebruikt Low-Rank Adaptation (LoRA) voor Supervised Fine-Tuning (SFT) en Reinforcement Learning (GRPO) om het model te specialiseren zonder de volledige rekenkosten van full-fine-tuning.
   • Polisher: Normaliseert de output en corrigeert formatteerfouten of afgekapte code.

2. Validation Module:

   • Diff-checking: Detecteert of er daadwerkelijke, niet-triviale wijzigingen zijn aangebracht.
   • Static Analysis: Gebruikt tools zoals cppcheck om syntactische en semantische geldigheid te verifiëren.
   • Iteratieve Correctie: Als een injectie faalt of onvolledig is, worden agenten (zoals de Diff Refiner en Vulnerability Fixer) geactiveerd om de code te herzien. Dit creëert een zelfcorrigerende lus die de kwaliteit garandeert.

Het systeem is ontworpen om 133 verschillende CWE-types (Common Weakness Enumeration) te ondersteunen, wat een aanzienlijke uitbreiding is ten opzichte van eerdere methoden.

Belangrijkste Bijdragen

1. Eerste AI-Agentic Workflow: AVIATOR is het eerste werk dat kwetsbaarheidsinjectie implementeert via een multi-agent workflow met zelfcorrectie en tool-integratie, in plaats van één enkel generatief model.
2. Hoge Fideliteit en Brede Dekking: Het framework ondersteunt 133 CWE-types (tegenover 23 bij VGX) en produceert kwetsbaarheden met een hoge mate van realisme en contextuele nauwkeurigheid, zonder afhankelijk te zijn van handgemaakte patronen.
3. Efficiëntie en Schaalbaarheid: Door LoRA en RAG te combineren, is het framework kostenefficiënt en schaalbaar, met een lage syntactische afwijzingsrate (<2%).
4. Validatie: Het framework is gevalideerd door cybersecurity-experts en toont aan dat het redeneerproces van experts effectief kan worden gemodelleerd in software.

Resultaten

De evaluatie vond plaats op drie benchmarks: SARD100 (synthetisch), FormAI (complexer synthetisch) en PrimeVul (realistische code).

• Injectiesucces: AVIATOR bereikte een succespercentage van 91% tot 95% (gemiddeld 93%), wat aanzienlijk hoger is dan bestaande methoden zoals VGX (90%, maar beperkt in dekking) en VulScribeR (geschat op 80-82%).
• Downstream Performance: Wanneer de gegenereerde data werd gebruikt om Deep Learning-modellen voor kwetsbaarheidsdetectie (DLVD) te trainen, bood AVIATOR de sterkste verbetering:
  • +21,8% verbetering in gemiddelde F1-score ten opzichte van geen augmentatie.
  • +24,6% verbetering ten opzichte van VGX.
  • +2,9% verbetering ten opzichte van de state-of-the-art VulScribeR, met name door een +7,4% stijging in recall zonder verlies aan precisie.
• Distributie en Realisme: AVIATOR veroorzaakte de minste distributieve vervorming (laagste KL-divergentie) ten opzichte van de originele datasets, wat aangeeft dat de gegenereerde data natuurlijker is dan die van concurrenten.
• Kosten: De generatiekosten zijn 4,3 keer lager dan bij VulScribeR, met een afwijzingsrate van minder dan 2% door syntaxisfouten.

Betekenis en Impact

AVIATOR markeert een doorbraak in de automatisering van softwarebeveiliging. Door de afhankelijkheid van handgemaakte patronen te doorbreken en in te zetten op een agent-based workflow, maakt het het mogelijk om grote, hoogwaardige datasets te genereren die zowel breed gedekt zijn (veel CWE-types) als semantisch realistisch.

Dit heeft directe gevolgen voor:

1. Training van AI-modellen: Het biedt een betrouwbare bron van trainingsdata die de prestaties van kwetsbaarheidsdetectiemodellen significant verbetert.
2. Benchmarking: Het stelt onderzoekers in staat om systemen te testen op realistische, gevarieerde kwetsbaarheden met gegarandeerde labels.
3. Toekomstige Ontwikkeling: Het framework is taal-agnostisch en kan worden uitgebreid naar project-niveau injecties, wat de weg vrijmaakt voor nog complexere beveiligingstests.

Kortom, AVIATOR lost het compromis op tussen schaalbaarheid, dekking en nauwkeurigheid in kwetsbaarheidsdatasets, en zet een nieuwe standaard voor hoe AI kan worden ingezet om de softwarebeveiliging te versterken.