Toward Scalable Automated Repository-Level Datasets for Software Vulnerability Detection

Probleemstelling en Motivatie

Softwarekwetsbaarheden nemen in volume toe en zijn in de praktijk moeilijk te detecteren. Hoewel op machine learning (ML) en Large Language Models (LLM) gebaseerde detectiemethoden vooruitgang hebben geboekt, vormen bestaande benchmarks een knelpunt:

• Functie-gerichtheid: De meeste huidige benchmarks reduceren het probleem tot een binaire classificatie op functieniveau. Dit is vaak onvoldoende omdat kwetsbaarheden vaak ontstaan door interacties tussen functies, bestanden en configuratiegrenzen (interproceduraal), en niet door geïsoleerde functies.
• Gebrek aan realisme: Evaluaties op traditionele datasets overschatten vaak de prestaties in de echte wereld. Realistischere scenario's tonen grote prestatiedalingen aan.
• Schaalbaarheid: Bestaande repository-level benchmarks (zoals ReposVul, VulEval, BountyBench) zijn waardevol omdat ze realistische context bieden, maar ze zijn beperkt in schaal vanwege hun handmatige samenstelling. Dit maakt ze ongeschikt voor het trainen van robuuste AI-agenten.

Er is een urgent behoefte aan schaalbare, automatisch gegenereerde datasets die kwetsbaarheden op repository-niveau bevatten, met precieze labels en reproduceerbare bewijzen van kwetsbaarheid (Proof-of-Vulnerability of PoV).

Methodologie

Het onderzoek stelt een geautomatiseerd benchmark-generator voor, aangedreven door een workflow van AI-agenten. De aanpak volgt het proces van menselijke beveiligingsingenieurs en bestaat uit vijf fasen:

1. Fase A: Doelselectie en uitvoerbare harness:

   • Het systeem bouwt het project automatisch in een gecontaineriseerde omgeving.
   • Het discoveren of synthetiseren van testharnesses (bestaande tests, fuzz-harnesses of minimale driverprogramma's).
   • Het vaststellen van invarianten (bijv. passende tests, sanitizer-baselines) om problematische injecties af te wijzen. Dit garandeert dat elk benchmark-item uitvoerbaar is.

2. Fase B: Kwetsbaarheidsinjectie met Multi-Agent Controle:

   • CodeQL-analyse: Wordt gebruikt om kandidaat-injectiepunten te vinden op basis van dataflow-patronen en beveiligingsrelevante "sinks" en "sources".
   • Agenten-teams:
     • Planner: Selecteert een kwetsbaarheidsklasse (bijv. CWE-familie) en injectiepunten.
     • Implementer: Voert minimale, cross-file wijzigingen door die de kwetsbaarheid activeren langs specifieke uitvoeringspaden (interprocedurale fouten).
     • Reviewer: Zorgt voor realisme (coderstijl, plausibele ontwikkelaarsintentie) en vermijdt synthetische handtekeningen.
     • Verifier: Herbouwt het project en voert tests uit om te garanderen dat alleen de beoogde gedragingen worden beïnvloed.

3. Fase C: Synthese van Bewijs van Kwetsbaarheid (PoV):

   • Voor elke injectie probeert een exploit-generatie-agent een PoV te produceren:
     • Voor geheugenveiligheid: een triggerende input met sanitizer- of crash-signatuur.
     • Voor logische/web-fouten: een end-to-end request-sequentie met een waarneembare beveiligingsviolaatie.
   • Het systeem registreert uitvoerbare traces (stack traces, crash-inputs, dependency slices) voor evaluatie.

4. Fase D: Training en Benchmarking:

   • De gegenereerde corpus wordt gebruikt om detectie-agenten te trainen die opereren op repository-schaal. Deze agenten gebruiken tool-verrijkte retrieval, iteratieve lokalisatie en validatie (het reproduceren van de PoV of het genereren van een patch).

5. Fase E: Adversariele Co-evolutie:

   • Een nieuw raamwerk waarin twee concurrerende AI-modellen (een Injector en een Detector) elkaar iteratief verbeteren. De injector leert realistischere kwetsbaarheden te genereren, terwijl de detector steeds beter wordt in het identificeren ervan.

Kernvragen (Research Questions)

Het onderzoek richt zich op drie hoofdvragen:

1. Kunnen AI-agent workflows realistische kwetsbaarheden injecteren in echte repositories terwijl build/test-validiteit behouden blijft en reproduceerbare PoV's worden gegenereerd?
2. Verbetert training op een groot, repository-level dataset de generalisatie en robuustheid van kwetsbaarheidsdetectiemodellen in vergelijking met functie-level training?
3. Kan een adversariele co-evolutie tussen injectie- en detectie-agenten de robuustheid van repository-level detectie verbeteren?

Verwachte Resultaten en Evaluatie

De validatie van de benchmark zal worden gemeten aan de hand van:

• Het percentage succesvolle builds/tests na injectie.
• De reproduceerbaarheid van de PoV.
• Realisme, beoordeeld door experts via een gestratificeerde steekproef.
• Diversiteit (CWE-distributie en diepte over meerdere bestanden).

De trainingsevaluatie zal detectiemodellen vergelijken die wel en niet getraind zijn met de gegenereerde data, getest op externe benchmarks (zoals BountyBench/CVE-Bench-stijl taken).

Belangrijkste Bijdragen

1. Scalabele Benchmark Generator: Een nieuw, automatisch systeem voor het genereren van repository-level kwetsbaarheidsbenchmarks met bijbehorende PoV-artefacten.
2. Trainingsdataset: Een grote, nauwkeurig gelabelde dataset specifiek ontworpen voor het trainen van AI-agenten voor kwetsbaarheidsdetectie op repository-niveau.
3. Adversariele Methodologie: Een co-evolutie-framework dat zowel de injectie- als (vooral) de detectiecapaciteiten continu verbetert onder realistische beperkingen.

Significantie

Dit onderzoek adresseert een fundamentele beperking in het veld van softwarebeveiliging: het gebrek aan schaalbare, realistische trainingsdata. Door te verschuiven van functie- naar repository-level detectie en door automatische, reproduceerbare benchmarks te creëren, stelt dit werk de basis voor het ontwikkelen van robuustere AI-systemen die beter in staat zijn om complexe, interprocedurale kwetsbaarheden in moderne, grote codebases te detecteren. Dit is essentieel gezien de toenemende complexiteit van software en het gebruik van AI-gestuurde coderingstools die nieuwe veiligheidsrisico's kunnen introduceren.