Technische Samenvatting: Datacentrische Benchmarking van Exploit-generatie in LLM's

Probleemformulering

Het paper behandelt de taak van CVE-geconditioneerde exploit-generatie, gedefinieerd als de synthese van gestructureerde proof-of-concept (PoC) exploits op basis van heterogene softwarekwetsbaarheidscontext. Hoewel recente Large Language Models (LLM's) capaciteiten hebben getoond in het ontdekken van kwetsbaarheden, blijven praktische beperkingen bestaan bij exploit-generatie:

1. Resource-intensiteit: Frontier-modellen vereisen vaak enorme API-kosten en rekenkracht voor lage succespercentages (bijv. de samenwerking tussen Anthropic en Mozilla kostte ongeveer $ 4.000 voor twee succesvolle generaties).
2. Veiligheidsweigeringen: Sterke veiligheidsafstemming in moderne modellen leidt tot hoge weigeringspercentages voor exploit-generatietaken (bijv. >82% voor GPT-5 in vroege tests).
3. Data- en Evaluatiekloven: Bestaande benaderingen zijn grotendeels modelgericht en verkennen de impact van datakwaliteit en gestructureerd toezicht onvoldoende. Er is een gebrek aan verenigde benchmarks die gecontroleerde, reproduceerbare vergelijkingen over modellen en schalen mogelijk maken.

De auteurs formaliseren de taak waarbij een model $f_\theta$ een contextuele prompt $x_{c,k}$ (die CVE-beschrijvingen, metadata, advisories en code-artefacten aggregeert) mapt naar een gestructureerde output $y_{c,k} = (s_{c,k}, a_{c,k})$, bestaande uit een beknopte exploit-samenvatting ($s$) en een gestructureerd artefact/codesnippet ($a$).

Methodologie

1. Datacentrisch Framework

De kernbijdrage is een multi-stage data-verfijningspipeline ontworpen om gefragmenteerde, ruisige ruwe CVE-data te transformeren naar hoogwaardige gestructureerde supervisie:

• Standaardisatie: Aggregatie van kenmerken uit meerdere bronnen (CVE, NVD, GHSA, GitHub) in verenigde JSON-templates.
• Kwaliteitscontrole: Toepassing van deterministische filtering en CWE-bewuste heuristische selectie (regex/patroonherkenning) om niet-tekstuele of zwak geassocieerde monsters te verwijderen.
• Semantische Verfijning: Het gebruik van een "Teacher" LLM om labels te herschrijven, code van beschrijvende tekst te scheiden en gefragmenteerde implementaties te consolideren tot uitvoerbare scripts. Dit proces omvat "Offline Label Denoising", waarbij de teacher de ruwe data behandelt als aanvullende begeleiding in plaats van de grondwaarheid om de logische consistentie te verbeteren.

2. Evaluatiepipeline

De auteurs introduceren een schaalbaar evaluatieframework met behulp van LLM-as-a-Judge (specifiek GPT-5.2) met een fijnmazige, 8-criteria rubric. De criteria zijn gewogen op basis van prioriteit:

• Hoge Prioriteit: Target-nauwkeurigheid, Reproduceerbaarheid & Determinisme, Omgevingsveiligheid & Bijwerkingen, Bewijsbaarheid & Verificatie.
• Medium Prioriteit: Logische Flow-helderheid, Collaterale Detectie & Afhandeling.
• Lage Prioriteit: Implementatiekwaliteit, Code-documentatie.
  Scores worden opgeteld tot een maximum van 26. De evaluatiedataset bestaat uit 68 handgekozen, door experts beoordeelde CVE's (22 Path Traversal, 46 Remote Code Execution) die gescheiden zijn van de trainingsdata.

3. Model Benchmarking en Fine-Tuning

• Zero-Shot Benchmarking: 17 state-of-the-art LLM's (inclusief o3, GPT-5, Claude Opus, DeepSeek, Llama en Qwen-varianten) werden geëvalueerd over 8 criteria en 6 contextniveaus (variërende informatiedichtheid).
• Supervised Fine-Tuning (SFT): De auteurs hebben een compact Qwen3-8B model gefinetuned met behulp van QLoRA (4-bit kwantisatie). De trainingsdata bestond uit de verfijnde dataset (~4.500 CVE's) waarbij het studentmodel werd getraind op door de teacher herschreven labels inclusief redeneersporen (Chain-of-Thought).

Belangrijkste Resultaten

Zero-Shot Prestaties

• Model Hiërarchie: Frontier-modellen zoals o3 behaalden de hoogste totale scores (16.96/26), wat een sterke consistentie over alle criteria aantoont. GPT-5.2 en Kimi-K2.5 vormden een competitieve tweede laag.
• Schaal vs. Capaciteit: Kleinere modellen (bijv. Qwen3-8B, Llama-varianten) scoorden significant lager (bijv. Qwen3-8B op 6.58), vooral in target-nauwkeurigheid en reproduceerbaarheid, hoewel ze enige redeneercapaciteit behielden.
• Impact van Context: Alle modellen profiteerden van meer context (van niveau 1 naar niveau 3), maar de prestatiewinsten verzadigden bij hogere niveaus.

Impact van Fine-Tuning (SFT)

De studie onthult een taakafhankelijke gedraging van SFT op het compacte Qwen3-8B model:

• Complexe Taken (RCE): SFT leverde substantiële verbeteringen op. De totale score steeg van 6.58 naar 9.38 (+2.80). Opvallend genoeg presteerde het gefinetunede 8B model aanzienlijk beter dan de zero-shot GPT-4o (7.09) en verkleinde het de kloof met grotere modellen zoals Qwen3-30B. De winsten waren het meest uitgesproken in Omgevingsveiligheid (+0.87) en Reproduceerbaarheid (+0.72).
• Eenvoudige Taken (Path Traversal): In tegen tegenstelling hiertoe verslechterde SFT de prestaties op Path Traversal (PT) kwetsbaarheden, waarbij de score daalde van 13.53 naar 10.18. De auteurs hypothetiseren dat PT meer leunt op het memoriseren van eenvoudige patronen, terwijl RCE complexe, langdurige compositionele redenering vereist die profiteert van de gestructureerde supervisie die door SFT wordt geboden.

Betekenis en Claims

Het paper betoogt dat datakwaliteit, gestructureerde supervisie en evaluatieontwerp even cruciaal zijn als modelschaal voor het aanpassen van LLM's aan cybersecurity-taken.

• Datacentrische Efficiëntie: Een compact 8B model kan, wanneer het gefinetuned is op gecureerde, hoogwaardige data, concurreren met propriëtaire frontier-modellen in complexe exploit-generatietaken, wat de opvatting uitdaagt dat schaal de enige drijfveer van prestaties is.
• Gestructureerde Supervisie: Het gebruik van teacher-geleide label-denoising en redeneersporen is essentieel voor het genereren van coherente, uitvoerbare exploits, met name voor complexe kwetsbaarheids types zoals Remote Code Execution (RCE).
• Evaluatie-Rigoreusheid: Het voorgestelde verenigde framework en de 8-criteria rubric bieden een noodzakelijke baseline voor gecontroleerde, reproduceerbare analyse, waarbij de effecten van data, trainingssignalen en modelarchitectuur worden ontward.

De auteurs concluderen dat hoewel huidige algemene modellen moeite hebben met gestructureerde exploit-generatie onder strikte beperkingen, taakspecifieke training op hoogwaardige data een levensvatbaar, kosteneffectief pad biedt naar betrouwbare exploit-generatiesystemen, mits de fine-tuning strategieën zijn afgestemd op de complexiteit van het doeltype van de kwetsbaarheid.