A Comprehensive Evaluation of Code Language Models for Security Patch Detection

Technische Samenvatting: Een Uitgebreide Evaluatie van Code Taalmodellen voor het Detecteren van Security Patches

Probleemstelling
Automatische detectie van vulnerability-fixing commits (VFC's) is essentieel voor tijdige implementatie van security patches, vooral omdat adviserende databases vaak een achterstand hebben van een mediaan van 25 dagen ten opzichte van de release van patches, en veel fixes nooit een publieke aankondiging ontvangen. Hoewel Code Language Models (Code LMs) steeds vaker worden toegepast voor Security Patch Detection (SPD), blijft de vraag onduidelijk of hun vermogen om security fixes te herkennen gebaseerd is op louter code-wijzigingen. Bestaande prestatierapporten worden vaak vertroebeld door drie kritieke factoren: (1) modellen die zwaar leunen op commit-berichten in plaats van code-semantiek; (2) datalekken veroorzaakt door het evalueren van modellen op projecten die zowel in de trainings- als de testsets voorkomen; en (3) onzekere labelkwaliteit, met name voor commits zonder expliciete CVE-associaties. Het gezamenlijke effect van deze factoren op de gerapporteerde SPD-prestaties is niet rigoureus gekwantificeerd.

Methodologie
Om deze problemen aan te pakken, heeft de auteur een uniform framework geconstrueerd dat 20 gefragmenteerde VFC-datasets (besprekend over meer dan 180.000 commits) consolideert tot een samenhangende evaluatiesuite. Dit framework bevat tools voor systematische parsing, normalisatie, deduplicatie en contextverrijking.

Het evaluatieprotocol omvatte het trainen van 270 verschillende modellen variërend van 125M tot 80B parameters (inclusief encoder-, encoder-decoder- en decoder-architecturen) over vier dataset-composities (D1–D4) met variërende scopes van taalondersteuning en labelbronnen (CVE-gemapt, gebaseerd op advies, en geautomatiseerde tooling). De studie maakte gebruik van drie specifieke onderzoeksstrategieën:

1. Strikte Evaluatieprotocollen: Het gebruik van groep-gestratificeerde splits om project-niveau datalekken te voorkomen en het isoleren van code-alleen inputs om echt code-redenerend vermogen te meten.
2. Contextverrijking: Het implementeren van lichtgewicht intra-procedurele contextverrijking (via control-flow en data-flow analyse via Tree-sitter en GumTree) en het evalueren van inter-procedurele repository-context (RepoSPD) om te bepalen of aanvullende semantische context de detectie verbetert.
3. Label Audit: Het uitvoeren van een handmatige expert-audit van 200 commits om de labelnauwkeurigheid te kwantificeren en foutdistributies te analyseren om onderscheid te maken tussen model-fouten en labelruis.

De evaluatiemetrieken omvatten F1-scores en de Patch Detection Score (PD-S), gedefinieerd als de False Negative Rate bij een strikte False Positive Rate (FPR) van 0,5% (0,005), om de base rate fallacy te mitigeren.

Belangrijkste Bijdragen

1. Uniform Framework: De release van een framework dat 20 VFC-datasets integreert met geautomatiseerde pipelines voor normalisatie, deduplicatie en contextverrijking, wat een systematische vergelijkende evaluatie mogelijk maakt over verschillende labelingstrategieën en talen.
2. Rigoureuze Herbeoordeling: Een uitgebreide studie naar Code LM-gebaseerde SPD die de impact van trainingsprotocollen, modelcapaciteit en contextsignalen isoleert, wat concrete aanbevelingen biedt voor toekomstige evaluaties op geaggregeerde corpora.
3. Kwantificering van Labelkwaliteit: Een directe kwantificering van de commit-niveau labelnauwkeurigheid door middel van expert-auditing, waarbij wordt aangetoond dat labelfouten geconcentreerd zijn in commits zonder CVE-associaties en evaluatiemetrieken significant verstoren.

Belangrijkste Resultaten

• Afhankelijkheid van Natuurlijke Taal: Modellen classificeren commits primair op basis van commit-berichten. Trainen op berichten alleen benadert bijna de volledige commit-prestaties, terwijl training op alleen code resulteert in een substantiële daling in prestaties.
• Impact van Splittingstrategieën: Groep-gestratificeerde splits (waarbij projecten tussen train/test worden gescheiden) verlagen de F1-scores met 16–28% vergeleken met willekeurige splits, wat onthult dat de eerdere hoge prestaties werden gedreven door project-specifieke memorisatie. Temporale splits verslechteren de resultaten verder, maar sliding window-analyse suggereert dat dit komt door verschuivende project-composities in plaats van echte temporale verschuivingen in kwetsbaarheidspatronen.
• Modelcapaciteit en Context: Grotere decoder-gebaseerde modellen (bijv. Qwen3-Coder-Next) tonen duidelijke winst ten opzichte van kleinere encoders en baselines, met name op CVE-gemapte data. Deze winst is echter onvoldoende onder strikte false positive budgetten. Noch intra-procedurele contextverrijking (control-flow/data-flow), noch inter-procedurele repository-context leverde betrouwbare verbeteringen op. Bij een FPR van 0,5% (0,005) mist elk geëvalueerd fine-tuned code-only model ten minste 80% van de vulnerability fixes.
• Labelruis: Handmatige auditing onthulde dat de labelnauwkeurigheid voor CVE-geassocieerde commits hoog is (~91%), maar dat de nauwkeurigheid voor VFC's zonder CVE-associaties daalt naar ~29% (strikte definitie) of ~67% (leniente definitie). Deze ruis beïnvloedt de evaluatie onevenredig veel, waardoor modellen worden gestraft voor het correct afwijzen van foutief gelabelde samples.
• Contextbeperkingen: Foutanalyse geeft aan dat het beslissende bewijs voor een fix vaak buiten de diff ligt (bijv. in systeeminteracties of attacker capabilities), en modellen slagen er niet in om toegevoegde semantische context effectief te gebruiken, zelfs wanneer deze wordt aangeboden.

Betekenis en Claims
Het artikel stelt dat de huidige gerapporteerde SPD-prestaties grotendeels reflecties zijn van datasetcorrelaties (specifiek commit-berichten en project-specifieke patronen) in plaats van werkelijk codebegrip. De auteurs beweren dat onder strikte evaluatievoorwaarden — code-only inputs en groep-gestratificeerde splits — geen enkele gemeten configuratie betrouwbaar VFC's detecteert op basis van code-wijzigingen alleen met een hoge mate van vertrouwen, ondanks dat grotere modellen duidelijke maar onvoldoende winsten laten zien ten opzichte van baselines.

De betekenis van dit werk ligt in het vaststellen dat:

• Evaluatieprotocollen: Getrouwe schattingen van code-redenering vereisen code-only inputs en groep-gestratificeerde splits; temporale splits op geaggregeerde corpora zijn onbetrouwbaar vanwege compositorische verschuivingen.
• Datakwaliteit: Evaluaties moeten prioriteit geven aan CVE-bevestigde positieve gevallen, aangezien modellen beter presteren op deze schonere datasets dan op ruizige data, en auteurs moeten expliciet vermelden welke definitie van een "security fix" hun labels bevatten.
• Systeemontwerp: De primaire bottleneck voor SPD is niet modelcapaciteit of de hoeveelheid context, maar het vermogen om de specifieke context te selecteren en effectief te gebruiken waar experts op vertrouwen (vaak buiten de diff). Toekomstige systemen kunnen behoefte hebben aan retrieval-augmented benaderingen, codebase-gespecialiseerde modellen, of agentic systemen om de noodzakelijke context te verzamelen, in plaats van enkel te vertrouren op fine-tuned classifiers op statische diffs.

De auteurs concluderen dat hoewel gespecialiseerde classifiers relevant blijven voor screening, het vakgebied voorbij de huidige benchmark-beperkingen moet bewegen om systemen te ontwikkelen die in staat zijn code-wijzigingen te funderen in een bredere repository-context.