Technische Samenvatting: Evaluatie van Weigering bij Coding LLM's en Code Agents

Probleemstelling

De evaluatie van weigering door Large Language Models (LLM's) bij taken voor het genereren van kwaadaardige code is gefragmenteerd geraakt in ten minste dertien publiek vrijgegeven prompt-corpora (bijv. AdvBench, CyberSecEval, RMCBench, RedCode, MOCHA, ASTRA, JAWS-Bench). Deze datasets zijn opgezet volgens uiteenlopende protocollen, maken gebruik van verschillende licentievoorwaarden en missen gestandaardiseerde validatie van inter-rater betrouwbaarheid (IRR). Bestaande literatuur verwardt "evaluatie van weigering" (neemt het model een verzoek om kwaadaardige code af?) met "evaluatie van kwetsbaarheden" (genereert het model code met bugs bij onschadelijke verzoeken?), of behandelt prompt-corpora louter als aanverwante context binnen bredere beveiligingstaxonomieën. Bijgevolg zijn statistieken over weigeringspercentages die in deze corpora worden gerapporteerd, niet direct vergelijkbaar; ze meten niet-equivalente constructen als gevolg van variaties in prompt-samenstelling, modaliteit (single-turn versus multi-turn versus agent) en labelingsprotocollen (menselijk versus geautomatiseerd versus LLM-rechter). Er bestaat geen canoniek schema voor malware-categorieën, en downstream-onderzoekers worden gedwongen om voor elke nieuwe studie insluitingscriteria opnieuw te reconstrueren.

Methodologie

Dit artikel hanteert een PRISMA-stijl systematisch review-protocol om de dertien in-scope corpora als primaire eenheid van analyse te behandelen.

• Zoekstrategie: Een zoekopdracht via meerdere zoekmachines (arXiv, Google Scholar, ACL, IEEE, ACM) gecombineerd met snowball-back citatie-tracking vanuit sleutel-entry-point corpora.
• Insluitingscriteria: Corpora moeten gericht zijn op coding LLM's of code-interpreter agents, een prompt-corpus publiek vrijgeven (of dit gedetailleerd beschrijven), en de weigering van uitvoerbare verzoeken om kwaadaardige code evalueren.
• Uitsluitingscriteria: Benchmarks voor kwetsbaarheidsdetectie (inverse taak), benchmarks voor algemene capaciteiten (bijv. HumanEval), niet-coding jailbreaks en kennis-eliciterende MCQ's (bijv. WMDP) zijn uitgesloten.
• Extractieproces: Een uniforme extractietemplate is toegepast op de primaire publicatie en release-artefacten van elk corpus. Velden omvatten constructiemethodologie, aantal prompts, modaliteit, malware-taxonomie, panel van doelmodellen, gerapporteerde weigeringspercentages, IRR-statistieken, en licentie-toegangsbeleid. Er zijn geen nieuwe empirische metingen of herlabeling uitgevoerd; de review synthetiseert metadata zoals vrijgegeven.

Belangrijkste Bijdragen

Het artikel produceert vier synthese-artefacten die het veld herformuleren van een verzameling uiteenlopende benchmarks naar een gestructureerd, vergelijkbaar landschap:

1. Vergelijking van Methodologieën tussen Corpora: Een uitgebreide tabel (Tabel 1) die tien vergelijkingsassen voor alle dertien corpora extrahert. Het onthult dat constructiestrategieën variëren van puur handgemaakte creatie tot door LLM gegenereerde synthese en oracle-gestuurde agent-lussen. Cruciaal is dat het documenteert dat geen enkel van de dertien corpora een Fleiss' $\kappa$-achtige inter-rater betrouwbaarheidsstatistiek rapporteert voor hun weigeringslabels.
2. Taxonomie van Prompt-Constructie: Een raamwerk met drie assen (Modaliteit, Turn-structuur, Elicitatiestijl) dat karakteriseert hoe corpora kwaadaardige code eliciteren.
   • Modaliteit: Tekst-naar-code, code-naar-code, multi-turn, agent, en interpreter.
   • Turn-structuur: Single-turn, multi-turn, of agent-traject.
   • Elicitatiestijl: Direct, jailbreak-versierd, of indirect/plausibel onschadelijk.
   • De taxonomie visualiseert "lege cellen" in de ontwerpruimte (bijv. multi-turn jailbreak-versierde prompts), waardoor structurele gaten in de huidige evaluatie-dekking worden benadrukt.
3. Reproduceerbaarheid en Licentielandschap: Een catalogus (Tabel 2) van distributieplekken, licenties en toegangsbeleid. Het stelt vast dat hoewel de meeste corpora open-access zijn, vijf geen expliciete licentieverklaringen op hun landingspagina's hebben, en geen enkel een policy voor verwijdering of contactgegevens voor verantwoordelijke openbaarmaking documenteert, ondanks dat ze uitvoerbare malware-payloads bevatten.
4. Kaart van Dekking van Malware-Categorieën: Een geconsolideerde ontologie van 22 categorieën, afgeleid van de vereniging van alle corpus-taxonomieën. De kaart identificeert goed gedekte categorieën (bijv. Trojans, Ransomware, Phishing) en ondervertegenwoordigde gebieden, specifiek firmware-exploits, hardware/side-channel-aanvallen, IoT/ingebouwde aanvallen, en supply-chain-aanvallen.

Belangrijkste Resultaten

• Uniforme Afwezigheid van Betrouwbaarheidsmetrieken: In alle dertien corpora wordt geen inter-rater betrouwbaarheid (bijv. Fleiss' $\kappa$) gerapporteerd voor weigeringslabels. Labels worden afgeleid via toewijzing door de auteur alleen, upstream-provenance, of geautomatiseerde classifiers zonder menselijke annotator-baselines voor kalibratie.
• Inconsistentie van Constructen: Weigeringspercentages zijn niet vergelijkbaar tussen corpora omdat ze verschillende prompt-distributies (bijv. handgemaakte seeds versus LLM-parafraferingen) en verschillende eliciteringsstijlen (direct versus jailbreak versus indirect) bemonsteren.
• Gaten in Governance: Geen enkel onderzocht corpus implementeert toegangscontrole, beoordeling door geregistreerde onderzoekers, of een gedocumenteerde verwijderingspolicy. Vijf corpora worden uitgeleverd zonder expliciete licentievoorwaarden in de preprint-fase.
• Fragmentatie van Taxonomieën: Er bestaat geen canoniek malware-schema. De review moest een geünificeerde ontologie van 22 categorieën construeren om vergelijking tussen corpora mogelijk te maken, aangezien bestaande taxonomieën (afgeleid van MITRE, functionele families, aanvalstypen) niet netjes op elkaar in te delen zijn.
• Ongelijkheid in Dekking: Hoewel veelvoorkomende malware-types verzadigd zijn, blijven kritieke opkomende vectoren zoals firmware-exploits en supply-chain-aanvallen ondervertegenwoordigd, vaak gedekt door slechts één of twee corpora.

Betekenis en Claims

Het artikel claimt de eerste systematische review te zijn die prompt-corpora voor kwaadaardige code zelf behandelt als eenheid van analyse, in plaats van ze te behandelen als secundaire context voor code-beveiliging of jailbreak-taxonomieën. De betekenis ligt in:

• Audit van het Veld: Het blootlegt dat het snelle tempo van corpus-release de methodologische steigers die nodig zijn voor geldige vergelijking, heeft ingehaald.
• Bieden van een Baseline: Het biedt een gestructureerde vocabulaire (de taxonomie) en een geconsolideerde ontologie (de 22 categorieën) voor toekomstige onderzoekers om selectiebeslissingen te auditeren en datasets te vergelijken.
• Definiëren van Methodologische Verwachtingen: Het stelt een checklist voor voor constructie van corpus van de volgende generatie, inclusief pre-registratie van insluitingscriteria, validatie van labels door meerdere rechters van verschillende leveranciers, rapportage van Fleiss' $\kappa$ met bootstrap-betrouwbaarheidsintervallen, en de adoptie van een canonieke malware-taxonomie.
• Toekomstig Werk: De auteurs identificeren een uniforme empirische her-evaluatie van inter-rater betrouwbaarheid over alle dertien corpora met behulp van een gemeenschappelijk multi-judge-protocol als de noodzakelijke volgende stap, welke wordt uitgesteld tot toekomstig werk.

De review concludeert dat hoewel het veld een rijke set evaluatie-artefacten heeft gegenereerd, het gebrek aan gestandaardiseerde rapportage van betrouwbaarheid, licentie-governance en taxonomie-uitlijning momenteel de aggregatie van weigeringspercentages in een coherent, interpreteerbaar metriek voor LLM-veiligheid verhindert.