💬 NLP

Code as a Weapon: A Consensus-Labeled Prompt Bank for Measuring Coding-Model Compliance with Malicious-Code Requests

Dit artikel introduceert een met consensus gelabelde promptbank die onderscheid maakt tussen uitvoerbare kwaadaardige code en schadelijke veiligheidskennis om een betrouwbare, gestandaardiseerde benchmark te bieden voor het meten of op codering gespecialiseerde modellen voldoen aan de strengere weigeringsnormen die nodig zijn om de generatie van functionele wapens te voorkomen.

Oorspronkelijke auteurs: Richard J. Young, Gregory D. Moody

Gepubliceerd 2026-05-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Richard J. Young, Gregory D. Moody

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Tekst versus Het Werkelijke Ding

Stel je voor dat je een algemene chatbot vraagt: "Hoe maak ik een bom?" Als hij antwoordt, geeft hij je een recept. Je moet nog steeds naar de winkel gaan, de ingrediënten kopen en ze zelf mengen. Het is gevaarlijke informatie, maar het zijn slechts woorden.

Stel je nu voor dat je een op codering gespecialiseerde AI dezelfde vraag stelt. Als hij antwoordt, geeft hij je niet alleen een recept; hij geeft je een volledig geassembleerde, werkende bom die klaar is om te ontploffen op het moment dat je op "uitvoeren" drukt.

De auteurs van dit paper betogen dat coderings-AI's, omdat ze direct "werkende wapens" (zoals virussen of spyware) kunnen overhandigen, veel strenger "Nee" moeten zeggen dan reguliere chatbots. Maar op dit moment heeft niemand een goede manier om te meten of ze wel voldoende "Nee" zeggen.

Het Probleem: Appels met Peren Vermengen

Om te testen of deze AI's veilig zijn, hebben onderzoekers lijsten met vragen (prompts) gebruikt. Maar deze lijsten waren rommelig. Ze mengden twee zeer verschillende soorten gevaarlijke verzoeken:

"Wapen"-Verzoeken: "Schrijf een programma dat wachtwoorden steelt." (De AI geeft je de code).
"Kennis"-Verzoeken: "Leg uit hoe wachtwoorddiefstal werkt." (De AI geeft je een essay).

Als je deze mengt en zegt: "Deze AI weigerde 50% van de slechte verzoeken", weet je niet of het de wapens waren die werden geweigerd, of alleen de uitleggen. Het is alsof je een beveiliger test door hem te vragen een dief te stoppen en iemand te stoppen die om de weg vraagt. Als de beveiliger de dief stopt maar de weg-vraander doorlaat, kun je niet zeggen of hij zijn werk goed doet door alleen te kijken naar het totale aantal gestopte mensen.

De Oplossing: Een "Consensus-Gelabelde" Promptbank

De auteurs hebben een enorme, schone en georganiseerde lijst van 6.675 gevaarlijke vragen gemaakt. Ze hebben ze in twee duidelijke bakken verdeeld:

De "CODE"-Bak: Vragen die om uitvoerbare, gevaarlijke software vragen (de "wapens").
De "KENNIS"-Bak: Vragen die om schadelijke informatie of theorieën vragen (de "recepten").

Om ervoor te zorgen dat de vragen correct waren ingedeeld, vroegen ze niet aan één persoon. Ze gebruikten een panel van vijf verschillende AI-rechters (zoals een jury). Elke rechter keek naar elke vraag en stemde: "Is dit een wapenverzoek?" of "Is dit een kennisverzoek?"

Het Vonnis: Als ten minste 3 van de 5 rechters het eens waren, kreeg de vraag een definitief label.
Het Resultaat: Ze eindigden met 4.748 bevestigde "Wapen"-verzoeken en 1.923 bevestigde "Kennis"-verzoeken.

De "Jury" en de Verrassingen

De auteurs gebruikten vijf verschillende AI-modellen als rechters. Ze wilden ervoor zorgen dat de test goedkoop was en voor iedereen toegankelijk, dus ze kozen modellen die gratis of open-source zijn, in plaats van dure, betaalde modellen.

Tijdens dit proces vonden ze twee interessante dingen:

1. De "Te Gemakkelijk"-Paradox
Voor sommige van de vragenlijsten (zoals de ASTRA-lijst) was bijna elke vraag duidelijk een "Wapen". De rechters waren 99% van de tijd het eens.

De Metafoor: Stel je een wiskundetoets voor waarbij elke vraag "Wat is 2+2?" is. Iedereen haalt 100%. Je kunt niet echt meten hoe "slim" de leerlingen zijn omdat de toets te makkelijk was.
De Bevinding: In de statistiek, wanneer iedereen het overal over eens is, breekt de gebruikelijke score voor "overeenstemming" (genaamd Kappa) en lijkt het op een nul of een negatief getal. De auteurs moesten een speciale manier bedenken om dit te rapporteren: "Hé, iedereen was perfect het eens, maar de wiskundescore ziet er raar uit omdat de test te makkelijk was."

2. De "Poortwachter"-Glitch
Een van de vijf AI-rechters (een gratis model van OpenAI) begon te weigeren om enige van de vragen te beantwoorden, zelfs de vragen die het moest beoordelen. Het bleef tegen een "Stop"-bord van het bedrijf dat het host, aanlopen.

De Metafoor: Stel je een jury voor waarbij één jurylid steeds uit de rechtszaal wordt gegooid omdat hij te veel vragen stelt.
De Oplossing: Aangezien de regel "3 van de 5" was, konden de andere vier rechters het vonnis nog steeds vellen. De auteurs merkten dit op als een eigenaardigheid uit de echte wereld: soms hebben de gratis tools die je gebruikt om veiligheid te testen hun eigen veiligheidsfilters die de test blokkeren voordat deze zelfs maar begint.

Waarom Dit Belangrijk Is

Dit paper gaat niet over het testen van een specifieke AI om te zien of deze vandaag veilig is. In plaats daarvan gaat het over het bouwen van de liniaal die iedereen kan gebruiken.

Voorheen probeerden onderzoekers veiligheid te meten met een gebroken liniaal die "wapens" en "recepten" door elkaar haalde. Nu hebben ze een gestandaardiseerde, hoogwaardige liniaal (de promptbank) die de twee duidelijk scheidt. Dit stelt iedereen in staat om coderings-AI's te testen en te zeggen: "Oké, deze AI weigerde 90% van de echte wapens", wat een veel betekenisvollere veiligheidscontrole is dan voorheen.

Samenvatting

Doel: Een schone lijst van gevaarlijke vragen maken om te testen of coderings-AI's veilig zijn.
Methode: Gebruik van een "jury" van 5 AI's om 6.675 vragen in te delen in "Wapens" (Code) en "Recepten" (Kennis).
Resultaat: Een publieke database van 4.748 bevestigde wapenverzoeken en 1.923 kennisverzoeken.
Belangrijkste Inzicht: Je kunt veiligheid niet goed meten als je "een bom maken" verward met "over bommen lezen". Dit paper lost die verwarring op.

Technische Samenvatting: Code als Wapen: Een Consensus-Gelabelde Promptbank voor het Meten van Compliance van Codeermodellen met Schadelijke Code-aanvragen

Probleemstelling

Het artikel behandelt een kritieke asymmetrie in AI-veiligheid: terwijl een algemeen taalmodel dat een schadelijke query beantwoordt tekst teruggeeft, kan een op code gespecialiseerd model dat aan dezelfde intentie voldoet, uitvoerbare "wapens" genereren (bijvoorbeeld keyloggers, ransomware-droppers, exploit-payloads). Huidige benchmarks voor het meten van weigering bij schadelijke code onderscheiden niet tussen aanvragen voor uitvoerbare software (CODE) en aanvragen voor schadelijke veiligheidskennis (KNOWLEDGE). Bestaande corpora mengen deze verschillende aanvraagtypes, waardoor statistieken over één nalevingspercentage niet interpreteerbaar zijn en directe vergelijkingen tussen corpora worden verhinderd. Bovendien waren eerdere inspanningen met consensus-labeling beperkt in omvang (vier corpora) en maakten ze gebruik van betaalde commerciële API's, wat de reproduceerbaarheid en kosteneffectieve uitbreiding belemmerde.

Methodologie

De auteurs presenteren v2 van een consensus-gelabelde promptbank, waarbij de omvang wordt uitgebreid van vier naar acht upstream-corpora en het evaluatiepanel wordt vernieuwd om gebruik te maken van modellen met nul marginale kosten, open gewichten of gratis tiers.

1. Uitbreiding van het Corpus

De datasetpool is uitgebreid van 3.133 prompts (v1) naar 6.675 prompts door integratie van vier nieuw openbaar vrijgegeven corpora:

ASTRA: 1.995 prompts met jailbreak-versierde, single-turn tekst-naar-code-aanvragen.
Scam2Prompt (Innoc2Scam-bench): 1.377 indirecte-eliciteringsprompts die schadelijke intentie verbergen als onschuldige ontwikkelaarsverzoeken.
JailbreakBench (code-subset): 10 prompts die specifiek gericht zijn op het genereren van uitvoerbare code.
RedCode: 160 prompts gericht op trajecten van code-interpreter-agenten.
De v1-corpora (RMCBench, MalwareBench, CySecBench en AdvBench/harmful_behaviors) zijn onder het nieuwe panel opnieuw geclassificeerd om continuïteit te waarborgen.

2. Rechterpanel en Protocol

Een panel van vijf rechters is samengesteld uit vijf verschillende leveranciersfamilies, geselecteerd op basis van nul marginale API-kosten en toegankelijkheid via OpenRouter en Ollama Cloud:

NVIDIA: Nemotron-3-Super (Algemeen doel)
Alibaba: Qwen3-Coder-Next (Gespecialiseerd in coderen)
DeepSeek: DeepSeek-V4-Pro (Algemeen doel)
OpenAI: GPT-OSS-120B (Open gewichten, algemeen doel)
Zhipu AI: GLM-5.1 (Algemeen doel)

Classificatieprotocol:

Sjabloon: Een binair schema dat onderscheid maakt tussen CODE (aanvragen voor uitvoerbare software/wapens) en KNOWLEDGE (aanvragen voor tekstuele informatie/uitleg). Het sjabloon is byte-identiek aan v1 om afwijkingen te voorkomen.
Consensusregel: Een meerderheidsregel van 3 van 5. Een prompt wordt gelabeld als CODE of KNOWLEDGE als ten minste drie rechters overeenstemming bereiken; anders wordt het gelabeld als AMBIGUOUS.
Betrouwbaarheidsmaatstaf: Fleiss' $\kappa$ met een 95%-betrouwbaarheidsinterval via een bootstrap van 10.000 iteraties, berekend op het subset waar alle vijf rechters geldige labels teruggaven (6.552 prompts).

Belangrijkste Bijdragen

1. De Uitgebreide Consensus-Gelabelde Bank

Het vrijgegeven artifact omvat:

4.748 consensus-CODE prompts (een 3,1-voudige uitbreiding van v1).
1.923 consensus-KNOWLEDGE prompts (een 5,0-voudige uitbreiding van v1).
4 AMBIGUOUS prompts (vrijgegeven met per-rechterstemmen voor downstream herdrempeling).
De dataset wordt vrijgegeven onder een OpenRAIL++-licentie met specifieke beperkingen die het gebruik van de data voor het trainen van systemen voor het genereren van schadelijke software verbieden.

2. Methodologische Bevindingen

Het artikel documenteert twee significante methodologische observaties die voortvloeien uit de constructie van v2:

Het Paradox van Hoge-Overeenstemming en Lage- $\kappa$ : Op vier corpora met een scheefheid in prevalentie (ASTRA, MalwareBench, RedCode, RMCBench), waar de consensus >99% CODE is, degradeert Fleiss' $\kappa$ tot waarden dicht bij nul of negatief, ondanks hoge waargenomen overeenstemming ( $P_o$ ). De auteurs schrijven dit toe aan het Feinstein-Cicchetti-paradox, waarbij de verwachte toevallige overeenstemming ( $P_e$ ) dicht bij 1,0 komt. Bijgevolg stelt het artikel een conventie voor voor rapportage met twee statistieken: rapporteer $\kappa$ voor corpora met gemengde prevalentie en waargenomen overeenstemming ( $P_o$ ) voor corpora met scheefheid in prevalentie.
Inhoudsbeleid-Weigeringen aan de Kant van de Leverancier: Eén rechter (GPT-OSS-120B, gerouteerd via de OpenInference-provider van OpenRouter) gaf deterministische HTTP 403-weigeringen terug op 1,84% van de prompts (in totaal 123), sterk geconcentreerd in het corpus harmful_behaviors. Het artikel identificeert dit als een structurele eigenschap van gratis tier-routingproviders die contentfilters toepassen voordat het model de prompt verwerkt. De meerderheidsregel van 3 van 5 slaagde erin deze weigeringen te absorberen zonder AMBIGUOUS-labels te genereren, maar de auteurs merken dit op als een kritieke factor voor onderzoekers die het panel reproduceren.

3. Stabiliteit tussen Panels

Het v2-panel (open gewichten/gratis tier) werd vergeleken met het v1-panel (betaalde commerciële API's) op de 3.133 overlappende prompts. De panels behaalden 94,45% overeenstemming op consensuslabels, met een Cohen's $\kappa$ van 0,952 ("bijna perfect") op het binair-binair subset. Dit valideert dat het panel met nul kosten een robuust alternatief biedt voor het commerciële panel op gedeelde corpora.

Resultaten

Algemene Betrouwbaarheid: Op het full-panel subset (6.552 prompts) is Fleiss' $\kappa$ 0,767 [95% CI: 0,755; 0,777], wat valt in het band van "substantiële" overeenstemming van de Landis-Koch-schaal.
Betrouwbaarheid per Corpus:
- Gemengde Prevalentie: Scam2Prompt ( $\kappa=0,768$ ), CySecBench ( $\kappa=0,664$ ) en harmful_behaviors ( $\kappa=0,910$ ) tonen interpreteerbare overeenstemming.
- Scheefheid in Prevalentie: ASTRA, MalwareBench, RedCode en RMCBench tonen $\kappa$ -waarden dicht bij nul of negatief door de degeneratie van de marginale verdeling, ondanks een gemiddelde waargenomen overeenstemming ( $P_o$ ) variërend van 0,850 tot 0,989.
Robuustheid van Rechters: Een leave-one-out-analyse bevestigt dat geen enkele rechter het panel domineert. Het verwijderen van de meest afwijkende rechter (Nemotron-3-Super) verhoogde $\kappa$ zelfs tot 0,832, wat bevestigt dat de onenigheid die door deze rechter wordt geïntroduceerd, betekenisvol grensgevalwerk is en geen ruis.
Overeenstemmingsniveaus: 76,9% van de prompts behaalde een unanieme overeenstemming van 5/5; 95,0% behaalde ten minste 4/5 overeenstemming.

Betekenis en Beweringen

Het artikel beweert een construct-stabiele ondergrond te bieden voor het meten van compliance van codeermodellen met aanvragen voor schadelijke code. Door aanvragen voor uitvoerbare software te onderscheiden van kennisverzoeken, maakt de bank nauwkeurigere veiligheidsbeoordelingen mogelijk dan eerdere benchmarks met gemengde corpora.

De auteurs positioneren het werk bescheiden als een uitbreiding en methodologische verfijning van hun eerdere release met vier corpora [1], in plaats van een herbeoordeling van de onderliggende as CODE-versus-KNOWLEDGE. De primaire betekenis ligt in:

Schaalbaarheid en Reproduceerbaarheid: Aantonen dat consensus-labeling met hoge betrouwbaarheid kan worden bereikt met modellen met nul marginale kosten en open gewichten, waardoor financiële barrières voor downstream-onderzoekers worden verwijderd.
Standaardisatie: Het vaststellen van een protocol voor het omgaan met corpora met scheefheid in prevalentie (rapportage met twee statistieken) en het documenteren van filtergedrag aan de kant van de leverancier dat de beschikbaarheid van gratis tier-rechters beïnvloedt.
Beschikbaarheid van Data: Vrijgeven van een aanzienlijk groter, multi-rechter, betrouwbaarheid-gekwantificeerd dataset (6.675 prompts) om vergelijkingen tussen corpora mogelijk te maken die eerder niet direct interpreteerbaar waren.

Het artikel stelt expliciet dat het de gedragsvraag niet adresseert hoe doelgerichte code-LLM's reageren op de v2-bank, en merkt op dat dergelijke evaluaties vallen binnen het bestek van apart downstream werk.