💻 computer science

A Validated Prompt Bank for Malicious Code Generation: Separating Executable Weapons from Security Knowledge in 1,554 Consensus-Labeled Prompts

Dit artikel introduceert een gevalideerde "CODE"-bank met 1.554 prompts en een op consensus gebaseerd classificatiekader dat uitvoerbare aanvragen voor kwaadaardige software strikt scheidt van schadelijke zoekopdrachten naar beveiligingskennis om de verwarrende kwesties in bestaande veiligheidsbenchmarks voor taalmodellen aan te pakken.

Oorspronkelijke auteurs: Richard J. Young, Gregory D. Moody

Gepubliceerd 2026-05-06

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Richard J. Young, Gregory D. Moody

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te testen hoe goed een beveiliger is in het stoppen van slechteriken. Je hebt een lijst met verzoeken om aan de beveiliger te geven. Sommige verzoeken zijn als het overhandigen van een geladen pistool aan de beveiliger en zeggen: "Schiet deze persoon neer." Andere verzoeken zijn als het overhandigen van een schoolboek en zeggen: "Leg uit hoe een pistool werkt en hoe je erop moet richten."

Lange tijd hebben onderzoekers die AI-veiligheid testen, deze twee soorten verzoeken door elkaar gemengd in één grote hoop. Ze vroegen de AI om "een virus te schrijven" (het geladen pistool) en "te verklaren hoe een virus zich verspreidt" (het schoolboek), en telden vervolgens gewoon hoe vaak de AI "Nee" zei.

De auteurs van dit artikel, Richard J. Young en Gregory D. Moody, zeggen dat dit een rommelige manier van testen is. Als een AI weigert het virus te schrijven maar wel graag het schoolboek uitlegt, of vice versa, vertelt een enkele "Nee"-telling je niet wat er echt gebeurt in het brein van de AI. Het is alsof je probeert te meten hoe goed een bewaker kogels stopt door ook te tellen hoe goed hij mensen verhindert om over kogels te lezen. Je kunt niet zeggen of de bewaker goed is in het stoppen van wapens of gewoon goed in het stoppen van informatie.

Het Grote Idee: De "Wapens" van de "Kennis" scheiden

Om dit op te lossen, hebben de onderzoekers een nieuw hulpmiddel ontwikkeld: een Geverifieerde Promptbank. Denk hierbij aan een zeer georganiseerd, dubbelgecontroleerd archiefkastje. Ze namen duizenden vragen uit vier bestaande testlijsten en sorteerden ze in twee aparte laden:

De "Wapens"-lade: Dit zijn prompts die de AI vragen om daadwerkelijk iets gevaarlijks te bouwen, zoals een stuk malware of een script dat op een computer kan worden uitgevoerd. Dit zijn de "uitvoerbare wapens".
De "Kennis"-lade: Dit zijn prompts die de AI vragen om gevaarlijke dingen te beschrijven, zoals uitleggen hoe een virus werkt of hoe je een systeem kunt hacken, zonder daadwerkelijk de code te bouwen.

Hoe Ze Het Archiefkastje Bouwden

Ze sorteerden de papieren niet zomaar zelf; ze wilden absoluut zeker zijn dat de sortering correct was. Dus richtten ze een "jury" op van vijf verschillende AI-rechters. Deze rechters kwamen van vijf verschillende technologiebedrijven (Anthropic, OpenAI, Google, Zhipu AI en Alibaba).

Stel je vijf verschillende experts voor die naar één verzoek kijken. Ze moeten allemaal stemmen: "Is dit een verzoek om een wapen, of is het gewoon een verzoek om informatie?"

Als ten minste drie van de vijf het eens zijn, is dat het definitieve antwoord.
Ze controleerden hun werk met een statistisch hulpmiddel (genaamd Fleiss' $\kappa$ ) om te zien hoeveel ze het met elkaar eens waren. Het resultaat was een "bijna perfecte" overeenstemming (0,876 van de 1,0). Dit betekent dat de sortering ongelooflijk betrouwbaar is.

Het Resultaat: Een Schone, Geverifieerde Lijst

Na het sorteren van meer dan 17.000 originele verzoeken en het filteren van dubbele of verwarrende verzoeken, eindigden ze met een schone, geverifieerde lijst van 1.554 prompts die puur gaan om het vragen om "wapens" (schadelijke code). Ze hielden ook een kleinere lijst van 388 prompts over "kennis" voor later gebruik als vergelijkingsmateriaal.

Waarom Dit Belangrijk Is

Voor dit artikel moest een onderzoeker die wilde testen of een AI veilig was, zelf een rommelige hoop vragen samenstellen, waarbij hij gokte welke "wapens" waren en welke "kennis". Dit betekende dat elk onderzoek iets anders was, waardoor het moeilijk was om resultaten te vergelijken.

Dit artikel biedt een gestandaardiseerde, vooraf gesorteerde set vragen. Nu kunnen onderzoekers zeggen: "We hebben de AI getest op deze specifieke 1.554 wapenverzoeken", en weet iedereen precies wat dat betekent. Het haalt het gokwerk weg en maakt een eerlijke, appel-tot-appel-vergelijking mogelijk van hoe verschillende AI-modellen omgaan met gevaarlijke verzoeken.

Belangrijke Veiligheidsopmerking

De auteurs zijn zeer duidelijk: Ze hebben geen nieuwe virussen of gevaarlijke code gemaakt. Ze hebben alleen bestaande vragen uit andere academische studies genomen en gesorteerd. Het doel van dit hulpmiddel is onderzoekers te helpen AI veiliger te maken door precies te begrijpen waar het faalt, niet om iemand te helpen bij het bouwen van aanvallen. De data is vergrendeld achter een "gated" systeem, wat betekent dat alleen geverifieerde onderzoekers die aan veiligheid werken toegang krijgen tot de daadwerkelijke tekst van de vragen.

Kortom, dit artikel bouwde een betere, schonere liniaal voor het meten van AI-veiligheid, waarbij de verzoeken om "het slechte ding te doen" worden gescheiden van de verzoeken om "over het slechte ding te praten", zodat we ze nauwkeurig kunnen meten.

Technische Samenvatting: Een Geverifieerde Promptbank voor Malicious Code Generatie

1. Probleemstelling

Huidige benchmarks die de weigering van Large Language Models (LLM) bij taken voor malicious code evalueren, lijden onder een kritieke methodologische fout: ze vermengen verzoeken om uitvoerbare malicious software (wapens) met verzoeken om schadelijke veiligheidskennis (informatie). Bestaande datasets mengen prompts zoals "schrijf een keylogger" (uitvoerbare code) met "leg uit hoe een keylogger werkt" (beschrijvende kennis).

Deze vermenging is problematisch omdat deze twee typen verzoeken waarschijnlijk verschillende weigeringpaden activeren in veiligheidsuitgelijnde modellen. Een enkele weigeringspercentage-statistiek berekend over een heterogene mengeling kan niet onderscheid maken tussen een model dat weigert malware te schrijven maar cryptografie uitlegt, en een model dat malware schrijft maar weigert cryptografie te beschrijven. Bijgevolg meten "weigeringspercentages voor codesafety" in de huidige literatuur een onbekend construct, wat introduceert onwaargenomen variantie die de vergelijkbaarheid tussen studies en analyse op mechanismeniveau beperkt. Bovendien vertrouwen eerdere benchmarks vaak op labels van een enkele annotator of op tweewegovereenkomst zonder rigoureuze consensus van meerdere beoordelaars, waardoor er een resterende ambiguïteit van klassengrenzen overblijft.

2. Methodologie

Het artikel introduceert een classificatie-as wapens versus kennis, geoperationaliseerd via een protocol voor meerderheidsconsensus van meerdere beoordelaars om verzoeken om uitvoerbare code te scheiden van op kennis gebaseerde prompts.

2.1 Dataconsolidatie en Pre-filtering

De studie consolideerde 3.133 kandidaat-prompts afkomstig uit vier publieke benchmarks:

RMCBench: 473 prompts (allemaal verzoeken voor codegeneratie).
MalwareBench: 320 gefilterde prompts (een subset van 3.520, exclusief varianten van adversariale parafrasing).
CySecBench: 1.820 prompts (gefilterd uit 12.662 ruwe prompts met behulp van een op regex gebaseerd scherm voor imperatieve formuleringen voor codegeneratie).
harmful_behaviors (van AdvBench): 520 prompts voor contentveiligheid.

Een regelgebaseerde pre-filter verwijderde exacte duplicaten en verzoeken die geen codegeneratie betroffen (bijv. conceptuele vragen), waarbij alleen prompts die plausibel uitvoerbare output verzoeken, werden behouden voor de initiële classificatiepool.

2.2 Classificator met Consensus van Vijf Modellen

Elke van de 3.133 prompts werd onafhankelijk geclassificeerd door een panel van vijf Large Language Models die optraden als beoordelaars. Het panel was bewust leveranciersdivers (over vier leveranciersfamilies: Anthropic, OpenAI, Google, Zhipu AI, Alibaba) en omvatte zowel algemene modellen als gespecialiseerde coder-modellen om gecorreleerde labelfouten te mitigeren:

Claude Sonnet 4.6 (Anthropic, Algemeen)
GPT-5.3-Codex (OpenAI, Coder)
Gemini 3 Flash (Google, Algemeen)
GLM-5 (Zhipu AI, Algemeen)
Qwen3-Coder-Next (Alibaba, Coder)

Classificatietaken: Beoordelaars kregen de opdracht een binair label toe te wijzen:

CODE: De prompt vraagt om de productie van uitvoerbare code, scripts of functionerende softwareartefacten.
KNOWLEDGE: De prompt vraagt om informatie, strategieën, tutorials of uitleg in natuurlijke taal.

Consensusregel: Er werd een meerderheidsregel van 3 van 5 toegepast. Een prompt werd toegewezen aan de consensus-CODE-set als ten minste drie beoordelaars het label CODE gaven, en aan de consensus-KNOWLEDGE-set als ten minste drie het label KNOWLEDGE gaven. Geen enkele prompt faalde om een meerderheid van 3 van 5 te bereiken; de "AMBIGUOUS" bucket bleef leeg.

2.3 Betrouwbaarheidsmetrieken

Inter-rater betrouwbaarheid werd gekwantificeerd met Fleiss' $\kappa$ met 95% betrouwbaarheidsintervallen via bootstrap met 10.000 iteraties. Deze metriek werd berekend op de subset van prompts waarbij alle vijf beoordelaars geldige labels teruggaven (2.488 prompts).

3. Belangrijkste Bijdragen

De primaire bijdrage is de release van een met consensus gelabelde promptbank die dient als een gestandaardiseerd, geverifieerd substraat voor onderzoek naar codesafety.

De Code-Safety Bank: Een dataset van 1.554 consensus-CODE prompts (die 1.551 unieke promptstrings vertegenwoordigen). Deze set isoleert verzoeken om uitvoerbare malicious software.
De Vergelijkingsset voor Kennis: Een set van 388 consensus-KNOWLEDGE prompts (uitsluitend afgeleid van de bron harmful_behaviors) gebruikt voor binnen-subject vergelijkingen in begeleidende studies.
Validatie: De dataset bevat per-prompt metadata, waaronder individuele beoordelaarslabels, overeenkomstniveaus (bijv. 5/5, 4/5) en bron-taxonomiecategorieën (27 malwarecategorieën).
Open Science: De consolidatiecode, consensuslabels en betrouwbaarheidsstatistieken worden openbaar gemaakt (MIT-licentie) op GitHub. De prompttekst is beschikbaar als een dataset met beperkte toegang op Hugging Face om risico's van dual-use te mitigeren terwijl serieuze onderzoek wordt mogelijk gemaakt.

4. Resultaten

4.1 Filtercascade

De pipeline reduceerde 17.175 ruwe bronprompts tot het definitieve artefact:

Pre-filtering: Reduceerde de pool tot 3.133 kandidaten.
Consensus: 1.618 prompts werden gelabeld als CODE, en 1.515 als KNOWLEDGE.
Definitief Artefact: Na een controle op lengte en metadatakwaliteit werden 1.554 CODE-prompts en 388 KNOWLEDGE-prompts vrijgegeven.

4.2 Inter-rater Betrouwbaarheid

Algemene Overeenkomst: De vijf beoordelaars behaalden een Fleiss' $\kappa$ van 0,876 [95% BI: 0,862, 0,888], wat overeenkomt met "bijna perfecte" overeenkomst volgens de conventie van Landis & Koch.
Unanimititeit: 69,3% (2.170) van de 3.133 prompts ontving een unaniem akkoord van 5/5.
Geen Ambiguïteit: Alle 3.133 prompts bereikten de drempel van 3 van 5; geen enkele prompt werd uitgesloten als ambigu.
Betrouwbaarheid per Bron:
- MalwareBench: $\kappa = 1,000$ (Perfecte overeenkomst).
- harmful_behaviors: $\kappa = 0,942$ ("Bijna perfect").
- CySecBench: $\kappa = 0,775$ ("Substantieel"), wat een hogere grensambiguïteit in deze bron weerspiegelt.
- RMCBench: $\kappa \approx 0,001$ (Een degeneratief geval door gebrek aan variantie, aangezien alle prompts CODE waren).
Paarsgewijze Overeenkomst: Alle tien paarsgewijze vergelijkingen tussen beoordelaars overschreden de "substantiële" drempel ( $\kappa \ge 0,61$ ), waarbij tien paren de "bijna perfecte" drempel overschreden ( $\kappa \ge 0,81$ ).

4.3 Prestaties van Beoordelaars

Foutpercentages: Foutpercentages varieerden aanzienlijk per model (van 1 fout voor GLM-5 tot 430 voor Gemini 3 Flash). Echter, de consensusregel van 3 van 5 slaagde erin deze fouten te tolereren, wat resulteerde in nul consensusfouten over de hele dataset.
Coder versus Algemeen: Beoordelaars gespecialiseerd in coderen (GPT-5.3-Codex, Qwen3-Coder-Next) produceerden gemiddeld iets hogere aantallen CODE dan algemene beoordelaars, wat de hypothese ondersteunt dat op code afgestemde pre-training helpt bij het onderscheiden van uitvoerbare verzoeken van beschrijvende verzoeken.

5. Betekenis en Claims

Het artikel claimt bescheiden de eerste met meerderheidsconsensus geverifieerde promptbank te bieden die expliciet verzoeken om uitvoerbare wapens scheidt van verzoeken om schadelijke kennis over geconsolideerde benchmarks.

Methodologische Oplossing: Het werk lost de vermenging van verschillende typen verzoeken op die de eerdere literatuur over malicious code-generatie heeft verward. Door verzoeken om uitvoerbare code te isoleren, maakt het een nauwkeurigere meting mogelijk van het specifieke construct dat codesafety-evaluaties beogen te vangen.
Standaardisatie: Het artefact stelt downstream onderzoek in staat een canoniek, betrouwbaarheidsgedocumenteerd substraat te adopteren in plaats van filterlogica onafhankelijk te reconstrueren. Dit reduceert onwaargenomen variantie in gerapporteerde weigeringspercentages en ondersteunt reproduceerbare cross-model vergelijkingen.
Reikwijdte van Bijdrage: Het artikel stelt expliciet dat of de as "wapens versus kennis" in de praktijk modelgedrag scheidt, een empirische vraag is die wordt overgelaten aan een begeleidende benchmarkstudie. De huidige bijdrage is het artefact zelf en de validatie van het classificatie-as, niet de gedragsresultaten van modellen op deze as.
Ethische Standpunt: De dataset is bedoeld voor defensief onderzoek (meten van weigering, veiligheidsuitlijning en interpreteerbaarheid). De auteurs benadrukken dat er geen nieuwe malware is gecreëerd, en dat de release volgt op kaders voor mitigatie van dual-use (toegang met beperkingen) om te voorkomen dat het artefact wordt gebruikt om aanvallen te operationaliseren.