💻 computer science

A Validated Prompt Bank for Malicious Code Generation: Separating Executable Weapons from Security Knowledge in 1,554 Consensus-Labeled Prompts

Questo articolo presenta una banca "CODE" validata di 1.554 prompt e un framework di classificazione basato su etichette di consenso che separa rigorosamente le richieste di software malevolo eseguibili dalle query di conoscenza sulla sicurezza dannose, affrontando così i problemi di confusione presenti nei benchmark di sicurezza esistenti per i modelli linguistici.

Autori originali: Richard J. Young, Gregory D. Moody

Pubblicato 2026-05-06

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Richard J. Young, Gregory D. Moody

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di voler testare quanto sia bravo una guardia di sicurezza a fermare i cattivi. Hai una lista di richieste da sottoporre alla guardia. Alcune richieste sono come consegnare alla guardia una pistola carica e dire: "Spara a questa persona". Altre richieste sono come consegnare alla guardia un libro di testo e dire: "Spiega come funziona una pistola e come mirare".

Per molto tempo, i ricercatori che testano la sicurezza dell'IA hanno mescolato questi due tipi di richieste insieme in un unico grande mucchio. Chiedevano all'IA di "scrivere un virus" (la pistola carica) e di "spiegare come si diffonde un virus" (il libro di testo) e poi contavano semplicemente quante volte l'IA rispondeva "No".

Gli autori di questo articolo, Richard J. Young e Gregory D. Moody, affermano che questo è un modo disordinato per testare. Se un'IA rifiuta di scrivere il virus ma spiega volentieri il libro di testo, o viceversa, un singolo conteggio di "No" non ti dice cosa sta realmente accadendo all'interno del cervello dell'IA. È come cercare di misurare quanto bene una guardia fermi i proiettili contando anche quanto bene fermi le persone dal leggere informazioni sui proiettili. Non puoi capire se la guardia è brava a fermare le armi o semplicemente brava a fermare le informazioni.

L'idea principale: Separare le "armi" dalla "conoscenza"

Per risolvere questo problema, i ricercatori hanno creato un nuovo strumento: una Banca di Prompt Validati. Pensa a questo come a un archivio altamente organizzato e doppio-controllato. Hanno preso migliaia di domande da quattro diverse liste di test esistenti e le hanno ordinate in due cassetti distinti:

Il cassetto delle "armi": Questi sono prompt che chiedono all'IA di costruire effettivamente qualcosa di pericoloso, come un malware o uno script che può essere eseguito su un computer. Queste sono le "armi eseguibili".
Il cassetto della "conoscenza": Questi sono prompt che chiedono all'IA di descrivere cose pericolose, come spiegare come funziona un virus o come hackerare un sistema, senza effettivamente costruire il codice.

Come hanno costruito l'archivio

Non si sono limitati a ordinare i documenti da soli; volevano essere assolutamente certi che l'ordinamento fosse corretto. Quindi, hanno istituito una "giuria" di cinque diversi giudici IA. Questi giudici provenivano da cinque diverse aziende tecnologiche (Anthropic, OpenAI, Google, Zhipu AI e Alibaba).

Immagina cinque esperti diversi che esaminano una singola richiesta. Devono tutti votare: "Questa è una richiesta per un'arma, o è solo una richiesta di informazioni?"

Se almeno tre su cinque sono d'accordo, quella è la risposta finale.
Hanno verificato il loro lavoro utilizzando uno strumento statistico (chiamato $\kappa$ di Fleiss) per vedere quanto fossero d'accordo. Il risultato è stato un accordo "quasi perfetto" (0,876 su 1,0). Ciò significa che l'ordinamento è incredibilmente affidabile.

Il risultato: Un elenco pulito e verificato

Dopo aver setacciato oltre 17.000 richieste originali ed eliminato duplicati o quelle confuse, sono arrivati a un elenco pulito e verificato di 1.554 prompt che riguardano esclusivamente la richiesta di "armi" (codice malevolo). Hanno anche mantenuto un elenco più piccolo di 388 prompt sulla "conoscenza" da utilizzare per il confronto in seguito.

Perché questo è importante

Prima di questo articolo, se un ricercatore voleva testare se un'IA fosse sicura, doveva costruire il proprio mucchio disordinato di domande, indovinando quali fossero "armi" e quali "conoscenza". Ciò significava che ogni studio era leggermente diverso, rendendo difficile confrontare i risultati.

Questo articolo fornisce un insieme standardizzato e pre-ordinato di domande. Ora, i ricercatori possono dire: "Abbiamo testato l'IA su queste specifiche 1.554 richieste di armi", e tutti gli altri sanno esattamente cosa significa. Rimuove il gioco d'azzardo e permette un confronto equo, mela con mela, su come diversi modelli di IA gestiscono le richieste pericolose.

Nota importante sulla sicurezza

Gli autori sono molto chiari: non hanno creato nuovi virus o codice pericoloso. Hanno solo preso domande esistenti da altri studi accademici e le hanno ordinate. Lo scopo di questo strumento è aiutare i ricercatori a rendere l'IA più sicura comprendendo esattamente dove fallisce, non per aiutare chiunque a costruire attacchi. I dati sono bloccati dietro un sistema "a accesso controllato", il che significa che solo ricercatori verificati che lavorano sulla sicurezza possono accedere al testo effettivo delle domande.

In breve, questo articolo ha costruito un righello migliore e più pulito per misurare la sicurezza dell'IA, separando le richieste "fai la cosa cattiva" dalle richieste "parla della cosa cattiva" in modo che possiamo misurarle con precisione.

Riepilogo Tecnico: Un Archivio di Prompt Validato per la Generazione di Codice Malevolo

1. Enunciato del Problema

I benchmark attuali che valutano il rifiuto dei Modelli Linguistici di Grandi Dimensioni (LLM) su compiti di codifica malevola soffrono di un difetto metodologico critico: confondono le richieste di software malevolo eseguibile (armi) con le richieste di conoscenza di sicurezza dannosa (informazioni). I dataset esistenti mescolano prompt come "scrivi un keylogger" (codice eseguibile) con "spiega come funziona un keylogger" (conoscenza descrittiva).

Questa confusione è problematica perché questi due tipi di richiesta probabilmente attivano percorsi di rifiuto distinti nei modelli allineati alla sicurezza. Una singola statistica sul tasso di rifiuto calcolata su una miscela eterogenea non può distinguere tra un modello che rifiuta di scrivere malware ma spiega la crittografia, e uno che scrive malware ma rifiuta di descrivere la crittografia. Di conseguenza, i "tassi di rifiuto per la sicurezza del codice" nella letteratura attuale misurano un costrutto sconosciuto, introducendo una varianza non osservata che limita la comparabilità tra studi e l'analisi a livello di meccanismo. Inoltre, i benchmark precedenti spesso si basano su etichette di un singolo annotatore o su accordi a coppie senza un rigoroso consenso multi-valutatore, lasciando un'ambiguità residua nei confini delle classi.

2. Metodologia

Il paper introduce un asse di classificazione armi-verso-conoscenza, operazionalizzato attraverso un protocollo di consenso multi-valutatore per separare le richieste di codice eseguibile dai prompt basati sulla conoscenza.

2.1 Consolidamento dei Dati e Pre-filtraggio

Lo studio ha consolidato 3.133 prompt candidati tratti da quattro benchmark pubblici:

RMCBench: 473 prompt (tutte richieste di generazione di codice).
MalwareBench: 320 prompt filtrati (sottoinsieme di 3.520, escludendo varianti di parafrasi avversaria).
CySecBench: 1.820 prompt (filtrati da 12.662 prompt grezzi utilizzando uno schermo basato su regex per la formulazione imperativa della generazione di codice).
harmful_behaviors (da AdvBench): 520 prompt sulla sicurezza dei contenuti.

Un pre-filtraggio basato su regole ha rimosso i duplicati esatti e le richieste non relative alla generazione di codice (ad esempio, domande concettuali), mantenendo solo prompt che plausibilmente richiedevano un output eseguibile per il pool di classificazione iniziale.

2.2 Classificatore a Consenso di Cinque Modelli

Ognuno dei 3.133 prompt è stato classificato indipendentemente da un panel di cinque Modelli Linguistici di Grandi Dimensioni che agivano come valutatori. Il panel è stato deliberatamente diversificato per fornitore (coprendo quattro famiglie di fornitori: Anthropic, OpenAI, Google, Zhipu AI, Alibaba) e includeva sia modelli a scopo generale che modelli specializzati in codifica per mitigare errori di etichettatura correlati:

Claude Sonnet 4.6 (Anthropic, Generale)
GPT-5.3-Codex (OpenAI, Codificatore)
Gemini 3 Flash (Google, Generale)
GLM-5 (Zhipu AI, Generale)
Qwen3-Coder-Next (Alibaba, Codificatore)

Compito di Classificazione: Ai valutatori è stato chiesto di assegnare un'etichetta binaria:

CODE: Il prompt chiede la produzione di codice eseguibile, script o artefatti software funzionanti.
KNOWLEDGE: Il prompt chiede informazioni, strategie, tutorial o spiegazioni in linguaggio naturale.

Regola di Consenso: È stata applicata una regola di maggioranza 3 su 5. Un prompt è stato assegnato all'insieme di consenso CODE se almeno tre valutatori lo hanno etichettato come CODE, e all'insieme di consenso KNOWLEDGE se almeno tre lo hanno etichettato come KNOWLEDGE. Nessun prompt ha fallito nel raggiungere una maggioranza 3 su 5; il bucket "AMBIGUO" è rimasto vuoto.

2.3 Metriche di Affidabilità

L'affidabilità inter-valutatore è stata quantificata utilizzando il $\kappa$ di Fleiss con intervalli di confidenza al 95% ottenuti tramite bootstrap di 10.000 iterazioni. Questa metrica è stata calcolata sul sottoinsieme di prompt in cui tutti e cinque i valutatori hanno restituito etichette valide (2.488 prompt).

3. Contributi Chiave

Il contributo principale è il rilascio di un archivio di prompt etichettati per consenso che funge da substrato standardizzato e validato per la ricerca sulla sicurezza del codice.

L'Archivio per la Sicurezza del Codice: Un dataset di 1.554 prompt di consenso CODE (che rappresentano 1.551 stringhe di prompt uniche). Questo insieme isola le richieste di software malevolo eseguibile.
L'Insieme di Confronto sulla Conoscenza: Un insieme di 388 prompt di consenso KNOWLEDGE (derivati esclusivamente dalla fonte harmful_behaviors) utilizzato per confronti intra-soggetto negli studi companion.
Validazione: Il dataset include metadati per prompt, comprese le etichette dei singoli valutatori, i livelli di accordo (ad esempio, 5/5, 4/5) e le categorie di tassonomia della fonte (27 categorie di malware).
Scienza Aperta: Il codice di consolidamento, le etichette di consenso e le statistiche di affidabilità sono rilasciati apertamente (Licenza MIT) su GitHub. Il testo dei prompt è disponibile come dataset ad accesso controllato su Hugging Face per mitigare i rischi di doppio uso, consentendo al contempo una ricerca legittima.

4. Risultati

4.1 Cascata di Filtraggio

La pipeline ha ridotto 17.175 prompt sorgente grezzi all'artefatto finale:

Pre-filtraggio: Ha ridotto il pool a 3.133 candidati.
Consenso: 1.618 prompt sono stati etichettati CODE e 1.515 KNOWLEDGE.
Artefatto Finale: Dopo un passaggio di controllo sulla lunghezza e sulla qualità dei metadati, sono stati rilasciati 1.554 prompt CODE e 388 prompt KNOWLEDGE.

4.2 Affidabilità Inter-Valutatore

Accordo Complessivo: I cinque valutatori hanno raggiunto un $\kappa$ di Fleiss di 0,876 [IC 95%: 0,862, 0,888], che corrisponde a un accordo "quasi perfetto" secondo la convenzione di Landis & Koch.
Unanimità: Il 69,3% (2.170) dei 3.133 prompt ha ricevuto un accordo unanime 5/5.
Zero Ambiguità: Tutti i 3.133 prompt hanno raggiunto la soglia 3 su 5; zero prompt sono stati esclusi come ambigui.
Affidabilità per Fonte:
- MalwareBench: $\kappa = 1,000$ (Accordo perfetto).
- harmful_behaviors: $\kappa = 0,942$ ("Quasi perfetto").
- CySecBench: $\kappa = 0,775$ ("Sostanziale"), riflettendo una maggiore ambiguità dei confini in questa fonte.
- RMCBench: $\kappa \approx 0,001$ (Un caso degenerato dovuto alla mancanza di varianza, poiché tutti i prompt erano CODE).
Accordo a Coppie: Tutti i dieci confronti a coppie tra i valutatori hanno superato la soglia "sostanziale" ( $\kappa \ge 0,61$ ), con dieci coppie che hanno superato il "quasi perfetto" ( $\kappa \ge 0,81$ ).

4.3 Prestazioni dei Valutatori

Tassi di Errore: I tassi di errore sono variati significativamente per modello (da 1 errore per GLM-5 a 430 per Gemini 3 Flash). Tuttavia, la regola di consenso 3 su 5 ha tollerato con successo questi errori, risultando in zero errori di consenso in tutto il dataset.
Codificatori vs Generali: I valutatori specializzati in codifica (GPT-5.3-Codex, Qwen3-Coder-Next) hanno prodotto conteggi di CODE leggermente più alti in media rispetto ai valutatori a scopo generale, supportando l'ipotesi che il pre-addestramento ottimizzato per il codice aiuti a distinguere le richieste eseguibili da quelle descrittive.

5. Significato e Affermazioni

Il paper afferma modestamente di fornire il primo archivio di prompt validato per consenso multi-valutatore che separa esplicitamente le richieste di armi eseguibili dalle richieste di conoscenza dannosa attraverso benchmark consolidati.

Risoluzione Metodologica: Il lavoro risolve la confusione di tipi di richiesta distinti che ha confuso la letteratura precedente sulla generazione di codice malevolo. Isolando le richieste di codice eseguibile, consente una misurazione più precisa del costrutto specifico che le valutazioni sulla sicurezza del codice mirano a catturare.
Standardizzazione: L'artefatto permette alla ricerca downstream di adottare un substrato canonico e documentato per l'affidabilità, piuttosto che ricostruire indipendentemente la logica di filtraggio. Questo riduce la varianza non osservata nei tassi di rifiuto riportati e supporta confronti riproducibili tra modelli.
Portata del Contributo: Il paper afferma esplicitamente che se l'asse "armi-verso-conoscenza" separa il comportamento dei modelli nella pratica è una questione empirica lasciata a uno studio di benchmark companion. Il contributo attuale è l'artefatto stesso e la validazione dell'asse di classificazione, non i risultati comportamentali dei modelli su questo asse.
Posizione Etica: Il dataset è destinato alla ricerca difensiva (misurazione del rifiuto, allineamento alla sicurezza e interpretabilità). Gli autori sottolineano che non è stato creato alcun nuovo malware e che il rilascio segue quadri di mitigazione del doppio uso (accesso controllato) per impedire che l'artefatto venga utilizzato per operationalizzare attacchi.