💬 NLP

SecureForge: Finding and Preventing Vulnerabilities in LLM-Generated Code via Prompt Optimization

Il documento introduce SecureForge, una pipeline automatizzata che ottimizza i prompt di sistema utilizzando un corpus sintetico di prompt amplificatori di vulnerabilità per ridurre significativamente le falle di sicurezza nel codice generato da LLM mantenendo le prestazioni funzionali, ottenendo una riduzione delle vulnerabilità fino al 48% con trasferibilità zero-shot a scenari reali.

Autori originali: Houjun Liu, Lisa Einstein, John Yang, Joachim Baumann, Duncan Eddy, Christopher D. Manning, Mykel Kochenderfer, Diyi Yang

Pubblicato 2026-05-12

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Houjun Liu, Lisa Einstein, John Yang, Joachim Baumann, Duncan Eddy, Christopher D. Manning, Mykel Kochenderfer, Diyi Yang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di assumere un architetto robot brillante e super-veloce per costruire una casa per te. Gli dici: "Costruiscimi una casa sicura", e lui lo fa. Ma poiché il robot ha appreso da miliardi di vecchi progetti (alcuni dei quali presentavano crepe nascoste), installa per errore una porta che sembra bloccata ma che in realtà si apre se la spingi nel modo giusto.

Questo è il problema che SecureForge risolve.

Ecco il documento spiegato in termini semplici, utilizzando analogie per renderlo chiaro.

Il Problema: La "Crepa Invisibile"

Gli attuali assistenti di codifica AI sono straordinari. Scrivono codice più velocemente di qualsiasi umano. Ma hanno un'abitudine pericolosa: spesso scrivono codice che sembra perfetto ma presenta buchi di sicurezza nascosti.

I ricercatori hanno scoperto che anche quando dicevano esplicitamente all'AI: "Per favore, scrivi codice sicuro ed evita questi specifici errori di sicurezza", l'AI commetteva ancora errori circa il 23% delle volte.

Pensaci come a uno chef a cui viene detto: "Non mettere veleno in questa zuppa". Lo chef si impegna molto, ma poiché ha imparato da vecchi ricettari che contenevano ricette sbagliate, aggiunge per errore un ingrediente tossico. La zuppa ha un buon sapore (il codice supera i test), ma è pericolosa da mangiare (presenta vulnerabilità di sicurezza).

La Soluzione: SecureForge

Gli autori hanno creato uno strumento chiamato SecureForge. Invece di cercare di riaddestrare il robot (cosa che è costosa e difficile), hanno creato un "manuale di addestramento" (un prompt di sistema) che il robot legge prima di iniziare a lavorare.

SecureForge funziona in tre semplici passaggi, come un detective che risolve un caso:

Passo 1: La Trappola (Trovare gli Errori)

Innanzitutto, SecureForge chiede all'AI di svolgere compiti normali e innocui (come "costruisci una pagina di accesso"). Utilizza quindi un scanner di sicurezza (una lente di ingrandimento digitale) per verificare il codice.

Obiettivo: Trovare le richieste specifiche e noiose che ingannano l'AI facendole commettere un errore.
Analogia: È come una guardia di sicurezza che testa una cassaforte bancaria cercando di aprirla con una chiave normale. Non sta cercando di entrare; sta solo vedendo dove la serratura è debole.

Passo 2: La Camera dell'Eco (Amplificare gli Errori)

Una volta trovata una richiesta che causa un errore, non si fermano qui. Utilizzano una tecnica chiamata MCMC (Markov Chain Monte Carlo).

Cosa fa: Prende quella singola richiesta sbagliata e ne crea migliaia di versioni leggermente diverse, come un libro "scegli la tua avventura" dove ogni percorso porta a una variazione diversa dello stesso problema.
Analogia: Immagina di aver trovato un modo per ingannare una guardia di sicurezza. Invece di usare solo quell'unico trucco, scrivi un libro con 80.000 modi diversi per ingannare quella guardia, coprendo ogni possibile angolazione. Questo crea una vasta libreria di "scenari di fallimento".

Passo 3: La Manovra (Ottimizzare le Istruzioni)

Ora, SecureForge prende quella vasta libreria di scenari di fallimento e insegna all'AI come evitarli. Utilizza un algoritmo genetico (un processo di evoluzione digitale) per modificare le istruzioni che l'AI legge.

Come funziona: Prova diverse versioni del "Prompt di Sistema" (il regolamento). Se un regolamento porta a un codice sicuro, lo mantiene. Se porta a una falla, lo scarta e ne prova uno nuovo.
Analogia: È come un allenatore che fa eseguire una manovra in cui il giocatore pratica il fallimento ripetutamente finché non impara finalmente il modo perfetto di stare in piedi per non cadere mai. L'allenatore non cambia i muscoli del giocatore (il cervello dell'AI); cambia solo il manuale di gioco.

I Risultati: Più Forte e Più Intelligente

Il documento ha testato questo approccio sui modelli AI più avanzati disponibili (come GPT-5 e Claude).

Prima di SecureForge: L'AI commetteva errori di sicurezza circa il 23% delle volte, anche quando le veniva detto di essere sicura.
Dopo SecureForge: Gli errori sono diminuiti fino al 48%.
La Migliore Parte: L'AI non è peggiorata nel suo lavoro effettivo. Ha superato tutti i suoi test di codifica. In effetti, è diventata migliore sia nel essere sicura che nel essere utile allo stesso tempo.

Perché Questo È Importante

La maggior parte degli strumenti di sicurezza cerca di catturare codice cattivo dopo che è stato scritto (come un correttore ortografico). SecureForge cambia le istruzioni che l'AI segue prima che scriva una singola riga di codice.

È come dare all'architetto robot un nuovo set di progetti che dice: "Ricorda, in questa situazione specifica, usa sempre una serratura a cilindro, non una maniglia". Il robot non ha bisogno di essere ricostruito; ha solo bisogno di istruzioni migliori.

Conclusione Principale: Non hai bisogno di riaddestrare l'AI per renderla più sicura. Hai solo bisogno di trovare il "prompt" (istruzione) giusto che le insegna a evitare le crepe invisibili che crea naturalmente. SecureForge è la macchina automatizzata che trova quell'istruzione perfetta.

Riepilogo Tecnico: SecureForge

Enunciato del Problema

Gli agenti di codifica basati su Modelli Linguistici di Grandi Dimensioni (LLM) stanno generando codice a una scala senza precedenti, tuttavia introducono frequentemente vulnerabilità di cybersecurity nelle codebase senza intervento umano. Una modalità di fallimento critica identificata in questo lavoro è la generazione di codice funzionalmente corretto ma insicuro. Anche quando i modelli all'avanguardia ricevono istruzioni esplicite di scrivere codice di produzione sicuro e vengono forniti con contesti riguardanti specifiche debolezze da evitare, continuano a produrre vulnerabilità verificabili circa il 23% delle volte su un corpus di 250 prompt di codifica benigni.

Gli approcci esistenti per mitigare questi rischi soffrono di lacune significative:

Modelli di Minaccia Non Allineati: Il red-teaming precedente si basa spesso su prompt avversari che non riflettono le interazioni tipiche degli utenti con compiti di codifica benigni.
Copertura Insufficiente: Gli scenari creati manualmente per colpire specifiche Enumerazioni delle Debolezze Comuni (CWE) non riescono a caratterizzare l'intero spazio dei prompt benigni che potrebbero involontariamente produrre codice vulnerabile.
Barriere al Deploy: I metodi attuali di irrobustimento richiedono spesso l'accesso ai pesi in modalità white-box per il fine-tuning o il prefix tuning, cosa inaccessibile per gli sviluppatori che utilizzano modelli a pesi chiusi tramite API. Inoltre, il fine-tuning comporta rischi di spostamento della distribuzione che degradano le capacità generali di codifica.

Manca un approccio automatizzabile, facilmente deployabile e operativo al momento dell'inferenza per misurare e prevenire l'introduzione di debolezze comuni nel codice generato da modelli all'avanguardia, senza richiedere aggiornamenti dei pesi del modello.

Metodologia: Pipeline SecureForge

SecureForge è una pipeline leggera e automatizzata progettata per irrobustire proattivamente gli agenti di codifica AI contro le debolezze comuni. Richiede solo l'accesso API al modello in test e un analizzatore statico. La pipeline opera in tre fasi distinte:

1. Falsificazione Single-Shot (Scoperta)

La prima fase identifica prompt seed benigni che elicito vulnerabilità verificabili staticamente.

Generazione del Prompt: Partendo dal database MITRE CWE, il sistema genera compiti di codifica realistici che utilizzano librerie specifiche associate a debolezze note (ad esempio, SQL injection in Django).
Filtraggio Benigno: Questi prompt vengono revisionati per rimuovere menzioni esplicite di attacchi, vulnerabilità o CWE. Al generatore viene istruito di utilizzare un linguaggio di qualità produttiva (ad esempio, "assicurarsi che l'input sia correttamente sanificato") per garantire che i prompt appaiano come richieste utente standard.
Valutazione: Il modello target genera codice per questi prompt a una temperatura di 1.0. Gli output vengono analizzati utilizzando Semgrep (uno strumento di analisi statica). I prompt che risultano in codice che supera i test unitari ma fallisce l'analisi statica (attivando una vulnerabilità) vengono conservati come prompt seed "falsificati".

2. Scoperta della Distribuzione dei Fallimenti (Amplificazione)

Per superare la scarsità degli esempi iniziali di fallimento e garantire la diversità, SecureForge impiega il campionamento Markov Chain Monte Carlo (MCMC), utilizzando specificamente il criterio Metropolis-Hastings (MH).

Obiettivo: Campionare dalla distribuzione condizionale del fallimento $p(\cdot | F_j)$ , dove $F_j$ è un tipo specifico di debolezza.
Processo: Partendo da un prompt seed, un kernel di esplorazione (un prompt di riformulazione di un modello linguistico) genera variazioni candidate. L'accettazione di un nuovo prompt $x'$ è determinata dal rapporto tra la sua probabilità di fallimento non normalizzata $\bar{p}(x')$ e la probabilità del prompt corrente, aggiustata dal kernel di transizione.
Stima della Probabilità: La probabilità di fallimento $p_{fail}(x)$ viene stimata eseguendo il prompt più volte e adattando una distribuzione Beta ai conteggi di successo/fallimento fino a quando la varianza converge al di sotto di una soglia.
Risultato: Questo processo amplifica un piccolo insieme di prompt seed in un grande corpus sintetico diversificato (80.000 prompt) che mantiene alti tassi di vulnerabilità esplorando al contempo la distribuzione dei fallimenti.

3. Irrobustimento tramite Ottimizzazione del Prompt

La fase finale ottimizza un prompt di sistema per ridurre la probabilità di generare codice insicuro senza modificare i pesi del modello.

Algoritmo di Ottimizzazione: La pipeline utilizza GEPA (Genetic-Pareto), un algoritmo genetico di ordine zero che impiega l'autoriflessione.
Processo: Partendo da un prompt di sistema generico, GEPA genera iterativamente prompt di sistema candidati. Ogni candidato viene valutato contro l'intero corpus sintetico di prompt di fallimento.
Funzione di Fitness: L'algoritmo minimizza la probabilità aggregata di fallimento su tutto il corpus mantenendo al contempo la correttezza funzionale (superamento dei test unitari).
Ciclo di Feedback: L'analizzatore statico fornisce un segnale (punteggio ±1) basato sulla presenza o meno di vulnerabilità nel codice generato. Il prompt di sistema viene mutato e selezionato in base all'ottimalità Pareto, bilanciando sicurezza e capacità.

Contributi Chiave

Caratterizzazione Empirica dei Fallimenti Benigni: Gli autori dimostrano che i modelli all'avanguardia generano codice insicuro anche quando esplicitamente richiesti di essere sicuri e forniti di contesto CWE. Hanno rilevato che il 12,7% degli output è sia vulnerabile sia supera i test unitari, evidenziando l'invisibilità di questi fallimenti.
Amplificazione Basata su MCMC: Il documento introduce un metodo per scalare singoli esempi di falsificazione in un corpus diversificato di scenari di fallimento utilizzando MCMC. Studi di ablazione mostrano che questo metodo scopre nuovi prompt vulnerabili fino a 2 volte più efficacemente rispetto alla semplice riformulazione.
Irrobustimento al Momento dell'Inferenza: SecureForge fornisce una soluzione deployabile che migliora la sicurezza tramite l'ottimizzazione del prompt di sistema solamente. Non richiede fine-tuning, accesso white-box o esposizione a distribuzioni di prompt utente reali durante la fase di ottimizzazione.
Toolkit Open-Source: Gli autori rilasciano un toolkit (secureforge) che automatizza l'intera pipeline, dalla generazione di prompt di fallimento benigni all'ottimizzazione dei prompt di sistema tramite API o deploy locale.

Risultati

La valutazione è stata condotta su una suite di modelli open-source (Qwen, CodeLlama, Kimi) e modelli chiusi all'avanguardia (serie GPT-5, Claude Sonnet 4.6).

Riduzione delle Vulnerabilità: SecureForge ha ottenuto una riduzione statisticamente significativa dei tassi di vulnerabilità, con una riduzione massima del 48% tra i modelli testati.
Miglioramento Pareto: I prompt di sistema ottimizzati hanno portato a un miglioramento congiunto sia nei tassi di successo dei test unitari sia nella sicurezza dell'output. I modelli si sono spostati significativamente verso il quadrante "più sicuro" del piano (passaggio test, sicurezza) senza degradare le capacità di codifica.
Trasferimento Zero-Shot: I prompt di sistema ottimizzati su dati sintetici si sono trasferiti efficacemente a prompt di agenti di codifica reali "in-the-wild" provenienti dal dataset SWE-chat. Questo trasferimento è avvenuto senza alcuna esposizione a distribuzioni di prompt utente reali durante la fase di ottimizzazione, migliorando il tasso congiunto di passaggio dei test e sicurezza fino al 13,5% su compiti reali.
Confronto con la Linea di Base: Strategie di prompting semplici (chiedere codice sicuro o elencare CWE) non sono riuscite a ridurre i tassi di vulnerabilità allo stesso livello di SecureForge, lasciando tassi di vulnerabilità a due cifre anche negli scenari di superamento dei test.

Significato e Affermazioni

Il documento afferma che SecureForge affronta una lacuna critica nella sicurezza degli LLM fornendo un meccanismo automatizzato e operativo al momento dell'inferenza per irrobustire gli agenti di codifica contro le debolezze comuni.

Oltre l'Addestramento alla Sicurezza: I risultati suggeriscono che l'addestramento alla sicurezza esistente nei modelli all'avanguardia è insufficiente per prevenire le vulnerabilità derivanti da richieste utente benigne e involontarie. Chiedere esplicitamente sicurezza o fornire elenchi di CWE non è sufficiente.
Irrobustimento Scalabile: Affidandosi all'analisi statica e all'ottimizzazione dei prompt piuttosto che agli aggiornamenti dei pesi, SecureForge offre una via pratica per gli sviluppatori per mettere in sicurezza immediatamente i modelli a pesi chiusi.
Sicuro by Design: Gli autori ipotizzano che, se implementato su larga scala, questo approccio aiuti i fornitori di tecnologia a rispettare gli impegni "secure-by-design" identificando e mitigando proattivamente le modalità di fallimento prima che il codice venga distribuito.

Il lavoro sottolinea che, sebbene la valutazione attuale sia limitata alla generazione di codice Python in un singolo turno, la pipeline fornisce un quadro generale per scoprire e ridurre le insicurezze di codifica negli LLM all'avanguardia, richiedendo solo analisi statiche ground-truth e nessuna annotazione umana.