Riepilogo Tecnico: Minime Perturbazioni del Prompt Portano a Vulnerabilità nel Codice

Enunciato del Problema

Mentre gli assistenti alla programmazione basati su Modelli Linguistici di Grande Dimensione (LLM) vengono adottati rapidamente per migliorare la produttività degli sviluppatori, la sicurezza del codice da essi generato rimane una preoccupazione critica. Ricerche precedenti hanno stabilito che minime perturbazioni del prompt (ad esempio, errori di battitura, parafrasi) possono degradare la correttezza funzionale del codice generato. Tuttavia, le conseguenze in termini di sicurezza di tali perturbazioni rimangono inesplorate. Un'assunzione naturale nello sviluppo è che le variazioni di superficie nei prompt non dovrebbero alterare la postura di sicurezza dell'output. Questo documento indaga se mutazioni minime e innocue del prompt possano trasformare il codice generato dall'LLM da sicuro a vulnerabile, e se queste vulnerabilità siano codificate nelle rappresentazioni interne del modello prima che inizi la generazione del codice.

Metodologia

Benchmark e Modelli

Lo studio utilizza il benchmark CWEval (Peng et al., 2025), che si distingue dai precedenti benchmark di sicurezza (ad esempio, CyberSecEval, SecurityEval) perché valuta funzionalità e sicurezza simultaneamente tramite oracoli di test guidati dal risultato. Il benchmark copre 31 tipi di Common Weakness Enumeration (CWE) in cinque linguaggi di programmazione (C, C++, Go, JavaScript, Python).

Gli esperimenti impiegano tre LLM open-source specializzati in codice:

• CodeLlama (70B)
• DeepSeek-Coder (33B)
• Qwen3-Coder (30B)

Gli esperimenti sono stati condotti con una temperatura di $T=0$ per garantire una valutazione stabile, con analisi di sensibilità eseguite a $T=0.8$.

Strategia di Perturbazione

Gli autori hanno applicato mutazioni sistematiche ai prompt, categorizzate in base all'aumento della perturbazione semantica:

1. Cambiamenti di un singolo carattere: Sostituzione di un carattere con una lettera ASCII casuale.
2. Cambiamenti di tre caratteri: Scambio di tre caratteri casuali all'interno di un singolo token.
3. Sostituzioni di interi token: Sostituzione di un token con un token casuale simile basata sulla similarità del coseno dell'embedding.

Sondaggio degli Stati Nascosti

Per determinare se esistano segnali di vulnerabilità prima della generazione, gli autori hanno addestrato classificatori lineari (regressione logistica regolarizzata L2) e non lineari superficiali (MLP a due livelli) sullo stato nascosto dell'ultimo token del prompt. Queste sonde prevedono se una specifica istanza (modello, linguaggio, CWE, mutazione) risulterà in:

1. Codice funzionale.
2. Codice sia funzionale che sicuro.

Le sonde sono state addestrate per ogni cella (modello, linguaggio, CWE, target) utilizzando una divisione train/test 80/20 con convalida incrociata a 5 fold per la regolazione degli iperparametri.

Contributi Chiave

1. Dimostrazione della Fragilità del Prompt: Lo studio mostra che mutazioni piccole quanto un singolo carattere possono trasformare il codice generato da sicuro a vulnerabile (e viceversa), influenzando simultaneamente funzionalità e sicurezza.
2. Decomposizione dei Driver di Mutazione: La ricerca identifica che per alcune perturbazioni, la posizione della mutazione nel prompt è decisiva (ad esempio, le mutazioni nella parte centrale del prompt sono le più dannose), mentre per altre è la sostituzione specifica del carattere a determinare l'esito.
3. Variazione Sistematica nelle Prestazioni delle Sonde: Il documento dimostra che la prevedibilità delle vulnerabilità dagli stati nascosti varia sistematicamente in base alla categoria CWE. Le vulnerabilità che richiedono cambiamenti strutturali (gestione degli input) sono più prevedibili rispetto a quelle che dipendono da singole scelte locali (impostazioni di sicurezza predefinite).

Risultati

Impatto delle Mutazioni

• Prevalenza: Le mutazioni colpiscono una vasta frazione di CWE in tutti i modelli e linguaggi.
• Direzionalità: Le mutazioni causano generalmente più danni che benefici. Per CodeLlama (70B) e DeepSeek-Coder (33B), il tasso di deterioramento (trasformazione di codice sicuro in vulnerabile) supera significativamente il tasso di miglioramento.
• Robustezza del Modello: Qwen3-Coder (30B) ha mostrato le prestazioni più robuste, presentando barre di degradazione costantemente più piccole rispetto agli altri due modelli.
• Differenze Linguistiche: I modelli divergono in base al linguaggio. Per Python, molti CWE sono colpiti, ma la frazione di mutazioni che cambiano l'esito all'interno di ciascun CWE è bassa. Al contrario, per Go, meno CWE sono colpiti, ma quelli colpiti rispondono fortemente alle mutazioni.

Analisi delle Sonde

• Prevedibilità Complessiva: La media dell'Area Under the Curve (AUC) per la previsione di esiti congiunti funzionali e sicuri dagli stati nascosti alla fine del prompt è di circa 0,70 tra i modelli.
• Varianza Specifica per CWE:
  • Gruppo I (Gestione degli Input): Le vulnerabilità in cui input non attendibili raggiungono un sink sensibile (ad esempio, SQL injection, traversale di percorsi) richiedono l'aggiunta di logica di validazione. Queste sono altamente prevedibili dagli stati nascosti (Media AUC: 0,753).
  • Gruppo D (Impostazioni di Sicurezza Predefinite): Le vulnerabilità in cui la correzione implica una singola scelta locale (ad esempio, selezionare un algoritmo robusto, un flag sicuro o una dimensione della chiave) sono meno prevedibili (Media AUC: 0,674).
• Significatività Statistica: Un test U di Mann-Whitney a una coda conferma un divario statisticamente significativo tra i due gruppi ($p = 0,009$).

Interpretazione dei Risultati delle Sonde

Gli autori ipotizzano che lo stato nascosto alla fine del prompt codifichi le decisioni a cui il modello si impegna precocemente (cambiamenti strutturali come l'aggiunta di un guardiano di validazione). Al contrario, le decisioni rimandate a posizioni specifiche dei token durante la generazione (come la scelta di un parametro specifico dell'algoritmo) sono dominate dalla distribuzione del prossimo token e sono quindi meno visibili nella rappresentazione finale del prompt.

Significato e Affermazioni

Il documento afferma che il modello di minaccia per la programmazione assistita da LLM si estende oltre l'iniezione avversaria del prompt per includere la variazione ordinaria del prompt (errori di battitura, parafrasi). I risultati indicano che:

1. Le vulnerabilità legate alla gestione degli input possono potenzialmente essere rilevate e mitigate prima dell'inizio della generazione analizzando le rappresentazioni del prompt.
2. Le vulnerabilità legate alle impostazioni di sicurezza predefinite sono più difficili da rilevare nella fase del prompt e potrebbero richiedere un'intervento durante il processo di decodifica.

Gli autori mantengono un orientamento difensivo, sottolineando che il loro lavoro identifica la fragilità in condizioni di utilizzo benigno piuttosto che fornire ricette di sfruttamento. Notano limitazioni riguardanti il costo computazionale del sondaggio di modelli chiusi su scala frontier e la natura manuale della classificazione CWE, suggerendo che lavori futuri potrebbero sondare le rappresentazioni latenti durante la generazione per catturare il segnale delle "impostazioni di sicurezza predefinite" mancato alla fine del prompt.