Sintesi Tecnica: Rilevamento di Batch di Prompt di Generazione di Codice Contaminati tramite Funzioni di Influenza

Definizione del Problema

I Large Language Models (LLM) sono sempre più impiegati per la generazione di codice, tuttavia rimangono vulnerabili a prompt che inducono implementazioni insicure. I meccanismi di difesa esistenti, come gli analizzatori statici (es. Bandit, Semgrep) e i tracciatori di taint, si affidano a modelli di minaccia o cataloghi di pattern di vulnerabilità noti. Questi approoli sono ciechi di fronte a nuovi vettori di attacco o varianti esterne ai loro specifici cataloghi. Inoltre, sebbene esistano rilevatori per jailbreak o prompt injection che mirano al comportamento di istruzione (instruction-following), non esiste attualmente un metodo affidabile per rilevare prompt che inducono specificamente il disallineamento (misalignment) nella generazione di codice — definito come l'introduzione di debolezze rilevanti per la sicurezza (secondo CWE/OWASP) che una completamento benigno dello stesso compito non presenterebbe. La sfida centrale è rilevare batch di prompt malevoli senza una conoscenza preventiva della specifica classe di vulnerabilità o del metodo di attacco.

Metodologia: CodeSIFT

Gli autori propongono CodeSIFT, un metodo di rilevamento agnostico rispetto al modello di minaccia che sfrutta le funzioni di influenza per identificare batch di prompt che inducono un comportamento anomalo del modello. Invece di analizzare il codice generato alla ricerca di vulnerabilità specifiche, CodeSIFT misura l' "influenza nello spazio dei parametri" del codice generato per determinare se un insieme di candidati prompt devia da una distribuzione di riferimento benigna.

Meccanismo Centrale

1. Funzioni di Influenza (IFs): Il metodo quantifica l'effetto di un esempio di addestramento specifico (in questo caso, una risposta generata) sui parametri del modello. Stima quanto i parametri del modello cambierebbero se un dato esempio venisse pesato maggiormente durante l'addestramento.

   • Formalmente, per un prompt $z$ e una risposta $\hat{z}$, il punteggio di influenza misura l'entità dell'aggiornamento dei parametri $\|\hat{\theta} - \hat{r}_{\hat{z}, \text{lin}}(\varepsilon)\|_p$, dove $\hat{\theta}$ sono i parametri convergenti e $\hat{r}$ è la funzione di risposta linearizzata che approssima la Proximal Bregman Response Function (PBRF).
   • Il presupposto è che le risposte elicitate da prompt malevoli (disallineamento) richiederanno uno spostamento dei parametri maggiore per essere accomodate rispetto alle risposte derivanti da prompt benigni, poiché esse sono incoerenti con la distribuzione di addestramento benigna del modello.

2. Test Statistici:

   • L'algoritmo calcola un Punteggio di Influenza ($IF_{p,\varepsilon}(z)$) per ogni prompt in un batch di candidati ($D$) e in un batch di riferimento benigno noto ($D^*$).
   • Aggrega questi punteggi ed esegue un t-test di Welch a una coda per due campioni per confrontare la media dell'influenza del batch candidato rispetto al riferimento benigno.
   • Ipotesi: $H_0$ (Benigno): Il batch candidato esercita la stessa influenza media nello spazio dei parametri del riferimento benigno. $H_1$ (Malevolo): Il batch candidato induce uno spostamento dei parametri significativamente maggiore.
   • Se il p-value è inferiore a una soglia di significatività $\alpha$, il batch viene segnalato come contaminato.

3. Efficienza Computazionale:

   • Per gestire l'intrattabilità del calcolo dell'esatta matrice Hessiana inversa per modelli di grandi dimensioni, gli autori impiegano un'approssimazione Kronecker-Factored Approximate Curvature (K-FAC).
   • Utilizzano una "semplificazione a lato singolo", mantenendo solo il fattore di Kronecker corrispondente alla dimensione nascosta del transformer e scartando il fattore più grande della dimensione intermedia MLP.
   • I fattori di curvatura densi sono precomputati su un dataset di curvatura separato ($D_c$, un sottoinsieme di The Stack v2) che approssima la distribuzione di pre-addestramento del modello, evitando la necessità di accedere ai dati di addestramento originali.

Contributi Chiave

1. Un Nuovo Framework di Rilevamento: La proposta di CodeSIFT, un test statistico per il rilevamento di prompt di generazione di codice malevoli basato su funzioni di influenza. A differenza del lavoro precedente che utilizza le IF per studi di interpretabilità o generalizzazione, questo lavoro utilizza l'influenza come statistica di rilevamento aggregata che non richiede assunzioni sul modello di minaccia.
2. Nuovi Dataset di Benchmark: La costruzione di due nuovi dataset, AuthSec (sicurezza di autenticazione, autorizzazione, sessione) e InfraCloud (esploit di infrastruttura, cloud, protocollo), ciascuno contenente 200 prompt malevoli e un corrispondente set di riferimento benigno. Questi sono progettati specificamente per la discriminazione a livello di batch piuttosto che per la valutazione della vulnerabilità del singolo campione.
3. Valutazione Comprensiva: Una valutazione di CodeSIFT rispetto a tre baseline di analisi statica (Bandit, Semgrep e un tracciatore di taint basato su AST personalizzato) attraverso tre modelli di codice open-weight (da 3B a 7B parametri).

Risultati Sperimentali

Gli autori hanno valutato CodeSIFT su tre modelli: Granite-3B, DeepSeek-Coder-6.7B e Qwen2.5-Coder-7B.

• Accuratezza del Rilevamento (AUROC):

  • CodeSIFT ha dimostrato un miglioramento monotono nell'accuratezza del rilevamento all'aumentare del tasso di iniezione (percentuale di prompt malevoli in un batch).
  • Sul dataset AuthSec, l'AUROC ha raggiunto punteggi quasi perfetti (avvicinandosi a 1.0) con una contaminazione moderata (40-50%).
  • Sul dataset più eterogeneo InfraCloud, l'AUROC ha raggiunto il picco tra 0.88 e 0.98 a seconda del modello.
  • Al contrario, le baseline statiche hanno mostrato prestazioni inconsistenti tra i modelli. Mentre Bandit ha performato bene su DeepSeek-Coder, si è comportato vicino al caso casuale su altri modelli. Semgrep e il tracciatore di taint AST sono spesso scesi sotto lo 0.5 AUROC (anti-correlato con le etichette reali) all'aumentare dei tassi di iniezione.

• Controllo dei Falsi Positivi:

  • CodeSIFT ha mantenuto tassi di falsi positivi (FPR) ben calibrati in tutti i modelli e i dataset, seguendo da vicino il livello di significatività nominale $\alpha$ (compreso tra 0.01 e 0.09).
  • Le baseline statiche hanno mostrato una calibrazione inconsistente, presentando spesso pattern a gradini a causa della loro natura di segnalazione binaria per singolo campione.

Significato e Rivendicazioni

Il paper sostiene che il rilevamento basato sulle funzioni di influenza offra una direzione promettente per identificare prompt di generazione di codice malevoli senza richiedere la conoscenza preventiva della classe di attacco sottostante.

• Agnosticismo rispetto al Modello di Minaccia: Il metodo rileva con successo il disallineamento senza dover catalogare preventivamente le vulnerabilità, affrontando il limite degli analizzatori statici che sono ciechi di fronte ad attacchi nuovi.
• Trasferibilità: Il segnale di rilevamento (influenza nello spazio dei parametri) si trasferisce tra diverse architetture di modelli (da 3B a 7B parametri) e famiglie, mentre il pattern matching superficiale (analisi statica) non riesce a generalizzare in modo consistente.
• Efficacia a Livello di Batch: L'approccio è specificamente efficace nell'identificare batch di prompt contaminati, una capacità critica per i flussi di lavoro automatizzati degli sviluppatori dove i prompt vengono elaborati in gruppi.

Gli autori rimangono modesti riguardo all'ambito, notando che l'attuale valutazione è limitata a Python e specifiche famiglie di vulnerabilità, e che il metodo è attualmente progettato come un test a livello di batch piuttosto che come uno strumento per localizzare i singoli prompt malevoli all'interno di un batch. Suggeriscono che l'approccio possa scalare verso modelli più grandi (citando lavori precedenti fino a 52B parametri) e potrebbe essere esteso ad altri linguaggi e superfici di attacco.