SlotGCG: Exploiting the Positional Vulnerability in LLMs for Jailbreak Attacks

Sintesi Tecnica: SlotGCG: Sfruttare la Vulnerabilità Posizionale nei LLM per Attacchi di Jailbreak

Problema

I Large Language Models (LLM) rimangono vulnerabili agli attacchi di jailbreak, in cui prompt accuratamente progettati elicitano risposte dannose. Sebbene gli attacchi basati sull'ottimizzazione come il Greedy Coordinate Gradient (GCG) abbiano dimostrato efficacia, essi soffrono di un limite fondamentale: limitano l'inserimento di token avversari a una posizione fissa, tipicamente il suffisso (fine) del prompt. Questo articolo sostiene che tale restrizione lascia inesplorato il potenziale impatto dell'inserimento di token in altre posizioni all'interno del prompt. Gli autori sostengono che assumere che il suffisso sia la posizione di attacco ottimale crei un vuoto nella ricerca, potenzialmente mancando vettori di attacco più efficaci e difficili da rilevare che utilizzano pattern di inserimento diversificati.

Metodologia: SlotGCG

Il documento introduce SlotGCG, un nuovo framework di attacco che estende il GCG esplorando sistematicamente e sfruttando i "slot" — posizioni discrete all'interno di un prompt dove i token possono essere inseriti (prima, tra o dopo i token esistenti). La metodologia procede attraverso quattro fasi sequenziali:

1. Probing dei Slot (Probing Slots): Per identificare le posizioni vulnerabili senza una ricerca esaustiva, il metodo costruisce un prompt di probing inserendo "token di probing" unici in ogni possibile slot del prompt dannoso.
2. Misurazione della Vulnerabilità (VSS): Gli autori introducono il Vulnerable Slot Score (VSS), una metrica progettata per quantificare la suscettibilità di specifiche posizioni di token. Il VSS è calcolato aggregando i pesi dell'attenzione dai token del template "after-chat" (che influenzano direttamente la generazione della risposta) verso i token di probing inseriti. Crucialmente, questo calcolo si concentra sugli strati (layer) superiori dell'architettura Transformer, dove l'elaborazione semantica di alto livello e i meccanismi di jailbreak sono più pronunciati.
3. Allocazione dei Token (Token Allocation): In base al VSS, il metodo calcola una distribuzione di probabilità di inserimento utilizzando una funzione softmax con un parametro di temperatura. I token avversari vengono quindi allocati tra gli slot proporzionalmente al loro VSS, garantendo che più token siano posizionati in posizioni con una vulnerabilità stimata più elevata.
4. Ottimizzazione (Optimization): Infine, le sequenze avversarie allocate vengono ottimizzate utilizzando la ricerca guidata dal gradiente standard basata su GCG per minimizzare la funzione di perdita e indurre risposte dannose.

Un risultato chiave che sostiene questa metodologia è che gli slot vulnerabili sono in gran parte inerenti al prompt stesso piuttosto che artefatti del processo di ottimizzazione. Il VSS di uno slot rimane coerente durante l'ottimizzazione, consentendo al metodo di identificare le posizioni ad alto rischio precocemente con un overhead computazionale minimo (circa 200ms di pre-processing).

Contributi Chiave

Il documento apporta tre contributi primari:

• Formalizzazione della Vulnerabilità Posizionale: Gli autori formalizzano il concetto di "vulnerable slots" e introducono la metrica VSS per quantificare la vulnerabilità posizionale basata sui pattern di attenzione, andando oltre l'assunto che i suffissi siano gli unici vettori di attacco efficaci.
• Algoritmo SlotGCG: Propongono SlotGCG, un meccanismo di ricerca della posizione che è agnostico rispetto all'attacco e può essere integrato in qualsiasi attacco basato sull'ottimizzazione. Mira agli slot ad alto VSS per concentrare l'ottimizzazione avversaria, risultando in una convergenza più rapida e tassi di successo più elevati.
• Validazione Empirica: Lo studio fornisce ampie prove empiriche che dimostrano come la distribuzione dei token avversari attraverso molteplici slot vulnerabili superi significativamente gli approcci basati solo sul suffisso, offrendo una guida pratica per il red teaming e la valutazione della robustezza avversaria.

Risultati Sperimentali

Gli autori hanno valutato SlotGCG attraverso molteplici LLM (inclusi Llama-2, Llama-3.1, Mistral, Vicuna e Qwen) e vari metodi di attacco baseline (GCG, AttnGCG, I-GCG, GCG-Hij, GBDA).

• Tasso di Successo dell'Attacco (ASR): SlotGCG ha superato significativamente i metodi esistenti. In media, ha ottenuto un ASR superiore del 14% rispetto agli attacchi basati su GCG. Ad esempio, applicato al metodo I-GCG su Llama-2-13B, ha raggiunto un ASR del 94% rispetto al 56% del baseline.
• Efficienza: Il metodo ha dimostrato una convergenza più rapida, richiedendo significativamente meno iterazioni di ottimizzazione per avere successo. Su Llama-2-7B, il numero medio di iterazioni è sceso da 138.11 (standard GCG) a 40.50 (SlotGCG).
• Robustezza contro le Difese: SlotGCG ha mostrato una robustezza superiore contro le difese di filtraggio dell'input (ad es., Erase-and-Check, Perplexity Filter, SmoothLLM). Ha mantenuto un ASR che era del 42% superiore rispetto agli approcci baseline in condizioni di difesa. Gli autori attribuiscono ciò alla natura dispersa dell'attacco; anche se alcuni token vengono rimossi o perturbati dalle difese, altri token avversari in diversi slot possono compensare.
• Trasferibilità Universale: Il documento ha anche esteso SlotGCG a un contesto universale (Universal SlotGCG), apprendendo una singola sequenza di token avversari che si trasferisce attraverso molteplici comportamenti. Questo approccio ha migliorato i tassi di trasferimento cross-behavior rispetto ai baseline di suffisso universale.

Significato e Rivendicazioni

Il documento afferma che SlotGCG rivela una dimensione precedentemente inesplorata della vulnerabilità degli LLM: la vulnerabilità posizionale. Dimostrando che il suffisci non è sempre la posizione di attacco ottimale, il lavoro sfida l'assunto prevalente nel campo secondo cui i token avversari debbano essere appesi alla fine dei prompt.

Gli autori dichiarano che il loro approccio fornisce un meccanismo universale per scoprire posizioni vulnerabili che è indipendente da specifiche strategie di attacco. Essi sottolineano che questa ricerca contribuisce a una comprensione più profonda dei meccanismi di sicurezza degli LLM, specificamente su come i pattern di attenzione e il posizionamento dei token influenzino il comportamento del modello. Di conseguenza, il lavoro mira a informare lo sviluppo di metodi di difesa più robusti evidenziando la necessità di valutare e proteggere contro attacchi che utilizzano pattern di inserimento diversificati, non solo perturbazioni basate sul suffisso. Gli autori osservano che i loro risultati suggeriscono che gli attuali meccanismi di sicurezza potrebbero essere insufficienti contro attacchi che distribuiscono il contenuto avversario attraverso l'intera struttura del prompt.