Sintesi Tecnica: NonTextual Target Attack (NTA)

1. Definizione del Problema

Gli attuali attacchi di jailbreak basati sul gradiente contro i Large Language Models (LLM) soffrono di limitazioni fondamentali riguardanti i loro obiettivi di ottimizzazione. I metodi allo stato dell'arte attuali (ad es., GCG, COLD-Attack, AdvPrefix) si affidano a target testuali predefiniti, costringendo tipicamente il modello a produrre un prefisso affermativo specifico (ad es., "Certamente, ecco...").

Questo approccio introduce due criticità fondamentali:

1. Spazio di Ricerca Sovraccaricato: Limitando l'obiettivo a una stringa fissa, questi metodi ignorano una vasta porzione dello spazio di output non sicuro. Se i pattern di risposta naturali di un LLM target non si allineano con il prefisso predefinito (ad es., Llama-3 spesso inizia con "Ecco" invece di "Certamente"), il processo di ottimizzazione fatica a convergere, portando a bassi tassi di successo dell'attacco (ASR) anche dopo molte iterazioni.
2. Inefficienza: Il grande divario tra l'output originale del modello e il rigido prefisso target richiede numerose iterazioni di ottimizzazione per essere colmato, risultando in elevati costi computazionali e una lenta convergenza.

Il problema centrale è che un jailbreak efficace è definito dalla generazione di contenuti non sicuri o che violano le policy, non dall'aderenza a un modello lessicale specifico. Tuttavia, ottimizzare direttamente per la "non sicurezza" è complesso perché la valutazione della sicurezza è tipicamente non differenziabile e avviene solo dopo la decodifica completa del testo.

2. Metodologia: NonTextual Target Attack (NTA)

Gli autori propongono il NonTextual Target Attack (NTA), il primo attacco basato sul gradiente che ottimizza un obiettivo vincolato non testuale per massimizzare la probabilità di una risposta non sicura senza imporre specifici pattern di risposta.

Obiettivo Centrale

L'attacco mira a massimizzare la probabilità non sicura $S(L(p))$ della risposta $L(p)$ di un LLM target dato un prompt avversario $p$, dove $p$ è una variante del prompt originale $p_0$ all'interno di un vicinato fattibile $V(p_0)$:
$$\max_{p} S(L(p)), \quad \text{s.t. } p \in V(p_0)$$
Qui, $S(\cdot)$ è un modello di scoring (ad es., un classificatore di sicurezza o un modello judge) che stima la probabilità che una risposta sia non sicura.

Strategia di Decomposizione

Poiché $S(L(p))$ non è differenziabile rispetto al prompt discreto $p$, NTA decompone il problema in due sottobiettivi differenziabili e alternati:

1. Ottimizzazione della Risposta (Ricerca del Target):
   Il metodo cerca prima una rappresentazione ottimale di una "risposta dannosa" $r$ nello spazio continuo dei logit del modello di scoring $S$. Questo è formulato come la massimizzazione dello score di non sicurezza mantenendo la rilevanza semantica rispetto al prompt originale.
   $$\min_{z^J_r} \mathcal{L}_{unsafe}(z^J_r) + \lambda \mathcal{L}_{sem}(z^J_{L(p)}, z^J_r)$$
   Dove $\mathcal{L}_{unsafe}$ minimizza la log-likelihood negativa della risposta come sicura, e $\mathcal{L}_{sem}$ penalizza la deviazione semantica dall'attuale output del modello per garantire che il target rimanga raggiungibile.

2. Ottimizzazione del Prompt (Induzione del Target):
   Una volta identificata una rappresentazione ottimale della risposta $r$, il metodo cerca un suffisso avversario $\delta$ che costringa l'LLM target a generare una risposta corrispondente a $r$. Ciò si ottiene minimizzando l'Errore Quadratico Medio (MSE) tra i logit dell'output dell'LLM target e i logit della risposta ottimizzata.
   $$\delta^* = \arg \min_{\delta} \text{MSE}(z^L_{L(p_0 \oplus \delta)}, z^L_r)$$

Componenti Tecnici Chiave

• Matrice di Proiezione del Vocabolario: Per colmare il divario tra il modello di scoring (Judge) e l'LLM target, che possono utilizzare tokenizer differenti, NTA costruisce una matrice di proiezione $W$. Questa mappa gli incrementi avversari dallo spazio del vocabolario del modello di scoring allo spazio del vocabolario dell'LLM target, gestendo la divisione e l'unione dei token (ad es., mappando un singolo token del judge in più sub-token del target).
• Ottimizzazione Alternata Iterativa: L'algoritmo alterna l'ottimizzazione della rappresentazione della risposta nello spazio del modello di scoring e l'aggiornamento del suffisso avversario nello spazio dell'LLM target.
• Validazione Teorica: Gli autori forniscono una proposizione che dimostra come, sotto rilassamento continuo (trattando i token come vettori di probabilità), la soluzione sequenziale dei sottobiettivi approssimi la soluzione ottimale dell'originale obiettivo non differenziabile.

3. Contributi Chiave

• Obiettivo Novellare: NTA è il primo attacco basato sul gradiente a rimuovere il vincolo dei target testuali fissi, ottimizzando invece direttamente la probabilità di comportamento non sicuro.
• Spazio di Ricerca Espanso: Decoupling l'attacco da specifici prefissi, NTA esplora uno spazio di risposte dannose significativamente più ampio e diversificato, evitando le trappole degli "ottimi locali" tipiche dei metodi a target fisso.
• Efficienza: La decomposizione in sottobiettivi differenziabili permette una rapida convergenza, raggiungendo alti tassi di successo con significativamente meno iterazioni rispetto ai metodi esistenti.
• Robustezza: Il metodo dimostra una forte trasferibilità tra diverse architetture di modelli e resilienza contro vari meccanismi di difesa (ad es., filtraggio della perplexity, parafrasi).

4. Risultati Sperimentali

Gli autori hanno valutato NTA su cinque LLM open-source allineati alla sicurezza (Llama3-8B, Qwen3-8B, Mistral-7B, Vicuna-7B, DeepSeek-7B) e tre modelli closed-source avanzati (Llama3-70B, DeepSeek-R1-671B, Grok-3) utilizzando i dataset AdvBench e HarmBench.

• Attack Success Rate (ASR): NTA ha raggiunto un ASR medio del 96,8% su AdvBench e del 90,8% su HarmBench in sole 100 iterazioni di ottimizzazione.
• Confronto con lo Stato dell'Arte (SOTA): NTA ha superato i migliori baseline esistenti basati sul gradiente (ad es., COLD-Attack, AdvPrompter) di oltre il 40% in termini di ASR. Ad esempio, su Llama3-8B-it, NTA ha ottenuto un ASR-G del 95% rispetto al 47% del miglior baseline (AdvPrompter).
• Velocità di Convergenza: NTA ha raggiunto un ASR medio del 66,2% entro le prime 25 iterazioni, dimostrando una rapida convergenza rispetto ai baseline che spesso ristagnano o collassano in sequenze degenerate.
• Diversità della Risposta: A differenza degli attacchi a target fisso che producono output ripetitivi e stereotipati, NTA ha generato risposte dannose semanticamente diverse, come dimostrato da punteggi Distinct N-grams (DNS) più elevati e punteggi Self-BLEU più bassi.
• Robustezza della Difesa: NTA ha mantenuto un alto ASR (ad es., 97% sotto la difesa di Perplexity) contro i meccanismi di difesa standard dove altri metodi sono falliti completamente (ad es., GCG è sceso al 5%).
• Trasferibilità: I prompt ottimizzati su modelli white-box più piccoli si sono trasferiti con successo su modelli più grandi e avanzati (ad es., 35% di ASR su Llama3-70B), superando altri metodi di trasferimento.

5. Significato e Rivendicazioni

Il paper sostiene che NTA rappresenti un cambio di paradigma negli attacchi di jailbreak basati sul gradiente, affrontando il disallineamento fondamentale tra gli obiettivi di ottimizzazione e l'obiettivo reale di un attacco (generare contenuti non sicuri rispetto al far corrispondere una stringa).

• Efficienza: Gli autori evidenziano che NTA ottiene risultati superiori con una frazione del budget computazionale richiesto dai metodi esistenti, rendendolo uno strumento più pratico per la valutazione della sicurezza.
• Flessibilità: Rimuovendo i rigidi vincoli lessicali, NTA scopre vulnerabilità che i metodi a target fisso perdono, fornendo una valutazione più completa della sicurezza degli LLM.
• Generalizzabilità: L'efficacia del metodo attraverso diversi modelli e la sua robustezza contro diversi modelli di scoring e difese suggeriscono che identifichi debolezze intrinseche della sicurezza piuttosto che l'overfitting su specifici artefatti del modello.

Gli autori concludono che NTA fornisce un approccio più rigoroso ed efficiente per valutare la sicurezza degli LLM, rivelando che l'affidamento su target predefiniti nella ricerca attuale sottostima significativamente la vulnerabilità dei modelli allineati alla sicurezza.