💻 computer science

Revisiting JBShield: Breaking and Rebuilding Representation-Level Jailbreak Defenses

Questo articolo dimostra che la difesa JBShield contro i jailbreak è vulnerabile a un nuovo attacco adattivo (JB-GCG) sfruttando difetti strutturali nella sua rilevazione basata su concetti, e propone una difesa più robusta di verifica della traiettoria di rappresentazione multistrato (RTV) che raggiunge una rilevazione quasi perfetta sia contro il nuovo attacco che contro successivi attacchi adattivi.

Autori originali: Kemal Derya, Berk Sunar

Pubblicato 2026-05-06

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Kemal Derya, Berk Sunar

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina i Large Language Models (LLM) come robot altamente addestrati e gentili. Li abbiamo insegnati a essere utili, ma anche a dire "No" quando viene chiesto loro di fare qualcosa di pericoloso o cattivo. Questo è chiamato "allineamento". Tuttavia, hacker astuti hanno trovato modi per ingannare questi robot, portandoli a ignorare le loro regole di sicurezza. Questi trucchi sono chiamati "jailbreak".

Questo articolo è la storia di una guardia di sicurezza, di un hacker astuto e di un nuovo sistema di sicurezza più intelligente.

La Vecchia Guardia: JBShield

I ricercatori hanno iniziato esaminando un recente sistema di sicurezza chiamato JBShield. Pensa a JBShield come a un buttafuori di un locale che controlla due documenti specifici prima di far entrare chiunque:

Il documento "Tossico": Questa persona sembra essere cattiva?
Il documento "Jailbreak": Questa persona sembra cercare di introdurre un trucco?

JBShield ha una regola rigida: Devi avere entrambi i documenti per essere segnalato. Se ne hai solo uno, o nessuno, il buttafuori ti fa passare. I creatori di JBShield hanno affermato che era perfetto, bloccando il 100% degli attacchi.

La Svolta dell'Hacker: JB-GCG

Gli autori di questo articolo hanno deciso di verificare se JBShield fosse davvero inattaccabile. Hanno agito come un "white-hat hacker" (qualcuno che rompe le cose per ripararle) con piena conoscenza del funzionamento del buttafuori.

Hanno scoperto un difetto nella logica del buttafuori. Poiché il buttafuori aveva bisogno di entrambi i documenti per suonare l'allarme, l'hacker ha capito che gli bastava nascondere uno solo di essi.

Hanno creato un nuovo attacco chiamato JB-GCG. Immagina una spia che indossa un travestimento che la fa apparire perfettamente innocente (nascondendo il documento "Tossico") ma che porta comunque un'arma segreta (mantenendo attivo il documento "Jailbreak"). Poiché il buttafuori controlla solo entrambi, vede il travestimento innocente e fa entrare la spia.

Il Risultato: L'hacker ha ingannato con successo il robot facendogli fare cose cattive nel 53,4% dei casi, anche se il sistema di sicurezza originale affermava di essere sicuro al 100%. Ciò ha dimostrato che un sistema può apparire forte contro test normali ma crollare quando un nemico intelligente si adatta alle sue regole specifiche.

La Nuova Soluzione: RTV (Lo Scanner "Impronta Digitale")

Gli autori hanno realizzato che, mentre l'hacker era bravo a ingannare i due controlli specifici del buttafuori, aveva lasciato una traccia di un tipo diverso.

Quando una persona normale fa una domanda, il cervello del robot si illumina in un modello coerente e prevedibile dall'alto in basso. Quando un hacker cerca di ingannare il robot, deve forzare il cervello del robot ad agire diversamente all'inizio (per nascondere il documento "Tossico"), ma l'elaborazione interna del robot spesso rovina questo tentativo alla fine, rendendo il modello strano e incoerente.

Gli autori hanno costruito una nuova difesa chiamata RTV (Representation Trajectory Verification).

L'Analogia:

JBShield era come controllare il viso e le scarpe di una persona all'ingresso. Se il viso sembra buono, la fai entrare.
RTV è come una telecamera di sicurezza che osserva la persona attraversare l'intero corridoio. Non guarda solo il viso o le scarpe; verifica se la sua andatura (il modo in cui cammina) è coerente dall'inizio alla fine del corridoio.

Una persona normale cammina fluidamente. Un hacker che cerca di infiltrarsi deve zoppicare all'inizio per nascondere la sua identità, ma la sua zoppia peggiora o cambia mentre cammina più avanti nel corridoio. RTV individua questa "zoppia" (l'incoerenza) e li cattura.

Come funziona:

Esamina l'attività cerebrale del robot a tre livelli diversi (come guardare il corridoio all'inizio, a metà e alla fine).
Verifica se il segnale di "rifiuto" (l'istinto del robot di dire "No") è coerente attraverso tutti questi livelli.
Utilizza uno strumento matematico chiamato distanza di Mahalanobis (pensa a essa come a un "misuratore di stranezza") per vedere se il modello corrisponde a una persona normale o a un hacker.

Il Risultato:

Contro il nuovo trucco dell'hacker (JB-GCG), RTV ha intercettato il 100% dei tentativi.
Non ha avuto bisogno di vedere hack precedenti per imparare; gli bastava sapere com'era il "normale".

Lo Scontro Finale: L'Hacker Può Sconfiggere il Nuovo Sistema?

Gli autori non si sono fermati qui. Hanno provato a rompere il loro stesso nuovo sistema (RTV) con un attacco ancora più intelligente e potente. Hanno dato all'hacker piena conoscenza della nuova telecamera di sicurezza e del "misuratore di stranezza".

L'Esito:

L'hacker poteva ancora rompere il sistema, ma era incredibilmente difficile.
Il tasso di successo dell'hacker è sceso dal 53% a solo il 7%.
Per raggiungere questo minimo successo, l'hacker ha dovuto spendere 13 volte più potenza di calcolo (energia e tempo) rispetto a prima.

Perché l'hacker ha fallito?
Gli autori spiegano che il nuovo sistema crea una "tensione" o un "dilemma" per l'hacker. Per nascondere la propria identità, l'hacker deve far sembrare il cervello del robot "normale" all'inizio. Ma per ingannare il robot facendogli fare cose cattive, l'hacker deve far sembrare il cervello "anormale" più tardi. L'hacker non può fare entrambe le cose contemporaneamente. È come cercare di camminare in avanti mentre si cammina contemporaneamente indietro; ci si blocca semplicemente.

Riepilogo

Vecchia Difesa (JBShield): Controllava due cose specifiche. Gli hacker hanno trovato una falla nascondendo solo una di esse.
L'Attacco (JB-GCG): Ha sfruttato la falla, rompendo la difesa nel 53% dei casi.
Nuova Difesa (RTV): Controlla la coerenza del "processo di pensiero" del robot attraverso l'intero sistema, non solo in un punto.
Verdetto Finale: La nuova difesa è molto più forte. Cattura l'hacker quasi ogni volta, e romperla richiede così tanto sforzo da diventare impraticabile per la maggior parte degli attaccanti.

L'articolo conclude che controllare la sicurezza di un robot in un solo punto del suo processo di pensiero non è sufficiente. Bisogna osservare l'intero viaggio per catturare gli ingannatori.

Riepilogo Tecnico: Ripensare JBShield: Sfruttamento e Ricostruzione delle Difese di Jailbreak a Livello di Rappresentazione

1. Enunciato del Problema

I Modelli Linguistici di Grande Dimensione (LLM) allineati tramite affinamento per la sicurezza (ad esempio, RLHF) rimangono vulnerabili agli attacchi di jailbreak, in particolare a quelli adattivi in cui gli avversari prendono di mira esplicitamente i meccanismi di difesa. Sebbene esistano difese esterne, molte soffrono di limitazioni strutturali:

Difese a livello superficiale (ad esempio, modelli di guardia, filtraggio degli input) falliscono contro suffissi avversari semanticamente privi di significato ma efficaci dal punto di vista comportamentale.
Difese a livello di rappresentazione spesso collassano il calcolo multistrato del modello in un singolo punto decisionale (ad esempio, un singolo strato, una singola direzione concettuale o un punteggio scalare), rendendole suscettibili a ottimizzazioni mirate.

Il documento si concentra su JBShield, una recente difesa a livello di rappresentazione che rivendica un tasso di successo dell'attacco (ASR) dello 0% contro gli attacchi Greedy Coordinate Gradient (GCG). JBShield opera rilevando due segnali concettuali – un "concetto tossico" e un "concetto di jailbreak" – a un singolo strato congelato. Segnala un prompt solo se entrambi i punteggi concettuali superano le rispettive soglie (logica di porta AND). Gli autori ipotizzano che questa struttura sia vulnerabile ad attacchi adattivi che possono manipolare gli stati nascosti del modello per eludere un concetto mantenendo l'altro.

2. Metodologia

2.1 Attacco Adattivo: JB-GCG

Gli autori progettano JB-GCG, un attacco adattivo che modifica l'obiettivo GCG standard per sopprimere simultaneamente il comportamento di rifiuto del modello ed eludere il rilevamento di JBShield.

Meccanismo: L'attacco ottimizza un suffisso avversario $x$ $x$ aggiunto a una query dannosa. La funzione obiettivo combina due termini:
1. Soppressione della direzione di rifiuto: Minimizzazione della similarità coseno tra lo stato nascosto e la direzione di rifiuto (derivata dalla differenza delle medie tra prompt dannosi e innocui).
2. Regolarizzazione del concetto tossico: Penalizzazione dell'allineamento con la direzione del concetto tossico di JBShield.
Strategia: L'attacco sfrutta la struttura a porta AND di JBShield. Guida il punteggio del concetto tossico al di sotto della soglia di rilevamento lasciando intenzionalmente attivo il punteggio del concetto di jailbreak. Poiché JBShield richiede che entrambi siano alti per attivare un segnale, sopprimerne uno è sufficiente per l'evasione.
Ottimizzazione: L'attacco utilizza un setting white-box con accesso completo ai pesi del modello, alle attivazioni e ai parametri di calibrazione della difesa (direzioni concettuali, soglie).

2.2 Nuova Difesa: Verifica della Traiettoria di Rappresentazione (RTV)

Motivati dall'osservazione che JB-GCG crea una firma distintiva e incoerente attraverso gli strati, gli autori propongono RTV.

Costruzione dell'Impronta Digitale: Invece di ispezionare un singolo strato, RTV costruisce un'impronta digitale a 15 dimensioni calcolando la similarità coseno tra lo stato nascosto e la direzione di rifiuto attraverso 3 strati (18, 25, 32) e 5 posizioni di token (gli ultimi 5 token).
Logica di Rilevamento: RTV tratta l'impronta digitale come un vettore di caratteristiche e applica la distanza di Mahalanobis per rilevare gli outlier. Calcola la distanza dell'impronta digitale di un prompt di test rispetto alle distribuzioni degli insiemi di calibrazione innocui e dannosi. Un prompt viene segnalato se la sua distanza minima da uno dei due cluster supera una soglia.
Calibrazione: RTV richiede solo prompt innocui e dannosi per la calibrazione; non richiede esempi di jailbreak.

3. Contributi Chiave

Analisi della Vulnerabilità Strutturale: Il documento dimostra che la porta AND di JBShield e l'estrazione di concetti a singolo strato creano una vulnerabilità strutturale. Un attaccante adattivo può aggirare la difesa sopprimendo selettivamente il concetto tossico mentre lascia attivo il concetto di jailbreak.
Attacco JB-GCG: Introduzione di un attacco adattivo che raggiunge fino al 53,4% di ASR contro JBShield-D e il 30,7% di ASR contro la pipeline completa JBShield-M su Llama-3-8B, in contesti in cui JBShield aveva precedentemente riportato lo 0% di ASR. L'attacco rimane efficace attraverso diverse dimensioni di calibrazione ( $N=10$ a $50$).
Caratterizzazione della Firma Multistrato: Gli autori identificano che i jailbreak di successo occupano una "zona distintiva" nello spazio delle impronte digitali della direzione di rifiuto (allineamento vicino allo zero allo strato di attacco, che si amplifica verso un allineamento dannoso negli strati più profondi) assente sia nei prompt innocui che in quelli dannosi.
Difesa RTV: Proposta di una difesa basata sulla verifica della traiettoria multistrato e sul rilevamento degli outlier di Mahalanobis. RTV raggiunge un AUROC di 0,99 contro JB-GCG senza richiedere esempi di jailbreak per la calibrazione.
Valutazione della Robustezza: Valutazione di RTV sotto un forte modello di minaccia adattivo white-box. Anche con piena conoscenza della difesa, il miglior attacco adattivo raggiunge solo il 7% di ASR a un costo computazionale 13× superiore, dimostrando che la difesa impone una tensione fondamentale tra la soppressione del rifiuto e l'imitazione delle impronte digitali innocue.

4. Risultati Sperimentali

4.1 Prestazioni dell'Attacco (JB-GCG vs JBShield)

Contro JBShield-D: JB-GCG ha raggiunto un ASR medio del 46,2% su cinque configurazioni su Llama-3-8B, toccando il 53,4% nel setting più forte.
Contro JBShield-M: L'attacco è rimasto efficace contro il componente di mitigazione, raggiungendo fino al 30,7% di ASR.
Meccanismo: In tutti i casi di successo, il punteggio del concetto tossico è stato soppresso al di sotto della soglia (0% di rilevamento), mentre il concetto di jailbreak è rimasto attivo (100% di rilevamento), confermando lo sfruttamento della logica a porta AND.
Sensibilità alla Calibrazione: L'attacco è persistito attraverso ricalibrazioni con dimensioni variabili dell'insieme di calibrazione ( $N=10$ a $50$), confermando che la vulnerabilità è strutturale e non specifica della calibrazione.

4.2 Prestazioni della Difesa (RTV)

Contro JB-GCG: RTV ha rilevato il 100% dei 164 prompt avversari JB-GCG (ASR 0,0%) a un tasso di falsi positivi (FPR) del 5%, con un AUROC di 0,9946.
Generalizzazione: RTV è stato testato contro nove attacchi di jailbreak standard (ad esempio, GCG, PAIR, AutoDAN). Ha raggiunto un rilevamento perfetto o quasi perfetto su cinque attacchi e ha eguagliato o superato JBShield-D nella maggior parte dei casi. Ha faticato con PAIR (58% di rilevamento), che genera prompt naturalistici vicini alla distribuzione innocua, un limite condiviso anche da JBShield.
Robustezza Adattiva: Sotto un attacco adattivo white-box completo (ML-GCG) mirato a RTV:
- Il miglior attacco ha raggiunto solo il 7,0% di ASR.
- Ciò ha richiesto un costo computazionale 13× superiore (media di 514,5 iterazioni contro 39,6 per la baseline).
- L'attacco non è riuscito a trovare soluzioni per la maggior parte dei prompt perché gli obiettivi di "sopprimere il rifiuto" (necessario per il jailbreak) e "corrispondere all'impronta digitale innocua" (necessario per l'evasione) sono fondamentalmente in conflitto.

5. Significato e Affermazioni

Il documento sostiene che una rilevazione non adattiva forte non implica robustezza sotto modelli di minaccia adattivi. Il significato principale risiede nello spostamento del paradigma della difesa a livello di rappresentazione dall'ispezione a singolo strato e singolo concetto alla coerenza della rappresentazione multistrato.

Difesa Strutturale: Gli autori affermano che la robustezza di RTV deriva dalla "tensione dell'impronta digitale" – l'impossibilità per un attaccante di sopprimere simultaneamente la direzione di rifiuto (per effettuare il jailbreak) e mantenere l'allineamento positivo caratteristico degli input innocui attraverso più strati.
Limitazioni: Gli autori riconoscono modestamente che:
- Gli esperimenti sono limitati a Llama-3-8B; la generalizzazione ad altre architetture richiede una ricalibrazione.
- Gli attacchi naturalistici come PAIR rimangono una sfida per i rilevatori a livello di rappresentazione.
- Rimane un ASR adattivo non nullo (7%), suggerendo che, sebbene la difesa sia robusta, non è perfetta.
- La difesa si basa su una calibrazione statica e potrebbe richiedere aggiornamenti periodici per i cambiamenti di distribuzione.

Il documento conclude che la coerenza della rappresentazione multistrato offre una base più affidabile per il rilevamento dei jailbreak rispetto alla similarità dei concetti a singolo strato, a condizione che la difesa sia valutata contro avversari adattivi.