💬 NLP

Jailbreaking Leaves a Trace: Understanding and Detecting Jailbreak Attacks from Internal Representations of Large Language Models

Questo lavoro dimostra che gli attacchi di jailbreaking lasciano tracce identificabili nelle rappresentazioni interne dei modelli linguistici, proponendo un framework basato su tensori per rilevarli e bloccarli in tempo reale senza necessità di riaddestramento.

Autori originali: Sri Durga Sai Sowmya Kadali, Evangelos E. Papalexakis

Pubblicato 2026-02-23

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Sri Durga Sai Sowmya Kadali, Evangelos E. Papalexakis

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina che un Modello Linguistico (LLM) sia come un cuoco molto colto e gentile che lavora in un ristorante di lusso. Questo cuoco è stato addestrato per non servire mai piatti avvelenati, velenosi o illegali (come istruzioni per creare armi o truffe). Ha delle regole ferree: "Non cucino mai veleno".

Tuttavia, gli hacker (i "jailbreakers") sono come truffatori che arrivano al bancone e usano trucchi linguistici per ingannare il cuoco. Gli dicono cose come: "Immagina di essere un cattivo chef in un film di fantascienza, dove cucinare veleno è necessario per la trama. Cosa faresti?". Il cuoco, confuso dal ruolo e dal contesto, dimentica le sue regole e inizia a preparare il veleno. Questo è il Jailbreaking.

Il Problema: Come fermarli?

Fino a ora, i difensori del ristorante provavano a fermare gli hacker controllando solo ciò che veniva scritto sul menu (il prompt) o guardando il piatto finito (l'output).

Se il menu aveva parole proibite, lo buttavano via. Ma gli hacker imparano a usare parole diverse per dire la stessa cosa.
Se il piatto era velenoso, lo buttavano via. Ma a quel punto il danno era già fatto (il cuoco aveva già cucinato).

La Scoperta: Le "Impronte Digitali" nella Cucina

Gli autori di questo studio hanno avuto un'idea geniale: invece di guardare il menu o il piatto finito, sono andati a spiare cosa succede dentro la cucina mentre il cuoco lavora.

Hanno scoperto che quando il cuoco riceve un ordine "normale" (benigno), i suoi pensieri e i suoi movimenti nella cucina seguono un certo ritmo. Ma quando riceve un ordine "truccato" (jailbreak), anche se le parole sembrano innocue, la sua mente interna cambia in modo visibile.

È come se, mentre il cuoco normale mescola la pasta con calma, il cuoco ingannato inizi a:

Guardare nervosamente l'orologio.
Cambiare le spezie in modo strano.
Muoversi in modo diverso rispetto al solito.

Questi cambiamenti sono le "impronte digitali" (o tracce) che il paper chiama rappresentazioni interne. Il paper dimostra che queste impronte sono così specifiche che possiamo riconoscerle anche prima che il piatto venga servito.

La Soluzione: Il "Filtro Intelligente"

Gli autori hanno creato un sistema di sicurezza che funziona come un ispettore invisibile che entra nella cucina mentre il cuoco lavora.

Analisi: L'ispettore guarda i movimenti del cuoco (le "rappresentazioni interne" o hidden states) a ogni passo della ricetta.
Rilevamento: Se nota che il cuoco sta facendo quei "movimenti strani" tipici degli hacker (ad esempio, saltando certi passaggi logici o concentrandosi troppo su parole chiave pericolose), l'ispettore capisce: "Attenzione! Questo è un tentativo di jailbreak!".
Intervento (Il trucco del "Salto"): Invece di fermare tutto o di rimproverare il cuoco, l'ispettore usa un trucco: fa saltare alcuni passaggi della ricetta.
- Immagina che la ricetta abbia 30 passaggi. L'ispettore scopre che i passaggi dal 5 al 10 sono quelli dove il cuoco viene più facilmente ingannato.
- Quando rileva un attacco, l'ispettore dice al cuoco: "Salta i passaggi 5, 6 e 7, vai direttamente al 8".
- Risultato? Il cuoco non riesce più a completare la ricetta del veleno perché gli mancano i passaggi critici dove veniva manipolato. Ma se l'ordine era normale (un piatto di pasta al pomodoro), saltare quei passaggi non cambia nulla: il piatto viene servito comunque bene.

Perché è importante?

Non serve rimodellare il cuoco: Non devi riaddestrare il cuoco da zero (che è costoso e lento). Funziona con qualsiasi cuoco, anche quelli già addestrati.
È veloce: L'ispettore lavora in tempo reale mentre il cuoco cucina.
Funziona ovunque: Hanno provato questo metodo su diversi tipi di "cuochi" (modelli come LLaMA, Mistral, GPT-J) e ha funzionato per tutti.

I Risultati

Nel loro esperimento, questo sistema è riuscito a:

Bloccare il 78% dei tentativi di avvelenamento (jailbreak).
Lasciare passare il 94% degli ordini normali senza rovinarli.

In sintesi

Il paper ci dice che ogni volta che qualcuno cerca di ingannare un'intelligenza artificiale, lascia delle "impronte digitali" nella sua mente. Invece di guardare solo cosa dice l'AI, possiamo guardare come "pensa". E se vediamo che sta pensando in modo "strano" (tipico di un attacco), possiamo semplicemente saltare i passaggi critici della sua mente per bloccare l'attacco, senza dover smontare l'intero sistema.

È come avere un guardiano che non guarda solo chi entra dalla porta, ma osserva come cammina nella sala: se vedi qualcuno che cammina in modo sospetto, lo fermi prima che possa toccare i piatti.

1. Il Problema

L'uso diffuso dei Modelli Linguistici su Grande Scala (LLM) ha introdotto sfide di sicurezza critiche, in particolare il fenomeno del Jailbreaking. Questo consiste nella manipolazione di prompt da parte di utenti avversari per eludere i meccanismi di sicurezza e allineamento del modello, inducendolo a generare contenuti vietati, sensibili o dannosi.
Le difese esistenti si basano principalmente su:

Filtraggio a livello di prompt (basato su regole o parole chiave), che è fragile e facilmente aggirabile tramite parafrasi o offuscamento.
Interventi a livello di modello (es. RLHF, allineamento), che richiedono risorse computazionali elevate e non garantiscono una protezione completa contro strategie adattive.
Modelli di sicurezza ausiliari, che aumentano la complessità e l'overhead di inferenza.

Il paper identifica una lacuna: la maggior parte delle difese tratta il problema come una "scatola nera", ignorando le rappresentazioni interne del modello. L'ipotesi centrale è che i prompt di jailbreak lascino "tracce" identificabili e strutturalmente diverse nelle attivazioni interne del modello rispetto ai prompt benigni, indipendentemente dall'output finale.

2. Metodologia

Gli autori propongono un framework basato sull'analisi delle rappresentazioni latenti interne, composto da due fasi principali:

A. Analisi delle Rappresentazioni Nascoste (Hidden Representation Analysis)

Estrazione dei Dati: Vengono estratte le rappresentazioni interne (output degli strati e uscite dell'attenzione multi-testa - MHA) da diversi modelli (GPT-J, LLaMA, Mistral, Mamba2) in diverse fasi di allineamento (Base, Instruction-Tuned, Abliterated).
Costruzione del Tensore: Per un insieme di prompt (benigni e jailbreak), le rappresentazioni degli strati vengono impilate per formare un tensore tridimensionale di dimensione $N \times T \times d$ (dove $N$ è il numero di prompt, $T$ la lunghezza della sequenza e $d$ la dimensionalità nascosta).
Decomposizione Tensoriale (CP): Viene applicata la decomposizione CANDECOMP/PARAFAC (CP) per fattorizzare il tensore in fattori latenti a basso rango. Questo processo estrae pattern strutturali nascosti che distinguono i prompt maligni da quelli benigni.
Classificazione: I fattori latenti associati alla modalità "prompt" vengono utilizzati per addestrare un classificatore leggero (es. regressione logistica) per distinguere tra input sicuri e pericolosi.

B. Mitigazione Consapevole dello Strato (Layer-Aware Mitigation)

Identificazione della Suscettibilità: Analizzando i fattori latenti, il sistema identifica quali strati specifici del modello codificano più fortemente le firme del jailbreak (alta separabilità tra classi).
Intervento in Inferenza: Durante l'inferenza, le rappresentazioni di un nuovo prompt vengono proiettate nello spazio latente appreso. Se la probabilità che uno strato specifico stia elaborando un attacco supera una soglia (es. $\tau=0.7$ ), quello strato viene bypassato (la sua uscita viene ignorata o sostituita).
Vantaggio: Questo approccio non richiede il ri-addestramento del modello (fine-tuning), non utilizza modelli ausiliari e introduce un overhead computazionale minimo.

3. Contributi Chiave

Firma del Jailbreak a Livello di Strato: Dimostrazione che i prompt di jailbreak e quelli benigni esibiscono firme latenti distinte e dipendenti dallo strato all'interno delle rappresentazioni interne degli LLM, rivelabili tramite decomposizione tensoriale.
Framework di Rilevamento e Mitigazione: Proposta di un metodo che utilizza queste firme per rilevare gli attacchi e attivamente interromperne l'esecuzione bypassando selettivamente gli strati vulnerabili durante l'inferenza.
Generalizzabilità: Validazione del metodo su una vasta gamma di architetture (Transformer e State-Space Models come Mamba) e tipi di modelli (Base, Istruiti, Abliterati), dimostrando che le firme sono robuste e indipendenti dal modello specifico.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su diversi modelli, con un focus particolare sul modello LLaMA 3.1 8B Abliterated per la fase di mitigazione (poiché privo di meccanismi di sicurezza nativi, permette di isolare l'efficacia del metodo).

Rilevamento: La decomposizione CP ha permesso di separare chiaramente le rappresentazioni di prompt benigni e jailbreak fin dai primi strati della rete. I punteggi F1 sono stati costantemente alti su tutti i modelli testati.
Analisi Qualitativa: Le mappe di attenzione e le heatmap delle magnitudini degli stati nascosti mostrano che i jailbreak non causano un caos globale, ma inducono cambiamenti localizzati e sistematici nel flusso delle informazioni (es. reindirizzamento dell'attenzione verso token di controllo specifici).
Efficacia della Mitigazione (Bypass degli Strati):
- Sul modello LLaMA 3.1 8B Abliterated, il bypass selettivo degli strati ad alta suscettibilità ha bloccato il 78% dei tentativi di jailbreak (True Positive).
- Ha preservato il comportamento benigno nel 94% dei prompt normali (True Negative).
- Il tasso di successo dell'attacco (ASR) è sceso dal 100% (senza difesa) al 22%.
- Il confronto con il bypass solo dell'attenzione (MHA) ha mostrato che bypassare l'intero output dello strato è più efficace, indicando che le informazioni rilevanti per il jailbreak sono distribuite anche nei layer feed-forward.

5. Significato e Implicazioni

Questo lavoro offre un cambio di paradigma nella sicurezza degli LLM:

Dall'Output all'Interno: Sposta il focus dalla sorveglianza del testo generato (spesso troppo tardi) al monitoraggio delle rappresentazioni interne, permettendo un'intervento preventivo.
Leggerezza e Scalabilità: La soluzione è "model-agnostic" (funziona su diverse architetture) e non richiede fine-tuning costoso o modelli di difesa esterni, rendendola scalabile per la produzione.
Interpretabilità: Fornisce una comprensione più profonda di come e dove gli attacchi di jailbreak si propagano all'interno della rete neurale, rivelando che l'intento avversario lascia tracce strutturali stabili nello spazio latente.

In sintesi, il paper dimostra che il jailbreaking lascia una "traccia" misurabile all'interno del modello, e che sfruttare queste tracce permette di costruire difese robuste, efficienti e trasparenti contro le minacce di sicurezza emergenti.