Sintesi Tecnica: Rilevamento dei Jailbreak dalla Dinamica dell'Entropia nei Livelli Intermedi

1. Definizione del Problema

Gli attacchi di tipo "jailbreak" sfruttano i Large Language Models (LLM) per aggirare l'addestramento alla sicurezza, elicitando risposte che violano le policy nonostante gli sforzi di allineamento. Mentre le difese esistenti operano a livello di prompt (filtri), di output (ispezione della risposta) o tramite classificatori supervisionati, la rappresentazione interna dell'intento dannoso rimane scarsamente compresa. Nello specifico, non è chiaro come l'intento avversario sia rappresentato nello spazio latente del modello, come il segnale evolva attraverso le posizioni dei token e in quale profondità all'interno dell'architettura transformer l'informazione sia più distinguibile dagli input benigni.

I metodi attuali che si affidano a statistiche aggregate statiche (ad es. perplexity media o entropia) spesso non riescono a catturare le interazioni sfumate e localizzate tra i token e lo stato interno del modello che caratterizzano i tentativi di jailbreak. Questo articolo postula che il comportamento di jailbreak non sia semplicemente uno spostamento nei livelli generali di incertezza, ma induca dinamiche strutturate nel modo in cui l'entropia predittiva evolve man mano che un prompt si dispiega.

2. Metodologia

Gli autori propongono un framework training-free che analizza le traiettorie dell'entropia predittiva a livello di token all'interno dei livelli intermedi di un LLM congelato (frozen). L'approccio si basa sui seguenti componenti:

2.1 Estrazione dell'Entropia dai Livelli Intermedi (Logit Lens)

Invece di attendere l'output finale, il metodo proietta gli stati nascosti intermedi ($h_t^{(\ell)}$) a specifici livelli $\ell$ direttamente nello spazio del vocabolario utilizzando la matrice di unembedding finale del modello ($W_U$). Questa tecnica "logit lens" genera una distribuzione di probabilità $p^{(\ell)}(\cdot | x_{<t})$ per il token successivo ad ogni passaggio intermedio.
L'entropia di Shannon $H_t^{(\ell)}$ viene quindi calcolata per ogni posizione di token $t$ in questi livelli di sonda, creando una traiettoria di entropia $H^{(\ell)} = (H_1^{(\ell)}, \dots, H_{T-1}^{(\ell)})$.

2.2 Costruzione delle Caratteristiche (Features)

Il framework distingue tra due famiglie di caratteristiche derivate da queste traiettorie:

• Caratteristiche Statiche (Livello): Statistiche aggregate che riassumono l'entità dell'incertezza attraverso il prompt, come media, massimo, deviazione standard e minimo.
• Caratteristiche Dinamiche (Trend): Metriche che catturano l'evoluzione direzionale dell'incertezza attraverso le posizioni dei token. Le caratteristiche chiave includono:
  • $\tau$ di Kendall: Correlazione di rango tra i valori di entropia e le posizioni dei token.
  • $\rho$ di Spearman: Correlazione di Pearson dell'entropia trasformata in rango e le posizioni dei token.
  • Monotonicità: La frazione di coppie di token consecutivi in cui l'entropia si muove in una specifica direzione "dannosa" ($d$), che è determinata empiricamente per ogni modello (ad es., verso il basso per Llama/Qwen, verso l'alto per Gemma).

2.3 Protocollo di Valutazione

Lo studio valuta queste caratteristiche su un modello congelato utilizzando un singolo passaggio in avanti (forward pass). Le prestazioni di rilevamento sono misurate tramite l'AUROC direzionale (Area Under the ROC Curve), calcolata nella naturale direzione dannosa del modello. La valutazione copre tre modelli open-source (Llama-3.1-8B, Qwen3-8B, Gemma-7b) e molteplici benchmark avversari (AdvBench, HarmBench, StrongREJECT) rispetto a dataset benigni (UltraChat, WildJailbreak, JailbreakBench).

3. Contributi Principali

L'articolo apporta tre contributi primari:

1. Analisi Training-Free: Introduce un metodo per rilevare i segnali di jailbreak utilizzando solo le attivazioni dei livelli intermedi senza addestrare classificatori o analizzare gli output generati.
2. Segnale Dinamico vs Statico: Dimostra che il potere discriminante risiede principalmente nelle caratteristiche della traiettoria dinamica (monotonicità, trend basati sul rango) piuttosto che nelle statistiche aggregate statiche dell'entropia.
3. Localizzazione Dipendente dalla Profondità: Identifica che il segnale di jailbreak è concentrato nei livelli intermedi (circa il 50–85% della profondità della rete) e degrada significativamente nel livello finale, suggerendo che l'intento dannoso viene codificato in rappresentazioni semantiche di metà rete prima di essere trasformato dall'elaborazione specifica dell'output.

4. Risultati Empirici

4.1 Le Caratteristiche Dinamiche Superano le Aggregazioni Statiche

In tutti i modelli, le caratteristiche di trend dinamico hanno separato costantemente i prompt di jailbreak da quelli benigni, mentre le caratteristiche statiche (media, entropia massima) hanno mostrato un'alta varianza e una scarsa generalizzazione tra i modelli.

• La Monotonicità ha raggiunto l'AUROC medio più alto su Llama (0.941) e Qwen (0.941).
• Il $\tau$ di Kendall e la $\rho$ di Spearman hanno fornito una separazione robusta e coerente tra le architetture (AUROC medio $\approx$ 0.78–0.80) con una varianza cross-modello quasi nulla, indicando che la struttura dell'evoluzione dell'entropia è un segnale trasferibile indipendentemente dalla scala assoluta dell'entropia.

4.2 Concentrazione del Segnale nei Livelli Intermedi

Il segnale discriminante non è uniforme attraverso la profondità.

• Picco Intermedio: Caratteristiche come la monotonicità e il $\tau$ di Kendall hanno raggiunto il picco nei livelli intermedi (ad es., il livello 22 di 32 per Llama, il livello 25 di 36 per Qwen).
• Degradazione nel Livello Finale: Le prestazioni sono scese drasticamente al livello finale. Per Gemma, il $\tau$ di Kendall è sceso da 0.796 nel livello intermedio a 0.458 nel livello finale. Ciò suggerisce che l'ultimo livello sopprime o riorganizza attivamente la struttura avversaria presente nelle rappresentazioni precedenti.
• Contrasto con le Caratteristiche Statiche: Le caratteristiche statiche (come l'entropia media) hanno mostrato la tendenza opposta, spesso performando meglio al livello finale, confermando che catturano proprietà computazionali diverse rispetto ai trend dinamici.

4.3 Generalizzazione e Controlli Avversari

• Consistenza Cross-Model: Le caratteristiche basate sul rango si sono generalizzate bene tra Llama, Qwen e Gemma, nonostante le differenze nelle pipeline di addestramento e nel numero di livelli.
• Controllo Avversario (JailbreakBench Benign): Quando il set benigno consisteva di prompt "JailbreakBench benign" (creati intenzionalmente per mimare la struttura delle richieste dannose senza avere un intento dannoso), l'AUROC è crollato (scendendo a ~0.35). Ciò indica che il segnale rileva la composizione strutturale del prompt piuttosto che la dannosità semantica. Quando gli input benigni somigliano strutturalmente ai jailbreak, le dinamiche interne diventano indistinguibili.

5. Significato e Rivendicazioni

L'articolo sostiene che il comportamento di jailbreak negli LLM allineati si riflette in dinamiche di incertezza strutturate nei livelli intermedi. Nello specifico:

• Interpretabilità: Le scoperte chiariscono dove (livelli intermedi) e come (trend di entropia monotoni) l'intento dannoso viene codificato, offendo una lente diagnostica nelle parti interne del modello.
• Consistenza dell'Architettura: Il segnale è una proprietà emergente delle rappresentazioni di metà rete che persiste attraverso diverse famiglie di modelli (Llama, Qwen, Gemma) senza addestramento aggiuntivo.
• Limitazioni e Ambito: Gli autori inquadrano modestamente questo lavoro come una caratterizzazione diagnostica piuttosto che come un rilevatore finito pronto per il deployment. Riconoscono che il metodo richiede l'accesso white-box alle attivazioni intermedie e che la sua efficacia dipende dalla distribuzione dei prompt benigni. Se i prompt benigni mimano strutturalmente i jailbreak, il segnale degrada. Inoltre, il metodo si affida a proiezioni logit lens, che possono introdurre distorsioni dovute al disallineamento delle rappresentazioni.

In conclusione, lo studio stabilisce che il monitoraggio dell'evoluzione della l'entropia predittiva a livello di token nei livelli intermedi fornisce un segnale robusto e training-free per identificare i pattern strutturali associati ai tentativi di jailbreak, distinti dai livelli di incertezza statica utilizzati nella tradizionale rilevazione basata sulla perplexity.