Sintesi Tecnica: La Rottura della Sicurezza al Confine dei Token

Definizione del Problema

I moderni Large Language Models (LLM) vengono allineati per la sicurezza utilizzando il Reinforcement Learning from Human Feedback (RLHF) e il Direct Preference Optimization (DPO) per rifiutare richieste dannose. Tuttavia, questi meccanismi di sicurezza vengono sistematicamente aggirati da semplici perturbazioni a livello di carattere (ad esempio, capitalizzazione casuale, leetspeak, rimescolamento dei caratteri) che rimangono leggibili per l'essere umano. Sebbene lavori precedenti abbiano stabilito che tali perturbazioni hanno successo e che la tokenizzazione Byte-Pair Encoding (BPE) è fragile, il meccanismo strutturale specifico che collega le perturbazioni dell'input al fallimento della sicurezza rimaneva non caratterizzato. Questo articolo identifica e testa una causa strutturale centrale: la tokenizzazione BPE frammenta le parole critiche per la sicurezza in sotto-parti (sub-word), e i dati di addestramento per l'allineamento non contengono input intenzionalmente frammentati. Di conseguenza, i modelli comprendono le richieste dannose frammentate ma non riescono a innescare il segnale di rifiuto addestrato sul testo pulito.

Metodologia

Gli autori propongono e validano una catena meccanicistica end-to-end che collega la frammentazione BPE al fallimento comportamentale della sicurezza. Lo studio abbraccia cinque famiglie di modelli (Qwen-3-4B, Qwen-2.5-7B, Gemma-3-4B, Llama-3.1-8B, Mistral-7B) e utilizza i seguenti approcci sperimentali:

1. Ottimizzazione per la Frammentazione: Un algoritmo greedy inserisce spazi nei prompt per massimizzare la riduzione del "gap di logit" (la differenza tra il logit del token di rifiuto più alto e il logit del token di conformità più alto). Questo testa se forzare la frammentazione BPE faccia collassare l'innesco del rifiuto.
2. Patching delle Attivazioni: Per localizzare la interruzione, gli autori decompongono il gap di logit nelle contribuzioni per layer e utilizzano il patching delle attivazioni per sostituire le attivazioni del residual stream frammentate con quelle pulite, misurando il ripristino del segnale di sicurezza.
3. Analisi della Distribuzione di Addestramento: Gli autori hanno scansionato 30.000 esempi attraverso tre dataset di allineamento pubblici (PKU-SafeRLHF, Anthropic HH-RLHF, BeaverTails) alla ricerca di input frammentati (leetspeak, inserimento di spazi, mixed-case).
4. Mutazione Mirata: Sono stati eseguiti attacchi Best-of-N (BoN) mutando esattamente una parola alla volta per isolare se le parole critiche per la sicurezza siano il locus specifico di interruzione rispetto alle parole neutrali.
5. Valutazione della Difesa: Una griglia controllata di 68 celle (55 checkpoint addestrati) ha confrontato le configurazioni SFT e DPO. Lo studio ha introdotto Conv-Benign, un diagnostico accoppiato che misura il tasso di rifiuto del modello su prompt benigni sotto lo stesso probe di frammentazione, per distinguere tra "riparazione selettiva" della sicurezza e "collasso globale" (over-refusal).

Risultati Chiave

1. La Catena Meccanicistica

• Collasso della Frammentazione: L'inserimento di spazi (che garantisce la perturbazione BPE preservando i caratteri) ha fatto collassare il segnale di rifiuto del primo token nell'80–100% dei prompt di HarmBench rifiutati in tutte e cinque le famiglie di modelli.
• Impatto Comportamentale: Dei prompt in cui il segnale di rifiuto è invertito, il 48% ha prodotto output genuinamente dannosi (range per modello: 29–65%). La polarità del gap di logit ha mostrato un ROC-AUC aggregato di 0.84 nel predire il rifiuto comportamentale.
• Localizzazione del Layer: La interruzione si localizza negli ultimi ~30% dei layer. Nei modelli Qwen e Gemma, il segnale di rifiuto è concentrato in pochi layer tardivi (pattern concentrato), mentre in Llama e Mistral è distribuito su molti layer (pattern distribuito). Il patching delle attivazioni ha confermato che la frammentazione interrompe causalmente questi specifici pathway dei layer tardivi.

2. Evidenza di un Gap nella Distribuzione di Addestramento

• Zero Prompt Frammentati: L'indagine su 30.000 esempi di allineamento ha trovato zero prompt intenzionalmente frammentati.
• L'Allineamento Crea il Segnale: I modelli base (non allineati) mostravano solo deboli segnali di rifiuto sugli input frammentati. I modelli instruct (allineati) mostravano segnali forti sugli input puliti, ma questi segnali collassavano quando gli input venivano frammentati. Ciò conferma che l'allineamento crea il meccanismo di rifiuto, ma solo per tokenizzazioni pulite.
• Comprensione vs Rifiuto: I probe di completamento delle parole dimostrano che i modelli possono comprendere parole di sicurezza frammentate (accuratezza 30–60%), provando che il pre-training insegna la comprensione di testi disordinati, mentre l'allineamento fallisce nell'insegnare il rifiuto di essi.
• Parole di Sicurezza come Bottleneck: La mutazione di parole critiche per la sicurezza ha prodotto tassi di successo dell'attacco (ASR) significativamente più alti rispetto alla mutazione di parole neutrali, isolando le parole di sicurezza come locus della interruzione.

3. Limitazioni della Difesa

• Inefficacia di DPO: Nessuna configurazione DPO ha raggiunto una chiusura stabile del seed dell'ASR nelle famiglie testate. Sebbene alcune celle DPO abbiano ridotto l'ASR, i miglioramenti non erano stabili tra i seed o le dimensioni del pool.
• Collasso Globale di SFT: L'SFT addestrato su prompt frammentati ha chiuso l'ASR in 3 delle 5 famiglie (Llama, Mistral, Gemma), ma solo tramite collasso globale. Questi modelli hanno mostrato un calo massiccio del rifiuto sui prompt benigni (Conv-Benign), indicando che hanno imparato a rifiutare tutto piuttosto che riparare selettivamente il gap di sicurezza.
• Diagnostico Conv-Benign: L'introduzione di Conv-Benign ha rivelato che le attuali ricette di allineamento (LoRA-16) non possono riparare selettivamente il gap di frammentazione senza incorrere in un costo in termini di utilità (over-refusal).

Significato e Rivendicazioni

L'articolo sostiene di trasformare i jailbreak a livello di carattere da un'osservazione empirica in una spiegazione meccanicistica falsificabile. Il contributo principale è l'identificazione del fatto che la vulnerabilità non è meramente una mancanza di robustezza, ma un mismatch strutturale: la tokenizzazione BPE frammenta i token critici per la sicurezza, e l'allineamento della sicurezza non è mai stato addestrato su queste rappresentazioni frammentate.

Gli autori sottolineano che:

• Il gap di logit è un diagnostico a livello di trigger, non una condizione sufficiente per il danno, ma è il primo livello di un sistema di sicurezza multi-livello.
• Le attuali ricette di fine-tuning (SFT/DPO) sotto i vincoli testati (LoRA-16) falliscono nel chiudere il gap di distribuzione in modo selettivo; o non riescono a chiuderlo o causano il collasso globale dell'utilità del modello.
• La robustezza della sicurezza probabilmente richiede interventi al livello o sopra il bottleneck BPE (ad esempio, correzioni a livello di token o ragionamento Chain-of-Thought che ricostruisce la semantica prima della decisione di sicurezza), piuttosto che solo più dati di allineamento.

Lo studio conclude che la "distribuzione mancante" (input frammentati nei dati di allineamento) è necessaria ma non sufficiente per la riparazione sotto le attuali ricette, e che i fallimenti di sicurezza osservati sono una diretta conseguenza dell'interazione tra l'architettura di tokenizzazione e la distribuzione dei dati di addestramento.