Phonetic Perturbations Reveal Tokenizer-Rooted Safety Gaps in LLMs

Titolo

Perturbazioni Fonetiche che Rivelano Lacune di Sicurezza Radicate nel Tokenizzatore negli LLM

1. Il Problema

I modelli linguistici su larga scala (LLM) allineati alla sicurezza rimangono vulnerabili a fenomeni digitali come il "textese" (linguaggio informale da SMS/chat), che introduce perturbazioni non canoniche nelle parole preservandone la fonetica.

• Il divario di rappresentazione: Durante il pre-addestramento, i modelli sono esposti a input informali e foneticamente instabili (es. errori di ortografia basati sulla pronuncia). Tuttavia, le strategie di allineamento alla sicurezza (RLHF, filtraggio) utilizzano quasi esclusivamente input standardizzati con ortografia canonica.
• La vulnerabilità: Questo crea un "gap" sfruttabile. Gli attaccanti possono manipolare parole sensibili (es. "hate speech") alterandone l'ortografia per preservare il suono ma frammentare i token critici a livello di tokenizzatore, ingannando i meccanismi di sicurezza senza che il modello perda la comprensione del prompt.
• Limiti delle difese attuali: Le tecniche di red-teaming esistenti si basano spesso su ottimizzazioni complesse e input ininterpretabili, offrendo poca intuizione sul perché i filtri falliscono. Inoltre, le difese standard (API di moderazione, filtri basati sulla perplessità) non riescono a rilevare queste perturbazioni fonetiche.

2. Metodologia: CMP-RT

Gli autori introducono CMP-RT (Code-Mixed Phonetic Perturbations for Red-Teaming), un nuovo strumento diagnostico progettato per isolare e studiare questa vulnerabilità a livello di tokenizzatore.

• Processo di generazione (3 step):
  1. Scenario Ipotetico: Conversione dei prompt diretti in scenari ipotetici per aggirare i filtri iniziali.
  2. Code-Mixing (CM): Translitterazione di alcune parole inglesi in un'altra lingua (in questo studio, l'Indiano/Hindi) utilizzando lo script latino, simulando il codice misto digitale.
  3. Perturbazioni Fonetiche (CMP): Modifica manuale delle parole chiave sensibili mantenendo il suono ma alterando l'ortografia (es. "DDOS attack" $\rightarrow$ "dee dee o es atak"). Questo frammenta i token di sicurezza in sottoparole innocue.
• Metriche di Valutazione:
  • AASR (Average Attack Success Rate): Misura la capacità di eludere i filtri di sicurezza.
  • AARR (Average Attack Relevance Rate): Misura quanto la risposta generata sia coerente con l'intento originale del prompt (verificando che il modello abbia compreso la richiesta, non solo che l'abbia aggirata).
• Analisi Meccanicistica:
  • Attribuzione degli Input: Uso di LayerIntegratedGradients per tracciare come i token sensibili contribuiscono alla generazione di risposte sicure o dannose attraverso i livelli del transformer.
  • Sonde Lineari per Livello: Addestramento di classificatori lineari su stati nascosti inglesi per testare la loro capacità di generalizzare su input CMP (zero-shot transfer).
  • Validazione Causale: Intervento sui livelli del modello (congelamento dei primi livelli e ri-addestramento dei successivi) per forzare l'equivalenza dell'output tra input inglesi e CMP, verificando se ciò ripristina la sicurezza.

3. Contributi Chiave

1. Introduzione di CMP-RT: Un probe diagnostico che utilizza perturbazioni fonetiche in input code-mixing per valutare la robustezza dell'allineamento in condizioni realistiche e non canoniche.
2. Identificazione della Causa Radice: Dimostrazione che le perturbazioni fonetiche sfruttano una vulnerabilità a livello di tokenizzatore. Le parole critiche per la sicurezza vengono frammentate in sottoparole "benigne", riducendo i loro punteggi di attribuzione e disattivando i filtri, pur mantenendo l'interpretabilità del prompt.
3. Evidenza di un Gap Strutturale: Identificazione di una profondità critica nei livelli del transformer (attorno al layer 17 in Llama-3-8B) oltre la quale le rappresentazioni di sicurezza divergono tra input canonici e perturbati.
4. Scalabilità e Generalizzazione: Dimostrazione che l'attacco funziona su più modalità (testo e immagine), su modelli SOTA (inclusi Gemini-3-Pro e Nano Banana Pro) e può essere automatizzato tramite Supervised Fine-Tuning (SFT).

4. Risultati Principali

• Efficacia dell'Attacco:
  • CMP-RT ha aumentato significativamente il tasso di successo degli attacchi (AASR) su modelli ben allineati come ChatGPT e Llama-3 (es. da 0.10 a 0.50 per ChatGPT senza jailbreak template).
  • Il modello mantiene un'alta comprensione del prompt (AARR $\approx$ 0.99), confermando che il fallimento della sicurezza non è dovuto a incomprensione, ma a un malfunzionamento dei filtri interni.
• Fallimento delle Difese Standard:
  • L'API di moderazione di OpenAI ha rilevato solo il ~7.4% dei prompt CMP rispetto al ~61% degli input inglesi dannosi.
  • I filtri basati sulla perplessità (PPL) non riescono a distinguere tra input dannosi e benigni in formato CMP.
• Analisi Meccanicistica:
  • Frammentazione dei Token: In input CMP, token come "hate" vengono tokenizzati come "ha" + "et", perdendo il loro peso attributivo nei livelli profondi.
  • Confine Critico: Le sonde mostrano che le rappresentazioni di sicurezza sono allineate fino al layer 17, ma collassano nei livelli successivi (18-32) per gli input CMP.
  • Intervento Causale: Forzando l'equivalenza dell'output tra input inglesi e CMP nei livelli 18-32, il tasso di attacco (AASR) è sceso da 0.46 a 0.22, ripristinando la sicurezza senza ri-addestramento specifico sui rifiuti (refusal training).

5. Significato e Implicazioni

• Vulnerabilità Architetturale: Il lavoro evidenzia che la sicurezza attuale degli LLM è fragile rispetto alla variazione superficiale degli input (ortografia), pur essendo robusta semanticamente. Il problema risiede nella disallineamento tra le distribuzioni di input del pre-addestramento (informali) e quelle dell'allineamento (standardizzate).
• Implicazioni per la Sicurezza: Le difese attuali sono insufficienti perché si basano su pattern di tokenizzazione canonici. È necessario sviluppare meccanismi di sicurezza che siano invarianti rispetto alle perturbazioni fonetiche o che operino a livello semantico profondo piuttosto che superficiale.
• Dual-Use: Sebbene lo studio sia volto a esporre vulnerabilità, le tecniche di analisi dell'attribuzione utilizzate potrebbero teoricamente essere invertite per costruire attacchi mirati su larga scala, sottolineando la necessità di una collaborazione tra ricercatori e sviluppatori di modelli.

In sintesi, il paper dimostra che la sicurezza degli LLM non è un problema puramente semantico, ma è intrinsecamente legata alla rappresentazione tokenizzata degli input, creando una "zona cieca" che le perturbazioni fonetiche possono sfruttare sistematicamente.