Cross-Lingual Jailbreak Detection via Semantic Codebooks

1. Enunciato del Problema

I Large Language Models (LLM) attualmente soffrono di un divario linguistico di sicurezza sistematico. L'allineamento alla sicurezza e i meccanismi di rilevamento dei jailbreak sono prevalentemente centrati sull'inglese. La ricerca indica che tradurre prompt maligni in lingue non inglesi (ad esempio, russo, cinese, arabo) aumenta significativamente i tassi di successo dei jailbreak, poiché i filtri di sicurezza spesso non riescono a trasferire i comportamenti di rifiuto tra le lingue.

Le soluzioni esistenti presentano limitazioni:

• Metodi interni (RLHF, fine-tuning) richiedono l'accesso ai pesi del modello e un addestramento estensivo, rendendoli inadatti alle API black-box.
• Metodi esterni spesso si affidano a filtri basati su regole (facilmente aggirabili mediante riformulazione) o classificatori specifici per l'inglese che perdono efficacia quando applicati a query tradotte.

La domanda di ricerca fondamentale è: È possibile mitigare i tentativi di jailbreak cross-linguistici senza riaddestrare l'LLM target, raccogliere nuovi dati multilingue o eseguire un adattamento specifico per lingua?

2. Metodologia

Gli autori propongono un framework di guardrail esterno senza addestramento basato sulla similarità semantica. Il sistema opera come un pre-filtro per LLM black-box.

A. Architettura Principale

1. Codebook Inglese Fisso: Un insieme statico di 13.811 prompt inglesi unici e verificati come non sicuri (derivati dal dataset jayavibhav/prompt-injection-safety). Questi vengono incorporati in uno spazio vettoriale.
2. Incorporamento Multilingue: Le query utente in arrivo (in qualsiasi lingua) vengono codificate utilizzando un modello di incorporamento di frasi multilingue (principalmente BGE-M3, con confronti con multilingual-e5-large e jina-embeddings-v3).
3. Rilevamento della Similarità: Il sistema calcola la massima similarità coseno tra l'incorporamento della query e gli incorporamenti del codebook inglese fisso.
   • Se $s(x) = \max_{c \in C} (f(x) \cdot c) \geq \tau$, la query viene bloccata.
   • Non viene applicata alcuna pre-elaborazione di traduzione all'input; il metodo si basa sulla capacità del modello di incorporamento di allineare gli spazi semantici tra le lingue.

B. Configurazione Sperimentale

• Lingue: Inglese (nativo), Russo, Cinese, Arabo.
• Pipeline di Traduzione: Google Translate (commerciale) e M2M100 (open-source) per simulare strategie realistiche di traduzione da parte degli attaccanti.
• LLM Target: Qwen, Llama e GPT-3.5.
• Benchmark: Quattro dataset che vanno da template canonici di jailbreak a contenuti non sicuri eterogenei:
  1. jayavibhav/prompt-injection-safety (Canonico)
  2. xTRam1/safe-guard-prompt-injection (Canonico)
  3. JailbreakBench/JBB-Behaviors (Diverso/Eterogeneo)
  4. nvidia/Aegis-AI-Content-Safety-Dataset-2.0 (Diverso/Eterogeneo)
• Vincoli: La valutazione si concentra pesantemente sul regime a basso FPR (False Positive Rate $\leq 1\%$), che è critico per i sistemi di sicurezza in produzione per evitare di bloccare query utente legittime.

3. Contributi Chiave

1. Guardrail Senza Addestramento: Un filtro esterno deployabile che utilizza un codebook inglese fisso per rilevare attacchi cross-linguistici senza riaddestramento del modello.
2. Scoperta di Due Regimi: Il documento identifica una dicotomia critica nelle prestazioni di rilevamento:
   • Regime 1 (Canonico): Su benchmark con jailbreak templati e canonici, il metodo raggiunge una separabilità quasi perfetta (AUC $\approx$ 0,99) e un alto richiamo.
   • Regime 2 (Eterogeneo): Su benchmark con comportamenti non sicuri diversificati e non templati, le prestazioni degradano significativamente (AUC $\approx$ 0,60–0,70) e il richiamo crolla in impostazioni a basso FPR.
3. Analisi della Sensibilità dell'Embedder: Dimostra che, sebbene i punteggi AUC possano apparire simili tra diversi modelli di incorporamento, le loro prestazioni divergono nettamente sotto vincoli operativi rigorosi (basso FPR).
4. Metriche di Mitigazione Pratiche: Fornisce dati end-to-end che mostrano la riduzione del Tasso di Successo dell'Attacco (ASR) su diversi modelli target.

4. Risultati Chiave

A. Separabilità Cross-Linguistica (RQ1)

• Benchmark Canonici (1 e 2): Il codebook inglese si trasferisce efficacemente.
  • Benchmark 2: Ha raggiunto un AUC di 0,993 (Inglese) e ha mantenuto 0,847–0,884 tra le lingue tradotte.
  • Benchmark 1: Ha mantenuto un AUC forte ($\approx$ 0,80) tra le lingue.
• Benchmark Eterogenei (3 e 4): La separabilità è degradata.
  • Benchmark 4: L'AUC è sceso a 0,59–0,63 tra tutte le lingue e gli embedder, indicando che la similarità semantica con un set inglese fisso non riesce a catturare attacchi diversificati e non basati su template.

B. Prestazioni nel Regime a Basso FPR (RQ2)

• Benchmark 2 (Canonico): Con FPR vincolato a $\leq 1\%$, il sistema ha raggiunto un Tasso di Veri Positivi (TPR) del 78,5% – 91,9% tra le lingue utilizzando BGE-M3.
• Benchmark 4 (Eterogeneo): Sotto lo stesso vincolo rigoroso di FPR, il TPR è crollato a cifre singole (3,3% – 6,4%). Questo evidenzia che il filtraggio basato sulla similarità è insufficiente per vettori di attacco complessi e variati quando i falsi positivi devono essere minimizzati.

C. Mitigazione End-to-End (RQ3)

• Attacchi Canonici: Il filtro ha ridotto i jailbreak riusciti del 96,2% (Benchmark 1) e del 50,0% (Benchmark 2).
• Attacchi Eterogenei: L'efficacia della mitigazione è scesa al 43,7% (Benchmark 3) e al 18,6% (Benchmark 4).
• Scelta dell'Embedder: BGE-M3 ha generalmente superato gli altri modelli nel regime a basso FPR, in particolare per input in cinese e arabo, sebbene tutti i modelli abbiano faticato sui dataset più diversificati.

5. Significato e Conclusione

Il documento stabilisce che la similarità semantica con un codebook inglese fisso è una difesa di prima linea vitale e leggera per gli LLM black-box, ma solo sotto condizioni specifiche:

• Punti di forza: È altamente efficace contro jailbreak canonici basati su template (ad esempio, prompt di stile "DAN") tra più lingue senza richiedere riaddestramento. Offre una soluzione scalabile per un deploy immediato.
• Limitazioni: Non riesce a generalizzare a contenuti non sicuri comportamentalmente diversificati e riformulati in modo avversario. La "deriva semantica" causata dalla traduzione e la mancanza di sfumature culturali/linguistiche specifiche nel codebook inglese ne limitano l'utilità come soluzione autonoma per minacce eterogenee.

Direzioni Future: Gli autori suggeriscono che questo approccio dovrebbe far parte di una pipeline di sicurezza multilivello, combinata con segnali ortogonali (ad esempio, analisi della perplessità, rilevamento di pattern sintattici) e aggiornamenti dinamici del codebook per gestire le morfologie degli attacchi in evoluzione.

In sintesi, il lavoro fornisce una base empirica cruciale: Il filtraggio sematico agnostico rispetto alla lingua funziona bene per pattern noti ma è fragile di fronte a cambiamenti nella distribuzione, sottolineando la necessità di strategie di difesa ibride nella sicurezza degli LLM multilingue.