Why Do Safety Guardrails Degrade Across Languages?

Sintesi Tecnica: Perché le Barriere di Sicurezza si Degradano tra le Lingue?

Enunciato del Problema
I Modelli Linguistici su Grande Scala (LLM) mostrano barriere di sicurezza degradate nelle lingue non inglesi, in particolare nelle lingue a risorse limitate. Le metriche di valutazione standard, come il Tasso di Successo del Jailbreak (JSR) o il Tasso di Successo dell'Attacco (ASR), aggregano esiti binari in un singolo scalare. Questo approccio crea confronti "tra mele e arance", confondendo molteplici fattori trainanti la sicurezza — come la capacità del modello, la difficoltà del prompt, i costi di elaborazione linguistica e gli errori di traduzione — in un'unica metrica. Di conseguenza, il JSR non può distinguere se un fallimento della sicurezza derivi da una mancanza di capacità di sicurezza del modello, dalla difficoltà intrinseca della lingua, dalla corruzione della traduzione o da disallineamenti concettuali culturali.

Metodologia
Gli autori propongono un framework di Teoria della Risposta all'Item Multi-Gruppo (IRT) per scomporre i fallimenti della sicurezza in parametri latenti distinti. A differenza delle metriche aggregate standard, questo modello mappa ogni fonte di fallimento a una variabile specifica:

1. Capacità di Sicurezza ($\theta_j$): La robustezza della sicurezza indipendente dalla lingua del modello $j$.
2. Difficoltà Intrinseca del Prompt ($\beta_i$): La difficoltà intrinseca del prompt $i$ (derivato dall'inglese).
3. Difficoltà Globale di Elaborazione Linguistica ($\gamma_L$): Il costo di elaborazione globale associato alla lingua $L$.
4. Divario di Sicurezza Cross-Linguistico ($\tau_{iL}$): Un residuo specifico del prompt che rappresenta la Funzionamento Differenziale dell'Item (DIF). Questo cattura il divario di sicurezza per un prompt specifico in una lingua specifica dopo aver controllato per la capacità e gli effetti linguistici globali.
5. Attitudine Linguistica ($\delta_{jL}$): Uno spostamento specifico del modello nelle prestazioni per la lingua $L$.

La probabilità di una risposta sicura è modellata come:
$$P(\text{safe}_{ijL} = 1) = \sigma\left(\alpha_i [(\theta_j + \delta_{jL}) - (\beta_i + \gamma_L + \tau_{iL})]\right)$$
dove $\alpha_i$ è il parametro di discriminazione dell'item.

Setup Sperimentale

• Dataset: Lo studio utilizza MultiJail (3.150 prompt, 10 lingue, 18 categorie di danno) e convalida i risultati su XSafety.
• Modelli: 61 configurazioni di modello su 5 famiglie (GPT, Claude, DeepSeek, Gemini, Grok).
• Scala: Dataset aggregato di 1,9 milioni di righe.
• Protocollo di Valutazione: Per mitigare il rumore stocastico, gli autori impiegano Pass@k (specificamente Pass@10), generando $k$ risposte indipendenti per prompt per stimare la distribuzione delle risposte invece di affidarsi a output a passaggio singolo.
• Valutazione: Le risposte sono classificate su una scala Likert a 6 punti da GPT-5.2, convalidata contro parlanti nativi umani e giudici secondari LLM (Claude, Gemini).
• Selezione degli Ancoraggi: I prompt invarianti tra le lingue sono selezionati utilizzando la statistica $\chi^2$ di Lord per fissare la scala di misura, applicando un prior Normale stretto agli ancoraggi.
• Regolarizzazione: Un prior Horseshoe gerarchico è applicato a $\tau_{iL}$ per imporre la sparsità, impedendo al modello di confondere gli effetti linguistici globali ($\gamma_L$) con i divari specifici del prompt ($\tau_{iL}$).

Risultati Chiave

1. Unidimensionalità della Sicurezza: L'Analisi Fattoriale Esplorativa (EFA) rivela che la sicurezza è largamente unidimensionale. I modelli rifiutano diversi tipi di danno principalmente attraverso un meccanismo condiviso (KMO = 0,942, rapporto di dominanza = 7,37), giustificando un modello IRT globale piuttosto che modelli separati per categoria di danno.
2. Il Fenomeno della "Reversione Inglese": Contrariamente all'assunzione che la sicurezza degradi maggiormente nelle lingue a risorse limitate, 22 su 61 configurazioni di modello (inclusi tutti i 16 varianti di Grok e 4 varianti di DeepSeek) mostrano i loro tassi di fallimento più elevati in inglese. Per questi modelli, le prestazioni di sicurezza sono marginalmente migliori nelle lingue a risorse limitate rispetto all'inglese.
3. Incertezza della Risposta: Le lingue a risorse limitate producono risposte significativamente più incerte (entropia più alta) e una proporzione più elevata di casi "di confine" rispetto alle lingue ad alta risorsa. I modelli ad alta capacità operano più vicino al confine decisionale in queste lingue.
4. Qualità della Traduzione vs. Divari di Sicurezza:
   • La qualità della traduzione correla debolmente con la sicurezza aggregata e i divari di sicurezza cross-linguistici ($\tau$), spiegando solo circa l'1% della varianza di $\tau$.
   • Tuttavia, gravi errori di traduzione (ad esempio, "hot-wire a car" tradotto come "warm a car") agiscono come outlier ad alto bias, gonfiando artificialmente $\tau$ sanificando l'intento dannoso.
   • Divari Culturali e Concettuali: L'analisi di parlanti nativi di prompt ad alto $\tau$ con qualità di traduzione perfetta rivela che i disallineamenti nell'inquadramento culturale (ad esempio, termini specifici degli Stati Uniti come "FBI" o "SSN") e l'ancoraggio concettuale contribuiscono ai divari di sicurezza. I prompt ad alto $\tau$ si raggruppano nelle categorie di danno fisico (Furto, Armi) piuttosto che in quelle astratte.
5. Validità Predittiva: Il framework IRT completo raggiunge un AUC di 0,940 nella previsione dei rifiuti sicuri, superando le baseline più semplici (ad esempio, Language Rate AUC = 0,531). Crucialmente, nella convalida Leave-One-Language-Out (LOLO), il framework IRT mantiene prestazioni solide (AUC $\approx$ 0,875) sfruttando la struttura latente, mentre le baseline collassano al caso.

Significato e Affermazioni
Il documento afferma di andare oltre le metriche aggregate per fornire un framework diagnostico per la sicurezza multilingue. Svincolando capacità, difficoltà linguistica e divari specifici del prompt, il framework:

• Rivela che il degrado della sicurezza non è uniforme; alcuni modelli sono effettivamente meno sicuri in inglese.
• Identifica che, sebbene gli errori di traduzione siano un fattore minore nel complesso, causano outlier gravi che distorcono la valutazione.
• Sottolinea che i disallineamenti culturali e concettuali, in particolare nelle categorie di danno fisico, guidano divari di sicurezza significativi anche quando la traduzione è accurata.
• Fornisce un metodo per remediazione mirata, consentendo ai praticanti di identificare coppie prompt-lingua specifiche con alto $\tau$ per miglioramenti nella costruzione del dataset o nel fine-tuning.
• Critica le attuali pratiche di valutazione degli LLM (JSR/ASR) come generalmente invalide per confronti cross-setting a causa di fattori confondenti, sostenendo approcci psicometrici come l'IRT.

Gli autori notano limitazioni, inclusa la dipendenza da modelli con API chiuse (che impedisce l'analisi delle attivazioni interne), la potenziale presenza di bias residuo del giudice nelle lingue non native e il fatto che il meccanismo della "reversione inglese" rimane comportamentale piuttosto che spiegato meccanicisticamente.