💬 NLP

Refusal Direction is Universal Across Safety-Aligned Languages

Questo studio dimostra che la direzione di rifiuto nei modelli linguistici di grandi dimensioni è universale e trasversale a 14 lingue, rivelando che un vettore estratto dall'inglese può bypassare con successo i meccanismi di sicurezza in altre lingue senza alcun addestramento aggiuntivo.

Autori originali: Xinpeng Wang, Mingyang Wang, Yihong Liu, Hinrich Schütze, Barbara Plank

Pubblicato 2026-02-26

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Xinpeng Wang, Mingyang Wang, Yihong Liu, Hinrich Schütze, Barbara Plank

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina che i Modelli Linguistici (LLM) siano come dei cuochi super-intelligenti che lavorano in una cucina globale. Il loro compito è preparare piatti (risposte) per clienti di tutto il mondo. Per garantire che non servano "veleni" (risposte pericolose, offensive o illegali), i cuochi hanno un campanello d'allarme interno. Quando un cliente chiede qualcosa di cattivo, il campanello suona e il cuoco dice: "No, non posso farlo".

Questo studio ha scoperto tre cose fondamentali su come funziona questo campanello d'allarme in diverse lingue.

1. Il Campanello è "Universale" (Non cambia lingua)

Fino a poco tempo fa, pensavamo che il campanello d'allarme fosse diverso per ogni lingua, come se ogni cuoco avesse un campanello fatto a mano in modo diverso.

Gli scienziati di questo studio hanno scoperto che il campanello è lo stesso per tutti. È come se, nella mente del cuoco, esistesse una direzione magnetica unica che indica "Pericolo".

L'esperimento: Hanno preso questo "vettore di pericolo" (la direzione magnetica) scoperto in inglese e l'hanno applicato a cuochi che parlavano Yoruba, Tedesco, Cinese, ecc.
Il risultato: Hanno potuto "spegnere" il campanello d'allarme in tutte queste lingue usando solo la direzione inglese! È come se avessero trovato la chiave universale per disattivare l'allarme antincendio in un edificio internazionale, anche se l'allarme era scritto in lingue diverse.

2. La Chiave Funziona in Entrambi i Sensi

Non solo possono spegnere l'allarme, ma possono anche accenderlo a forza.

Se un cuoco sta per dire "Sì" a una richiesta pericolosa, gli scienziati possono aggiungere un po' di questa "direzione di rifiuto" e costringerlo a dire "No".
È come se avessero scoperto che la sicurezza non dipende dalla lingua parlata, ma da un interruttore fisico nascosto nel cervello del modello. Questo interruttore è lo stesso, che tu parli italiano, giapponese o swahili.

3. Il Problema è la "Visione", non l'Interruttore

Qui arriva il punto più interessante e preoccupante. Se l'interruttore è universale e funziona ovunque, perché i modelli sono ancora così facili da ingannare (hackerare) in alcune lingue?

Immagina che il modello abbia due gruppi di clienti:

I Buoni (richieste innocue).
I Cattivi (richieste pericolose).

In inglese, il modello tiene questi due gruppi ben separati in due stanze diverse. Quando arriva un "Cattivo", l'interruttore del campanello è facile da premere perché la stanza dei "Cattivi" è chiaramente distinta.

In molte altre lingue (specialmente quelle meno comuni o con meno dati di addestramento), le due stanze sono mescolate. I "Buoni" e i "Cattivi" si confondono in un unico grande salone.

Anche se l'interruttore del campanello (la direzione di rifiuto) è perfetto e universale, il modello fa fatica a capire chi sta entrando nel salone.
Se un hacker usa una lingua dove i "Buoni" e i "Cattivi" sono confusi, riesce a far passare il "Cattivo" fingendosi un "Buono". Il campanello non suona perché il modello non riesce a vedere la differenza, non perché l'interruttore sia rotto.

In Sintesi: Cosa significa per noi?

La sicurezza è più fragile di quanto pensiamo: Se un hacker trova il modo di disattivare l'interruttore in inglese, può farlo in quasi tutte le altre lingue, anche quelle che sembrano sicure.
Il problema è la confusione: Non basta avere un buon interruttore di sicurezza. Bisogna assicurarsi che il modello sappia distinguere chiaramente tra una richiesta innocua e una pericolosa in tutte le lingue, non solo in inglese.
Il futuro: Per rendere l'IA più sicura, non dobbiamo solo insegnarle a dire "No" in 100 lingue, ma dobbiamo aiutarla a vedere la differenza tra bene e male con la stessa chiarezza in tutte le lingue, proprio come fa in inglese.

L'analogia finale:
È come avere un sistema di sicurezza in un aeroporto internazionale. Hanno scoperto che il metal detector (l'interruttore di rifiuto) funziona allo stesso modo per tutti i passeggeri, indipendentemente dalla loro nazionalità. Tuttavia, in alcuni terminali (le lingue meno addestrate), i passeggeri pericolosi riescono a nascondersi nella folla dei passeggeri innocui perché la telecamera di sorveglianza (la capacità di distinguere) è sfocata. Finché non si chiarisce l'immagine in tutti i terminali, il sistema di sicurezza rimarrà vulnerabile, anche se il metal detector è perfetto.

1. Il Problema

I Large Language Models (LLM) sono sempre più utilizzati in contesti reali, ma rimangono vulnerabili agli attacchi di "jailbreak", dove input ingannevoli bypassano i meccanismi di sicurezza. Sebbene la ricerca abbia dimostrato che il comportamento di rifiuto (la capacità del modello di dire "no" a richieste dannose) è codificato in una specifica direzione nello spazio di attivazione del modello, questi studi sono stati finora limitati quasi esclusivamente alla lingua inglese.
Esiste un vuoto critico nella comprensione di come funzionino questi meccanismi di sicurezza nelle lingue non inglesi. In particolare, non è chiaro se le direzioni di rifiuto siano specifiche per lingua o se esistano rappresentazioni interne universali che permettano di manipolare la sicurezza del modello indipendentemente dalla lingua di input. Questo è un problema di sicurezza urgente, dato che gli attacchi cross-lingua (jailbreak in una lingua che bypassano filtri in un'altra) sono in aumento.

2. Metodologia

Gli autori hanno condotto un'analisi meccanicistica approfondita attraverso i seguenti passaggi:

Dataset PolyRefuse: Hanno creato un nuovo dataset multilingue traducendo prompt dannosi (da ADVBENCH, MALICIOUSINSTRUCT, TDC2023) e benigni (da ALPACA) in 14 lingue diverse (incluso inglese, tedesco, cinese, tailandese, yoruba, ecc.), coprendo diverse famiglie linguistiche e sistemi di scrittura.
Estrazione della Direzione di Rifiuto: Utilizzando il metodo difference-in-means, hanno calcolato i vettori di attivazione media differenziando i contesti di prompt dannosi ( $D_{harmful}$ ) da quelli benigni ( $D_{harmless}$ ) in specifici strati e posizioni dei token. Questo vettore rappresenta la "direzione di rifiuto".
Interventi di Attivazione: Hanno applicato due tipi di manipolazione vettoriale:
1. Ablazione (Rimozione): Rimozione della componente del vettore di rifiuto dallo stream residuo per indurre il modello a non rifiutare (bypassare la sicurezza).
2. Addizione (Rafforzamento): Aggiunta del vettore di rifiuto per forzare il modello a rifiutare anche richieste che altrimenti accetterebbe.
Esperimenti Cross-Lingua:
- Hanno estratto vettori di rifiuto dall'inglese e li hanno applicati per ablati in altre 13 lingue.
- Hanno estratto vettori da tre lingue non inglesi (tedesco, cinese, tailandese) e testato la loro efficacia su tutte le altre lingue.
Analisi Geometrica: Hanno visualizzato le rappresentazioni nascoste (embedding) di prompt dannosi e innocui nello spazio del modello utilizzando PCA (Principal Component Analysis) e calcolato il Silhouette Score per misurare la separazione tra i cluster di dati dannosi e innocui nelle diverse lingue.

3. Contributi Chiave

Il paper offre tre contributi fondamentali alla comprensione della sicurezza degli LLM:

Universalità delle Direzioni di Rifiuto: Dimostra che la direzione di rifiuto è un concetto pragmatico universale. Un vettore estratto dall'inglese può bypassare o rafforzare i rifiuti in altre lingue con efficacia quasi perfetta, senza alcun addestramento aggiuntivo.
Trasferibilità Reciproca: Non solo l'inglese funziona per tutte le lingue, ma i vettori di rifiuto estratti da qualsiasi lingua allineata alla sicurezza (es. tedesco, cinese) sono trasferibili e efficaci su tutte le altre lingue, inclusi l'inglese.
Identificazione della Causa Radice delle Vulnerabilità: Svela che il fallimento della sicurezza multilingua non è dovuto a una mancanza di direzione di rifiuto (che esiste ed è parallela), ma a una scarsa separazione geometrica tra le rappresentazioni di input dannosi e innocui nelle lingue non inglesi.

4. Risultati Principali

Efficacia del Bypass Cross-Lingua: L'ablazione di un vettore di rifiuto estratto dall'inglese ha portato a un aumento drastico del tasso di conformità (compliance) a richieste dannose in tutte le lingue testate. Ad esempio, modelli robusti come gemma-2-9B-it e Qwen2.5-14B-Instruct, che inizialmente rifiutavano le richieste in tedesco o cinese, sono stati completamente jailbreakati dopo l'ablazione del vettore inglese.
Universalità dalle Lingue Non Inglesi: L'ablazione di vettori estratti da tedesco, cinese o tailandese ha avuto lo stesso effetto devastante sulle altre lingue, confermando che la direzione di rifiuto è agnostica rispetto alla lingua.
Il Caso dello Yoruba: Lo Yoruba è stato identificato come una lingua "non allineata alla sicurezza" (safety-misaligned), dove il modello mostra già un alto tasso di conformità prima di qualsiasi intervento. Tuttavia, l'ablazione ha ulteriormente aumentato la conformità, confermando che il meccanismo di rifiuto è presente ma debole o assente in termini di separazione dei dati.
Analisi Geometrica (PCA e Silhouette):
- Le direzioni di rifiuto sono parallele tra le diverse lingue nello spazio di embedding.
- Tuttavia, mentre in inglese i cluster di prompt dannosi e innocui sono ben separati (alto Silhouette Score), nelle lingue non inglesi (specialmente quelle a risorse limitate o non latine) la separazione è molto più debole.
- I prompt jailbreakati si posizionano in una regione intermedia tra i cluster, sfruttando questa ambiguità geometrica per bypassare il rifiuto.

5. Significato e Implicazioni

Questi risultati hanno profonde implicazioni per la sicurezza e l'interpretabilità degli LLM:

Nuova Comprensione delle Vulnerabilità: Le vulnerabilità cross-lingua non derivano da una mancanza di comprensione del concetto di "pericolo" in altre lingue, ma dall'incapacità del modello di separare nettamente le rappresentazioni di "dannoso" e "innocuo" nello spazio latente quando non si parla inglese.
Difese più Robuste: Le strategie di difesa attuali che si basano sull'allineamento solo in inglese sono insufficienti. Per costruire difese multilingue robuste, è necessario migliorare la separazione geometrica delle rappresentazioni nel embedding space per tutte le lingue, non solo l'inglese.
Interpretabilità Meccanicistica: Il lavoro conferma che i comportamenti pragmatici complessi come il rifiuto sono codificati in sottospazi a bassa dimensionalità che sono condivisi e allineati tra le lingue, offrendo una base per futuri studi sull'ingegneria delle rappresentazioni (Representation Engineering) per la sicurezza.

In sintesi, il paper dimostra che la "bussola" per il rifiuto è universale, ma la "mappa" su cui il modello naviga per distinguere il bene dal male è distorta e poco definita nella maggior parte delle lingue non inglesi, rendendo i modelli vulnerabili agli attacchi cross-lingua.