💬 NLP

Multilingual jailbreaking of LLMs using low-resource languages

Questo studio dimostra che, mentre le traduzioni in un singolo turno di prompt dannosi in lingue africane a risorse limitate non riescono a eludere le difese di sicurezza dei modelli linguistici di grandi dimensioni, le conversazioni multi-turno aumentano significativamente i tassi di successo degli jailbreak, con il red-teaming umano e la qualità della traduzione identificati come fattori critici nello sfruttamento di tali vulnerabilità.

Autori originali: Dylan Marx, Marcel Dunaiski

Pubblicato 2026-05-19

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Dylan Marx, Marcel Dunaiski

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina i Large Language Models (LLM) come ChatGPT o Claude come guardie di sicurezza molto gentili e altamente addestrate in un club esclusivo. Il loro compito è mantenere la festa al sicuro rifiutando di far entrare chiunque porti oggetti pericolosi (contenuti dannosi, truffe o cyberattacchi). Per lungo tempo, gli attori malintenzionati hanno cercato di ingannare queste guardie utilizzando tecniche di "jailbreak" — essenzialmente trovando falle nelle regole per introdurre di nascosto le cose cattive.

Questo articolo è come un audit di sicurezza che chiede: "Cosa succede se gli attori malintenzionati smettono di parlare inglese e iniziano a parlare lingue africane che le guardie conoscono molto male?"

Ecco la spiegazione dei loro risultati utilizzando analogie semplici:

1. Il trucco della "Parola Singola" Non Ha Funzionato

In passato, gli attaccanti provavano un trucco semplice: prendere una richiesta dannosa in inglese, tradurla in una lingua a risorse limitate (come l'isiXhosa o l'afrikaans) e inviarla alla guardia.

Il Risultato: Ha smesso di funzionare. Le guardie di sicurezza (i modelli di intelligenza artificiale) sono abbastanza intelligenti da rendersi conto: "Ehi, questa sembra una richiesta pericolosa, anche se è in una lingua in cui non sono fluente".
L'Analogia: È come cercare di introdurre di nascosto un coltello in un club avvolgendolo in un'etichetta in una lingua diversa. La guardia vede ancora la forma del coltello e ti ferma.

2. Il Trucco della "Lunga Conversazione" Funziona Ancora

I ricercatori hanno scoperto che, mentre il trucco della "parola singola" ha fallito, una strategia più complessa ha funzionato molto bene. Invece di chiedere subito la cosa cattiva, l'attaccante inizia una lunga e amichevole conversazione. Costruisce fiducia, fa domande innocue e, lentamente, nel corso di molti scambi, indirizza la conversazione verso l'obiettivo dannoso.

Il Risultato: Questo approccio "multi-turn" è stato molto efficace. In inglese, ha aggirato le guardie dal 53% all'84% delle volte, a seconda del modello di intelligenza artificiale testato.
L'Analogia: Invece di cercare di passare attraverso la porta d'ingresso con un'arma, l'attaccante si siede al bancone, offre un drink alla guardia, racconta una lunga storia e convince lentamente la guardia ad aprire la porta posteriore. La guardia si distrae con la conversazione e dimentica di controllare l'arma.

3. Il Problema del "Traduttore Cattivo"

I ricercatori hanno testato quattro lingue africane: afrikaans, kiswahili, isiXhosa e isiZulu. Hanno scoperto un modello sorprendente:

Afrikaans e Kiswahili: Queste lingue hanno avuto tassi di successo più alti per gli attaccanti.
isiXhosa e isiZulu: Queste lingue hanno avuto tassi di successo molto più bassi.

Perché? Non era perché le guardie AI fossero migliori nel proteggere l'isiXhosa o l'isiZulu. Era perché lo strumento Google Translate utilizzato per creare gli attacchi ha fatto un lavoro scadente nel tradurre la conversazione complessa in quelle specifiche lingue.

L'Analogia: Immagina che l'attaccante stia cercando di sussurrare un piano segreto alla guardia attraverso un traduttore.
- Per l'afrikaans, il traduttore ha sussurrato il piano chiaramente. La guardia l'ha sentito e si è confusa.
- Per l'isiXhosa, il traduttore ha mormorato e storpiato le parole. La guardia ha pensato: "Non capisco cosa stai dicendo" e ha semplicemente ignorato la richiesta. L'attacco è fallito non perché la guardia fosse più forte, ma perché il messaggio era troppo confuso per essere compreso.

4. Umani contro Robot (Il Test di "Red Teaming")

Per dimostrare la loro teoria sul "traduttore cattivo", i ricercatori hanno coinvolto veri parlanti nativi di queste lingue. Questi umani hanno preso le conversazioni macchinose tradotte automaticamente e le hanno corrette, rendendole naturali e chiare.

Il Risultato: Quando gli umani hanno corretto la lingua, il tasso di successo degli attacchi è schizzato alle stelle.
- Per l'isiZulu, il tasso di successo è aumentato di oltre il 300% quando gli umani hanno corretto la traduzione.
- Per l'isiXhosa, è aumentato di circa il 12%.
La Conclusione: I modelli di intelligenza artificiale non sono effettivamente più sicuri per queste lingue; hanno semplicemente fallito nel comprendere le traduzioni "rotte". Una volta corretta la lingua, i modelli erano vulnerabili esattamente come lo sono in inglese.

5. Quali Guardie erano le Più Deboli?

Lo studio ha testato diversi modelli di intelligenza artificiale (come GPT-4o, Claude, DeepSeek, ecc.).

La Guardia Più Forte: Claude 3.5 Haiku è stato il più difficile da ingannare, anche con lunghe conversazioni.
Le Guardie Più Deboli: DeepSeek e GPT-4o-mini sono stati i più facili da ingannare, permettendo il passaggio di contenuti dannosi in oltre il 70% dei casi in alcune lingue.

Riassunto

L'articolo conclude che la qualità della traduzione è la chiave.
Se provi ad attaccare un'intelligenza artificiale moderna traducendo semplicemente un prompt dannoso in una lingua a risorse limitate, probabilmente non funzionerà più. Tuttavia, se hai un parlante nativo che può creare una lunga, naturale e articolata conversazione in quella lingua, i filtri di sicurezza dell'AI possono ancora essere aggirati. I modelli non sono intrinsecamente più sicuri per queste lingue; semplicemente faticano a comprendere le versioni "rotte" prodotte dalle macchine.

Riepilogo Tecnico: Jailbreaking Multilingue di LLM tramite Lingue a Risorse Limitate

Enunciato del Problema
I Large Language Models (LLM) rimangono vulnerabili a tentativi di "jailbreaking" progettati per aggirare le protezioni di sicurezza. Sebbene i meccanismi di sicurezza siano migliorati contro attacchi semplici a turno singolo, i jailbreak conversazionali multi-turno persistono come vettore efficace. Esiste un divario critico nella comprensione di come queste vulnerabilità si manifestino nelle lingue a risorse limitate. L'addestramento alla sicurezza attuale si concentra prevalentemente sui contenuti in inglese, lasciando potenzialmente esposti i modelli quando interrogati in lingue con dati di addestramento limitati. Questo studio investiga se conversazioni multi-turno che utilizzano lingue africane a risorse limitate (Afrikaans, Kiswahili, isiXhosa e isiZulu) possano eludere i meccanismi di sicurezza negli LLM commerciali, esaminando specificamente il ruolo della qualità della traduzione nel successo dell'attacco.

Metodologia
Lo studio ha adottato un approccio sperimentale a due fasi per valutare cinque LLM commerciali: ChatGPT (GPT-4o-mini, GPT-4o), Claude (3.5 Haiku), DeepSeek (V3), Gemini (2.0 flash-lite, 2.0 flash) e Grok (3-mini).

Costruzione del Dataset: I ricercatori hanno utilizzato due dataset esistenti: il dataset MultiJail (314 prompt dannosi a turno singolo) e il dataset Multi-turn Human Jailbreak (MHJ) (537 conversazioni multi-turno riuscite). Questi sono stati tradotti nelle quattro lingue target utilizzando Google Translate.
Filtraggio della Qualità: Per garantire l'integrità semantica, il team ha applicato soglie rigorose di qualità della traduzione utilizzando tre metriche: BERTScore, METEOR e BLEU. I prompt sono stati ritradotti in inglese per misurare la divergenza dall'originale. Solo le traduzioni di alta qualità (che superavano le soglie specifiche per lingua) sono state mantenute, risultando in un set filtrato di 47 prompt da MultiJail e 55 da MHJ.
Valutazione Automatizzata: I prompt filtrati e tradotti automaticamente sono stati inviati programmaticamente ai modelli target tramite le API ufficiali. Le conversazioni sono state condotte in sessioni isolate per prevenire la fuoriuscita di contesto.
Red-Teaming Umano: Per valutare l'impatto della qualità della traduzione e delle sfumature conversazionali, sono stati reclutati madrelingua fluenti in inglese per rifinire i prompt tradotti automaticamente. Questi traduttori hanno intrattenuto dialoghi multi-turno con i modelli, adattando le loro strategie in base alle risposte del modello mantenendo l'intento dannoso originale.
Valutazione: Tutte le risposte dei modelli sono state annotate manualmente e categorizzate in tre gruppi: Sicure (rifiuto o innocue), Dannose (contenenti contenuti non sicuri) e Irrilevanti/Invalid.

Risultati Chiave

Inefficacia degli Attacchi a Turno Singolo: Gli attacchi di traduzione a turno singolo si sono rivelati largamente inefficaci su tutti i modelli. Il tasso complessivo di jailbreaking è stato basso, con solo DeepSeek che ha superato il 10% per lingue specifiche (17,4% per isiZulu, 13,0% per Kiswahili). Questo contrasta con i risultati del 2023, suggerendo che gli aggiornamenti recenti delle protezioni hanno neutralizzato i semplici aggiramenti basati sulla traduzione.
Successo degli Attacchi Multi-Turno: Le conversazioni multi-turno hanno ottenuto tassi di risposta dannosa significativamente più alti. Nelle linee di base in inglese, i tassi variavano dal 52,7% (Claude 3.5 Haiku) all'83,6% (GPT-4o-mini).
- Afrikaans: 60,0% (Claude) fino a 78,2% (GPT-4o-mini).
- Kiswahili: 41,8% (Claude) fino a 70,9% (DeepSeek).
- isiXhosa e isiZulu: Hanno mostrato tassi di successo automatizzati più bassi (ad esempio, dal 21,8% al 58,2% a seconda del modello), ma l'analisi statistica ha suggerito che ciò non era dovuto a protezioni di sicurezza più robuste.
Il Ruolo della Qualità della Traduzione: È stata trovata una forte correlazione positiva tra le metriche di qualità della traduzione (specialmente BLEU, $r=0,92$ ) e il successo del jailbreaking. I tassi di successo più bassi per isiXhosa e isiZulu nei test automatizzati sono stati attribuiti alla scarsa traduzione automatica che disturbava il significato semantico, piuttosto che a una robustezza intrinseca del modello in quelle lingue.
Superiorità del Red-Teaming Umano: I traduttori umani hanno superato significativamente i metodi automatizzati. Il tasso medio di jailbreaking è aumentato dal 59,8% (automatizzato) al 75,8% (umano).
- Afrikaans: +20,0% di miglioramento.
- isiZulu: +12,65% di miglioramento.
- isiXhosa: +12,31% di miglioramento.
- Kiswahili: +1,0% di miglioramento (limitato da un singolo traduttore).
- Inglese: +15,32% di miglioramento.

Contributi Chiave

Evidenza Empirica sulle Lingue a Risorse Limitate: Lo studio fornisce dati quantitativi che dimostrano che, sebbene gli attacchi di traduzione a turno singolo non siano più efficaci, i jailbreak conversazionali multi-turno rimangono una minaccia potente nelle lingue africane a risorse limitate.
Qualità della Traduzione come Fattore Critico: Il documento stabilisce che la presunta "sicurezza" dei modelli in lingue come isiXhosa e isiZulu è spesso un artefatto della scarsa qualità della traduzione automatica. Quando i traduttori umani rifiniscono i prompt per preservare l'intento semantico, i tassi di successo del jailbreaking aumentano significativamente, indicando che la vulnerabilità persiste in queste lingue.
Varianza nella Vulnerabilità del Modello: La ricerca evidenzia disparità significative nella robustezza dei modelli. Claude 3.5 Haiku ha dimostrato la resistenza più forte ai jailbreak multi-turno multilingue, mentre DeepSeek-V3 e GPT-4o-mini hanno mostrato la vulnerabilità più alta.

Significato e Affermazioni
Gli autori affermano che le vulnerabilità negli LLM persistono in contesti multilingue, in particolare quando gli attaccanti utilizzano strategie multi-turno che distribuiscono l'intento dannoso attraverso una catena di conversazione. Il documento afferma che la qualità della traduzione è il fattore determinante per il successo del jailbreaking nelle lingue a risorse limitate; una traduzione scarsa maschera la vera vulnerabilità del modello. Di conseguenza, lo studio suggerisce che le valutazioni di sicurezza basate esclusivamente sulla traduzione automatica possano sottostimare i rischi posti dalle lingue a risorse limitate. I risultati sottolineano la necessità di protezioni di sicurezza che siano robuste non solo tra le lingue, ma anche contro le sfumature dell'adattamento conversazionale umano in quelle lingue.