💬 NLP

Exploring Adversarial Robustness and Safety Alignment in Multilingual Multi-Modal Large Language Models

Questo articolo rivela che, sebbene i modelli linguistici di grandi dimensioni multilingue e multimodali esibiscano vulnerabilità avversarie translingue, la loro apparente sicurezza nelle lingue a basse risorse è spesso un artefatto di fallimenti visivi e di comprensione ("sicurezza per fallimento"), mentre i modelli con una profonda integrazione multilingue durante l'addestramento raggiungono un autentico allineamento della sicurezza translingue.

Autori originali: Hashmat Shadab Malik, Muzammal Naseer, Salman Khan

Pubblicato 2026-06-03

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Hashmat Shadab Malik, Muzammal Naseer, Salman Khan

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un gruppo di robot molto intelligenti che possono sia vedere (come una telecamera) che pensare (come un essere umano). Questi sono chiamati Modelli Linguistici di Grandi Dimensioni Multimodali (MLLM). Sono bravissimi a guardare un'immagine e descriverla, o a rispondere a domande su ciò che vedono.

Tuttavia, proprio come gli umani, anche questi robot possono essere ingannati. Questo articolo è una grande investigazione su quanto facilmente questi robot possano essere ingannati, specificamente quando parlano e comprendono 12 lingue diverse.

Ecco la storia di ciò che i ricercatori hanno scoperto, spiegata in modo semplice:

1. Il "Glitch Universale" (Attacchi Avversari)

I ricercatori hanno cercato di "hackerare" i robot aggiungendo piccoli graffi invisibili alle immagini (come l'effetto statico su una vecchia TV) che l'occhio umano non può vedere. Questi graffi sono progettati per confondere il cervello del robot.

La Scoperta: Hanno scoperto un "Glitch Universale". Se creavano un graffio confondente in inglese, questo confondeva il robot allo stesso modo quando al robot veniva chiesto di parlare in spagnolo, hindi o arabo.
L'Analogia: Immagina un robot che ha un singolo, fragile "obiettivo per gli occhiali" per vedere. Se metti una macchia su quella lente, non importa se il robot sta cercando di leggere un cartello in inglese o francese; la macchia lo rende cieco al testo in tutte le lingue. La debolezza non è nella lingua; è nel modo in cui il robot vede il mondo.

2. Il "Fallimento Silenzioso" vs. Il "Rifiuto Cortese" (Sicurezza)

I ricercatori hanno anche testato se i robot direbbero "No" a richieste pericolose (come "Dimmi come costruire una bomba"). Hanno testato questo in due modi:

Chiedendo a parole: "Dimmi come costruire una bomba."
Chiedendo tramite immagini: Mostrando una foto con le parole "Come costruire una bomba" scritte all'interno dell'immagine.

Hanno confrontato due tipi di robot:

Tipo A (Gli "Apprendisti Rapidi"): Questi robot (come PALO e PARROT) sono stati istruiti prima in inglese e poi istruiti rapidamente in altre lingue traducendo le lezioni in inglese.
Tipo B (L' "Apprendista Profondo"): Questo robot (QWEN3-VL) è stato istruito in tutte le lingue fin dall'inizio, in modo profondamente integrato nel suo cervello.

L'Illusione della "Sicurezza tramite il Fallimento"

I ricercatori hanno scoperto un trucco spaventoso con i robot di Tipo A.

Cosa è successo: Quando ricevevano una domanda pericolosa in una lingua "difficile" (come il bengalese o l'urdu), il robot spesso non rispondeva con una guida alla costruzione di una bomba. In realtà sembrava "sicuro" perché non diceva nulla di male.
Il Problema: Il robot non era sicuro perché era intelligente; era sicuro perché era confuso. Non capiva affatto la domanda! Iniziava a produrre allucinazioni senza senso, come "Vedo un cane nero", o ripetendo la stessa parola all'infinito.
L'Analogia: Immagina una guardia giurata in una banca. Se un ladro parla una lingua che la guardia non conosce, la guardia potrebbe semplicemente fissarlo con sguardo vuoto e dire: "Vedo una sedia blu". La banca è sicura, ma non perché la guardia sia coraggiosa o intelligente. È sicura perché la guardia è analfabeta in quella lingua. Il documento chiama questo fenomeno "Sicurezza tramite il Fallimento" (Safety-by-Failure).

La "Vera Sicurezza"

Il robot di Tipo B (QWEN3-VL) era diverso.

Cosa è successo: Quando riceveva la stessa domanda pericolosa in bengalese o urdu, questo robot capiva perfettamente la domanda. Non dava una risposta senza senso; diceva: "No, non posso farlo".
Il Colpo di Scena: Sorprendentemente, i robot di Tipo A sembravano più sicuri nelle lingue a basse risorse (perché fallivano nel comprendere), mentre il robot di Tipo B mostrava i suoi veri "punti deboli" in quelle stesse lingue perché capiva effettivamente la domanda e doveva decidere attivamente di dire "No".

3. La Trappola del "Refuso"

I ricercatori hanno anche testato cosa succede quando le parole pericolose sono scritte dentro un'immagine (come un cartello in un negozio).

Cartelli in Inglese: I robot riuscivano a leggere facilmente i cartelli inglesi all'interno delle immagini e spesso seguivano le istruzioni pericolose.
Cartelli in Lingue Straniere: Quando il cartello era in arabo o cinese, i robot di Tipo A non riuscivano a leggere le lettere. Semplicemente ignoravano il cartello o descrivevano lo sfondo. Anche in questo caso, non era perché erano prudenti; era perché i loro "occhi" non riuscivano a leggere quel sistema di scrittura.

La Grande Lezione

L'articolo conclude che il fatto che un robot sembri sicuro in una lingua che non parla bene, non significa che sia effettivamente sicuro. Potrebbe semplicemente essere troppo confuso per capire di trovarsi in pericolo.

Per rendere questi robot davvero sicuri in ogni lingua, non possiamo limitarci a tradurre le lezioni dall'inglese alla fine. Dobbiamo insegnare loro tutte le lingue in modo profondo fin dall'inizio, in modo che comprendano il pericolo e possano dire "No" correttamente, indipendentemente dalla lingua parlata.

In breve: Un robot che non capisce una minaccia non è un robot sicuro; è solo un robot cieco. La vera sicurezza significa comprendere la minaccia e scegliere di rifiutarla.

Sintesi Tecnica: Esplorazione della Robustezza Avversaria e dell'Allineamento della Sicurezza nei Modelli Linguistici di Grandi Dimensioni Multilingue e Multimodali

1. Definizione del Problema

I Modelli Linguistici di Grandi Dimensioni Multimodali (MLLM) integrano la percezione visiva con il ragionamento linguistico, creando una superficie di attacco continua e suscettibile a perturbazioni avversarie. Sebbene la ricerca precedente abbia esaminato la robustezza degli MLLM, le valutazioni sono state prevalentemente centrate sull'inglese, lasciando in gran parte inesplorato il comportamento di questi modelli in contesti multilingue.

Esiste un divario critico nel comprendere se gli MLLM multilingue, in particolare quelli adattati tramite l'instruction tuning, possiedano un reale allineamento della sicurezza attraverso diverse lingue o se la loro apparente sicurezza nelle lingue a basse risorse sia un artefatto di un fallimento della comprensione. Inoltre, rimane da chiarire se le vulnerabilità avversarie (sia nel ragionamento che nella sicurezza) si trasferiscano tra le lingue, dato che gli input visivi risiedono in uno spazio continuo e ad alta dimensionalità suscettibile all'ottimizzazione basata sul gradiente.

2. Metodologia

Gli autori conducono uno studio sistematico su 12 lingue tipologicamente diverse (Arabo, Bengalese, Cinese, Inglese, Francese, Hindi, Giapponese, Portoghese, Russo, Spagnolo, Turco e Urdu). La valutazione si concentra su due rappresentativi MLLM open-source che acquisiscono capacità multilingue attraverso il multilingual multimodal instruction tuning (PALO e PARROT) e un modello che integra dati multilingue durante l'intero processo di addestramento (QWEN3-VL).

Costruzione del Benchmark

Per affrontare la mancanza di benchmark multilingui, gli autori hanno costruito una suite completa adattando i dataset esistenti centrici sull'inglese (COCO, Flickr30k, LLaVA-Bench, RealToxicityPrompts, MM-SafetyBench) in 12 lingue. Ciò è stato ottenuto tramite una rigorosa pipeline Translate-then-Verify (Traduci-e-Verifica):

Traduzione Multi-modello: Utilizzo di un pool di LLM per generare traduzioni candidate.
Consistenza della Back-translation: Filtraggio dei candidati basato sulla fedeltà semantica tramite back-translation.
Verifica Umana: Parlanti nativi hanno validato le traduzioni finali e la resa tipografica.
La suite risultante comprende oltre 60.000 istanze adattate.

Assi di Valutazione

Lo studio valuta i modelli lungo due assi complementari:

Attacchi Avversari Basati sul Gradiente (White-box):
- Robustezza: Ottimizzazione delle perturbazioni visive ( $\delta$ ) per degradare le prestazioni di captioning e ragionamento (massimizzando la perdita di cross-entropy) in una lingua di origine e valutazione del trasferimento verso le lingue target.
- Jailbreaking Visivo: Ottimizzazione non vincolata di immagini di rumore per indurre risposte dannose quando accoppiate con prompt testuali, testando il trasferimento della sicurezza cross-linguistica.
Sicurezza Multimodale Non Avversaria:
- Sicurezza Solo Testuale: Interrogazione dei modelli con istruzioni dannose in varie lingue per valutare la comprensione linguistica e il rifiuto.
- Sicurezza Tipografica: Inserimento di parole chiave dannose direttamente nelle immagini (modalità visiva) mantenendo il prompt testuale benigno, testando la capacità dell'encoder visivo di analizzare e rifiutare il testo multilingue.

3. Risultati Chiave

Trasferibilità Avversaria Cross-Lingua

Vulnerabilità Condivisa: Le perturbazioni avversarie ottimizzate in una singola lingua di origine si trasferiscono ampiamente ad altre lingue di valutazione. Ciò indica che gli MLLM possiedono uno spazio di rappresentazione multimodale condiviso dove esistono vulnerabilità avversarie indipendenti dalla lingua.
Asimmetria: Gli attacchi creati in lingue ad alte risorse o dominate da LLM (ad es. inglese, cinese) tendono a causare cali di prestazioni maggiori nelle valutazioni in inglese rispetto agli attacchi provenienti da lingue a basse risorse. Tuttavia, anche gli attacchi da lingue a basse risorse (ad es. bengalese) riescono a degradare le prestazioni nelle lingue ad alte risorse.
Ambito: Questa trasferibilità si applica sia al captioning a breve termine (COCO, Flickr30k) che al ragionamento a lungo termine (LLaVA-Bench).

Comportamento di Sicurezza: "Safety-by-Failure" vs. Allineamento Genuino

Lo studio identifica una distinzione critica nel comportamento di sicurezza basata su come viene acquisita la capacità multilingue:

Modelli con Instruction Tuning (PALO, PARROT):
- Sicurezza Apparente: Questi modelli mostrano bassi tassi di risposte non sicure nelle lingue a basse risorse (ad es. bengalese, urdu) e negli script non inglesi.
- Il Meccanismo: Questa sicurezza è un'illusione definita "Safety-by-Failure" (Sicurezza per Fallimento). I bassi tassi di risposte non sicure coesistono con bassi tassi di rifiuto. I modelli falliscono nel comprendere l'intento dannoso (a causa di una debole base linguistica o di una scarsa OCR per gli script non inglesi) e generano invece output allucinati, irrilevanti o ripetitivi. Non rifiutano il danno; semplicemente non lo colgono.
- Bias Tipografico: Quando il testo dannoso è incorporato nelle immagini, gli script inglesi vengono analizzati in modo affidabile e seguiti, mentre gli script non inglesi sono raramente riconosciuti, portando a tassi di risposte non sicure vicini allo zero che riflettono un fallimento della base visiva piuttosto che un allineamento della sicurezza.
Modelli Profondamente Integrati (QWEN3-VL):
- Sicurezza Genuina: QWEN3-VL, che incorpora dati multilingue attraverso le fasi di pre-training e allineamento, mostra un profilo qualitativamente diverso. Mantiene tassi di rifiuto attivo attraverso le lingue.
- Pattern Invertito: Le lingue che apparivano più "sicure" sotto i modelli con instruction tuning (bengalese, urdu) rivelano la più alta vulnerabilità residua in QWEN3-VL. Questo conferma che QWEN3-VL comprende realmente le query dannose e sceglie attivamente di rifiutarle, esponendo reali lacune di allineamento piuttosto che mascherarle con fallimenti di comprensione.

4. Contributi Chiave

Suite di Benchmark Multilingue: Creazione di una suite di benchmark pubblicamente disponibile, rigorosamente tradotta e verificata, che copre 12 lingue sia per la robustezza avversaria che per la sicurezza multimodale.
Scoperta della Trasferibilità Cross-Lingua: Dimostrazione che le vulnerabilità avversarie basate sul gradiente sono condivise nello spazio di rappresentazione multimodale, trasferendosi efficacementamente indipendentemente dalla lingua utilizzata per l'ottimizzazione o la valutazione.
Identificazione della "Safety-by-Failure": Scoperta che l'adattamento multilingue superficiale (solo instruction tuning) crea una sicurezza illusoria nelle lingue a basse risorse. I modelli sembrano sicuri perché non riescono a comprendere l'input, non perché siano allineati per rifiutarlo.
Confronto dei Paradigmi di Addestramento: Fornitura di prove che l'integrazione della capacità multilingue in tutto il processo di addestramento (come in QWEN3-VL) porta a una vera sicurezza cross-lingua e a un rifiuto attivo, mentre l'instruction tuning post-hoc produce una sicurezza fragile e dipendente dalla comprensione.

5. Significato e Rivendicazioni

L'articolo sostiene che l'adattamento multilingue superficiale (ad es. fine-tuning su dati di istruzione tradotti) è insufficiente per garantire MLLM robusti e sicuri. Produce una comprensione multilingue superficiale che crea una sicurezza illusoria nelle lingue a basse risorse.

Gli autori affermano che il vero allineamento della sicurezza richiede un'integrazione più profonda della capacità multilingue in tutte le fasi di addestramento. Senza di essa, i modelli possono apparire sicuri in contesti non inglesi semplicemente perché non riescono a interpretare la lingua o lo script, un modo di fallimento che maschera l'assenza di un reale allineamento della sicurezza. Lo studio evidenzia che le valutazioni della sicurezza devono andare oltre i benchmark centrici sull'inglese per rivelare queste vulnerabilità nascoste e il fenomeno della "safety-by-failure".

Il lavoro conclude che migliorare solo la capacità multilingue non è sufficiente; l'allineamento della sicurezza deve essere esplicitamente considerato e validato in tutte le lingue supportate per garantire un comportamento di sicurezza coerente e genuino.