Technische Samenvatting: Onderzoek naar Adversariële Robuustheid en Veiligheidsalignement in Multilinguale Multimodale Large Language Models

1. Probleemstelling

Multimodale Large Language Models (MLLM's) integreren visuele perceptie met linguïstische redenering, wat een continu aanvalsoppervlak creëert dat gevoelig is voor adversariële perturbaties. Hoewel eerder onderzoek de robuustheid van MLLM's heeft onderzocht, is de evaluatie overweldigend Engels-gecentreerd gebleven, waardoor het gedrag van deze modellen in meertalige omgevingen grotendeels onverkend is gebleven.

Er bestaat een kritieke kloof in het begrip of meertalige MLLM's, met name die aangepast via instructie-tuning, beschikken over echte veiligheidsalignement over diverse talen heen, of dat hun schijnbare veiligheid in minderheidstalen een artefact is van begripsfalen. Bov�gens blijft het onduidelijk of adversariële kwetsbaarheden (zowel in redenering als in veiligheid) overdragen tussen talen, gezien het feit dat visuele inputs bestaan uit een continue, hoogdimensionale ruimte die vatbaar is voor gradiënt-gebaseerde optimalisatie.

2. Methodologie

De auteurs voeren een systematische studie uit over 12 typologisch diverse talen (Arabisch, Bengaals, Chinees, Engels, Frans, Hindi, Japans, Portugees, Russisch, Spaans, Turks en Urdu). De evaluatie richt zich op twee representatieve open-source MLLM's die meertalige capaciteiten verwerven via meertalige multimodale instructie-tuning (PALO en PARROT) en één model dat meertalige data integreert gedurende de volledige trainingspipeline (QWEN3-VL).

Benchmark Constructie

Om het gebrek aan meertalige benchmarks aan te pakken, hebben de auteurs een uitgebreide suite geconstrueerd door bestaande Engels-gecentreerde datasets (COCO, Flickr30k, LLaVA-Bench, RealToxicityPrompts, MM-SafetyBench) te adapteren naar 12 talen. Dit werd bereikt via een rigoureuze Translate-then-Verify pipeline:

1. Multi-model Vertaling: Het gebruik van een pool van LLM's om kandidaat-vertalingen te genereren.
2. Back-translation Consistentie: Het filteren van kandidaten op basis van semantische getrouwheid via terugvertaling.
3. Menselijke Verificatie: Moedertaalsprekers valideerden de uiteindelijke vertalingen en de weergave van typografie.
   De resulterende suite bevat meer dan 60.000 geadapteerde instanties.

Evaluatie-assen

De studie evalueert modellen langs twee complementaire assen:

1. Gradiënt-gebaseerde Adversariële Aanvallen (White-box):
   • Robuustheid: Het optimaliseren van visuele perturbaties ($\delta$) om de prestaties van beschrijving (captioning) en redenering te degraderen (het maximaliseren van de cross-entropy loss) in een brontaal en het evalueren van de transfer naar doeltaal.
   • Visuele Jailbreaking: Onbeperkte optimalisatie van ruisbeelden om schadelijke reacties op te wekken wanneer deze worden gecombineerd met tekstuele prompts, waarbij de cross-linguale veiligheidstransfer wordt getest.
2. Niet-adversariële Multimodale Veiligheid:
   • Tekst-alleen Veiligheid: Het bevragen van modellen met schadelijke instructies in diverse talen om linguïstisch begrip en weigering te beoordelen.
   • Typografische Veiligheid: Het inbedden van schadelijke trefwoorden direct in afbeeldingen (visuele modaliteit) terwijl de tekstprompt onschadelijk blijft, om het vermogen van de vision encoder om meertalige tekst te parsen en te weigeren te testen.

3. Belangrijkste Resultaten

Cross-Linguale Adversariële Transferbaarheid

• Gedeelde Kwetsbaarheid: Adversariële perturbaties die geoptimaliseerd zijn in een enkele brontaal transfereren breed naar andere evaluatietalen. Dit geeft aan dat MLLM's een gedeelde multimodale representatieruimte bezitten waar taal-agnostische adversariële kwetsbaarheden bestaan.
• Asymmetrie: Aanvallen die ontworpen zijn in talen met veel middelen of LLM-dominantie (bijv. Engels, Chinees) hebben de neiging om grotere prestatiedalingen te veroorzaken in Engelse evaluaties vergeleken met aanvallen uit talen met minder middelen. Echter, zelfs aanvallen uit talen met minder middelen (bijv. Bengaals) slagen erin de prestaties in talen met veel middelen te degraderen.
• Scope: Deze transferbaarheid houdt stand voor zowel korte beschrijvingen (COCO, Flickr30k) als langere redeneringen (LLaVA-Bench).

Veiligheidsgedrag: "Safety-by-Failure" vs. Echte Alignement

De studie identificeert een cruciaal onderscheid in veiligheidsgedrag op basis van hoe meertalige capaciteit wordt verworven:

• Instructie-getunede Modellen (PALO, PARROT):

  • Schijnbare Veiligheid: Deze modellen vertonen lage percentages onveilige reacties in talen met minder middelen (bijv. Bengaals, Urdu) en niet-Engelse scripts.
  • Het Mechanisme: Deze veiligheid is een illusie, getiteld "Safety-by-Failure". Lage onveilige percentages gaan samen met lage weigeringspercentages. De modellen falen in het begrijpen van de schadelijke intentie (door zwak linguïstisch grondslag of slechte OCR voor niet-Engelse scripts) en genereren in plaats daarvan gehallucineerde, irrelevante of repetitieve outputs. Ze verwerpen de schade niet; ze missen het simpelweg.
  • Typografische Bias: Wanneer schadelijke tekst in afbeeldingen is ingebed, worden Engelse scripts betrouwbaar geparst en opgevolgd, terwijl niet-Engelse scripts zelden worden herkend, wat leidt tot bijna nul onveilige reacties die een reflectie zijn van falende visuele grondslag in plaats van veiligheidsalignement.

• Diep Geïntegreerde Modellen (QWEN3-VL):

  • Echte Veiligheid: QWEN3-VL, die meertalige data incorporeert over de pretraining en alignment stadia heen, vertoont een kwalitatief ander profiel. Het behoudt actieve weigeringspercentages over verschillende talen.
  • Invers Patroon: De talen die onder instructie-getunede modellen het "veiligst" leken (Bengaals, Urdu), onthullen de hoogste residuele kwetsbaarheid in QWEN3-VL. Dit bevestigt dat QWEN3-VL de schadelijke queries werkelijk begrijpt en actief kiest om ze te weigeren, wat de ware alignment-kloven blootlegt in plaats van ze te maskeren met begripsfalen.

4. Belangrijkste Bijdragen

1. Meertalige Benchmark Suite: De creatie van een publiekelijk beschikbare, rigoureus vertaalde en geverifieerde benchmark suite die 12 talen dekt voor zowel adversariële robuustheid als multimodale veiligheid.
2. Ontdekking van Cross-Linguale Transferbaarheid: Het aantonen dat gradiënt-gebaseerde adversariële kwetsbaarheden gedeeld worden binnen de multimodale representatieruimte en effectief transfereren, ongeacht de taal die gebruikt wordt voor optimalisatie of evaluatie.
3. Identificatie van "Safety-by-Failure": Het blootleggen dat oppervlakkige meertalige adaptatie (alleen instructie-tuning) een illusie van veiligheid creëert in talen met minder middelen. De modellen lijken veilig omdat ze de input niet begrijpen, niet omdat ze gealigneerd zijn om deze te weigeren.
4. Vergelijking van Trainingsparadigma's: Het leveren van bewijs dat het integreren van meertalige capaciteit gedurende de gehele trainingspipeline (zoals bij QWEN3-VL) leidt tot echte cross-linguale veiligheid en actieve weigering, terwijl post-hoc instructie-tuning resulteert in een fragiele, op begrip gebaseerde veiligheid.

5. Betekenis en Claims

Het artikel betoogt dat oppervlakkige meertalige adaptatie (bijv. finetunen op vertaalde instructiedata) onvoldoende is om robuuste en veilige MLLM's te garanderen. Het produceert een oppervlakkig meertalig begrip dat een illusie van veiligheid creëert in talen met minder middelen.

De auteurs claimen dat echte veiligheidsalignement een diepere integratie van meertalige capaciteit vereist over alle trainingsstadia heen. Zonder dit kunnen modellen in niet-Engelse settings veilig lijken simpelweg omdat ze de taal of het script niet kunnen parsen, een foutmodus die de afwezigheid van echte veiligheidsalignement maskeert. De studie benadrukt dat veiligheidsevaluaties verder moeten gaan dan Engels-gecentreerde benchmarks om deze verborgen kwetsbaarheden en het "safety-by-failure" fenomeen te onthullen.

De studie concludeert dat het verbeteren van meertalige capaciteit alleen niet voldoende is; veiligheidsalignement moet expliciet worden overwogen en gevalideerd over alle ondersteunde talen om consistente en echte veiligheid te garanderen.