Same Model, Different Weakness: How Language and Modality Reshape the Jailbreak Attack Surface in Frontier MLLMs

Technische Samenvatting: Zelfde Model, Verschillende Kwetsbaarheid

Probleemstelling
Huidige veiligheidsbeoordelingen voor Multimodale Grootte Taalmodellen (MLLM's) behandelen taal en modus vaak als onafhankelijke dimensies, ervan uitgaande dat de kwetsbaarheid van een model voor jailbreak-aanvallen een vaste eigenschap is. Dit artikel daagt die aanname uit en stelt dat het aanvalsoppervlak van een MLLM structureel taalafhankelijk is. De auteurs betogen dat uitlijningsfouten niet uniform zijn over talen; de mechanismen waarmee linguïstische en visuele aanvallen veiligheidsfilters omzeilen, werken via verschillende paden. Specifiek hypotheseren zij dat Reinforcement Learning from Human Feedback (RLHF) modellen kalibreert om retorieke aanvalspatronen (bijvoorbeeld rollenspel, strategische framing) primair in het Engels te herkennen, waardoor deze linguïstische verdedigingen minder effectief of niet-bestaand zijn in andere talen, terwijl visuele aanvalskanalen consistent kwetsbaar kunnen blijven of zelfs krachtiger worden wanneer linguïstische barrières worden verwijderd.

Methodologie
De studie presenteert de eerste systematische cross-linguale, multimodale red-teaming-evaluatie waarbij Amerikaans Engels (en-US) en Mexicaans Spaans (es-MX) worden vergeleken.

• Geëvalueerde Modellen: Vier geavanceerde MLLM's: Claude Sonnet 4.5, GPT-5, Pixtral Large en Qwen Omni. Deze werden geselecteerd als opvolgers van de volgende generatie van modellen die in een eerdere Engelstalige studie door Van Doren & Ford [1] werden geëvalueerd.
• Adversariale Benchmark: De studie gebruikte een vast aantal van 363 unieke adversariale scenario's die drie schadecategorieën bestrijken: illegale activiteiten, desinformatie en onethisch gedrag. Elk scenario werd opgebouwd met zes aanvalstrategieën (bijvoorbeeld rollenspel, onderdrukking van weigering) en geïnstancierd in zowel tekst-only als multimodale (tekst + afbeelding) condities.
• Linguïstisch Protocol: Alle prompts werden professioneel vertaald naar Mexicaans Spaans door native speakers en onafhankelijk beoordeeld om de trouw aan de adversariale intentie te waarborgen, zonder culturele aanpassing die het aanvalsvector zou kunnen veranderen.
• Dataverzameling: In totaal werden 52.272 schadebeoordelingen en binaire oordelen over aanvalssucces verzameld. Nieuw native Engelstalige en negen native Spaanstalige annotatoren beoordeelden de modelresponsen op een 5-punts Likertschaal. Annotatoren waren blind voor modelidentiteit en modus.
• Statistische Analyse: De auteurs maakten gebruik van Bayesiaanse mixed-effects-modellen (met brms in R) met gekruiste random effects voor prompts en beoordelaars. Deze aanpak maakte decompositie van variantie toerekenbaar aan model, modus, taal en hun interacties mogelijk, en vermijdt de valkuilen van geaggregeerde analyse.

Belangrijkste Bijdragen

1. Mechanistisch Bewijs van Dissociatie: De studie levert empirisch bewijs dat linguïstische en visuele uitlijningsfouten via verschillende mechanismen werken. De auteurs tonen aan dat het wisselen van prompt-taal van Engels naar Spaans een dissociatie veroorzaakt: linguïstische aanvalstechnieken (zoals rollenspel) worden significant minder effectief, terwijl visueel expliciete multimodale aanvallen effectiever worden. Dit suggereert dat de prompt-taalinterface een structureel kenmerk van uitlijning is, en niet louter een artefact van annotatorsoepelheid.
2. Omgekeerde Rangorde in Veiligheidsranglijsten: Het artikel stelt vast dat veiligheidsranglijsten niet overdraagbaar zijn over talen. Waar Pixtral Large het meest kwetsbare model is in Engelstalige condities, overtreft Qwen Omni dit in Spaanstalige condities als meest kwetsbaar. Deze omgekeerde rangorde kan niet worden hersteld door scalare correcties van scores in Engelstalige condities, wat aangeeft dat enkel Engelstalige benchmarks het risicoprofiel van modellen voor wereldwijd ingezette gebruikers fundamenteel verkeerd voorstellen.
3. Methodologisch Kader: De auteurs tonen de bruikbaarheid van een Bayesiaans mixed-effects-kader in veiligheidsbeoordeling aan. Door prompt-niveau en beoordelaars-niveau variantie gezamenlijk in rekening te brengen, onthult deze methode cross-linguale en cross-modale structuren die geaggregeerde analyse zou missen. De auteurs hebben hun analysescripts en data publiek beschikbaar gesteld om deze aanpak in toekomstige evaluaties te faciliteren.

Resultaten

• Linguïstische versus Visuele Attenuatie/Amplificatie: In het Spaans (es-MX) toonden linguïstische aanvallen aanzienlijke attenuatie. Zo waren rollenspel-aanvallen geloofwaardig minder effectief (OR = 0,45) vergeleken met het Engels. Omgekeerd waren giftige afbeeldingsuitvoeringen geloofwaardig effectiever in het Spaans (OR = 1,58).
• Model-specifieke Kwetsbaarheden:
  • Claude Sonnet 4.5: Blijft het meest resistente model over beide talen en modi, met een verwaarloosbare verandering in Aanvalssuccespercentage (ASR) tussen Engels (11,3%) en Spaans (11,4%).
  • Pixtral Large: Toonde de grootste daling in kwetsbaarheid bij wisseling naar het Spaans (ASR daalde van 50,5% in en-US naar 32,0% in es-MX), wat wijst op een zware afhankelijkheid van Engelstalige linguïstische uitlijning.
  • Qwen Omni: Vertoonde een uniek patroon waarbij de kwetsbaarheid in het Spaans toenam (ASR steeg van 31,2% in en-US naar 35,6% in es-MX), wat leidde tot de waargenomen omgekeerde rangorde ten opzichte van Pixtral Large.
• Generatietrends: Bij vergelijking van deze resultaten met de vorige generatie modellen, daalde het absolute ASR in drie van de vier modelfamilies. De kloven tussen modellen sluiten echter niet, en de taalafhankelijke structuur van kwetsbaarheidsranglijsten blijft bestaan.

Betekenis en Claims
Het artikel claimt dat veiligheidsbeoordelingskaders die taal en modus als onafhankelijke dimensies behandelen, het aanvalsoppervlak van wereldwijd ingezette MLLM's fundamenteel verkeerd specificeren. De centrale bevinding is dat de "dissociatie" tussen linguïstische en visuele aanvalseffectiviteit het voorspelde resultaat is van RLHF-gebaseerde uitlijning die is gekalibreerd op Engelstalige retorieke patronen. Bijgevolg karakteriseren enkel Engelstalige benchmarks niet het aanvalsoppervlak van modellen die worden ingezet bij diverse populaties; ze karakteriseren alleen het oppervlak zoals gezien door de lens van Engelstalige uitlijningscondities.

De auteurs betogen dat veiligheidspijplijnen voor release native-spreker red-teaming moeten omvatten in talen die representatief zijn voor de beoogde ingezette populatie. Zij concluderen dat de ordening van modellen op basis van veiligheid geen vaste eigenschap is, maar een structureel kenmerk van huidige uitlijningspraktijken dat varieert per taal, wat een herontwerp van veiligheidsbeoordelingsnormen vereist om item-niveau variantiedecompositie op te nemen in plaats van geaggregeerde ASR-metrics.