Same Model, Different Weakness: How Language and Modality Reshape the Jailbreak Attack Surface in Frontier MLLMs

Résumé Technique : Même Modèle, Faiblesses Différentes

Énoncé du Problème
Les évaluations de sécurité actuelles pour les Modèles de Langage Multimodaux (MLLM) traitent souvent le langage et la modalité comme des dimensions indépendantes, en supposant que la vulnérabilité d'un modèle aux attaques de contournement (jailbreak) est une propriété fixe. Cet article remet en cause cette hypothèse, postulant que la surface d'attaque d'un MLLM est structurellement dépendante de la langue. Les auteurs soutiennent que les défaillances d'alignement ne sont pas uniformes à travers les langues ; plutôt, les mécanismes par lesquels les attaques linguistiques et visuelles contournent les filtres de sécurité opèrent via des voies distinctes. Plus précisément, ils émettent l'hypothèse que l'Apprentissage par Renforcement à partir de Retours Humains (RLHF) calibre les modèles pour reconnaître les schémas d'attaque rhétoriques (par exemple, le jeu de rôle, le cadrage stratégique) principalement en anglais, laissant ces défenses linguistiques moins efficaces ou inexistantes dans d'autres langues, tandis que les canaux d'attaque visuelle peuvent rester constamment vulnérables ou même devenir plus puissants lorsque les barrières linguistiques sont levées.

Méthodologie
L'étude présente la première évaluation systématique de red-teaming multilingue et multimodale comparant l'anglais américain (en-US) et l'espagnol mexicain (es-MX).

• Modèles Évalués : Quatre MLLMs de pointe : Claude Sonnet 4.5, GPT-5, Pixtral Large et Qwen Omni. Ils ont été sélectionnés en tant que successeurs de nouvelle génération des modèles évalués dans une étude antérieure uniquement en anglais par Van Doren & Ford [1].
• Benchmark Adversarial : L'étude a utilisé un ensemble fixe de 363 scénarios adversariaux uniques couvrant trois catégories de préjudice : activités illégales, désinformation et comportement non éthique. Chaque scénario a été construit avec six stratégies d'attaque (par exemple, jeu de rôle, suppression du refus) et instancié dans des conditions texte seul et multimodale (texte + image).
• Protocole Linguistique : Tous les prompts ont été traduits professionnellement en espagnol mexicain par des locuteurs natifs et révisés indépendamment pour garantir la fidélité à l'intention adversariale sans adaptation culturelle qui pourrait altérer le vecteur d'attaque.
• Collecte de Données : Un total de 52 272 évaluations de préjudice et jugements binaires de succès d'attaque ont été collectés. Neuf annotateurs anglophones natifs et neuf annotateurs hispanophones natifs ont évalué les réponses des modèles sur une échelle de Likert de 5 points. Les annotateurs étaient ignorants de l'identité du modèle et de la modalité.
• Analyse Statistique : Les auteurs ont employé des modèles mixtes bayésiens (utilisant brms dans R) avec des effets aléatoires croisés pour les prompts et les évaluateurs. Cette approche a permis la décomposition de la variance attribuable au modèle, à la modalité, à la langue et à leurs interactions, évitant les pièges de l'analyse agrégée.

Contributions Clés

1. Preuve Mécaniste de Dissociation : L'étude fournit des preuves empiriques que les défaillances d'alignement linguistique et visuel opèrent via des mécanismes distincts. Les auteurs démontrent que le changement de langue du prompt de l'anglais à l'espagnol provoque une dissociation : les techniques d'attaque linguistiques (telles que le jeu de rôle) deviennent significativement moins efficaces, tandis que les attaques multimodales visuellement explicites deviennent plus efficaces. Cela suggère que l'interface prompt-langage est une caractéristique structurelle de l'alignement, et non simplement un artefact de la clémence des annotateurs.
2. Inversion de Rang dans les Classements de Sécurité : L'article établit que les classements de sécurité ne sont pas transférables d'une langue à l'autre. Alors que Pixtral Large est le modèle le plus vulnérable dans les conditions anglaises, Qwen Omni le dépasse pour devenir le plus vulnérable dans les conditions espagnoles. Cette inversion de rang ne peut être récupérée par des corrections scalaires des scores en condition anglaise, indiquant que les benchmarks uniquement en anglais représentent fondamentalement de manière erronée le profil de risque des modèles pour les utilisateurs déployés mondialement.
3. Cadre Méthodologique : Les auteurs démontrent l'utilité d'un cadre bayésien à effets mixtes dans l'évaluation de la sécurité. En tenant compte conjointement de la variance au niveau du prompt et au niveau de l'évaluateur, cette méthode révèle des structures interlinguales et intermodales que l'analyse agrégée manquerait. Les auteurs ont rendu leurs scripts d'analyse et leurs données publiquement disponibles pour faciliter cette approche dans les futures évaluations.

Résultats

• Atténuation/Amplification Linguistique vs Visuelle : En espagnol (es-MX), les attaques linguistiques ont montré une atténuation substantielle. Par exemple, les attaques par jeu de rôle étaient crédiblement moins efficaces (OR = 0,45) par rapport à l'anglais. À l'inverse, les exécutions d'images toxiques étaient crédiblement plus efficaces en espagnol (OR = 1,58).
• Vulnérabilités Spécifiques aux Modèles :
  • Claude Sonnet 4.5 : Est resté le modèle le plus résistant dans les deux langues et modalités, avec un changement négligeable du Taux de Succès d'Attaque (ASR) entre l'anglais (11,3 %) et l'espagnol (11,4 %).
  • Pixtral Large : A montré la plus grande baisse de vulnérabilité lors du passage à l'espagnol (ASR passé de 50,5 % en en-US à 32,0 % en es-MX), indiquant une forte dépendance à l'alignement linguistique spécifique à l'anglais.
  • Qwen Omni : A présenté un motif unique où la vulnérabilité a augmenté en espagnol (ASR passé de 31,2 % en en-US à 35,6 % en es-MX), conduisant à l'inversion de rang observée contre Pixtral Large.
• Tendances Générationnelles : En comparant ces résultats à la génération précédente de modèles, les ASR absolus ont diminué dans trois des quatre familles de modèles. Cependant, les écarts entre les modèles ne se sont pas réduits, et la structure dépendante de la langue des classements de vulnérabilité a persisté.

Signification et Revendications
L'article revendique que les cadres d'évaluation de la sécurité traitant le langage et la modalité comme des dimensions indépendantes spécifient fondamentalement de manière erronée la surface d'attaque des MLLM déployés mondialement. La découverte centrale est que la « dissociation » entre l'efficacité des attaques linguistiques et visuelles est le résultat prévu d'un alignement basé sur le RLHF calibré sur les schémas rhétoriques anglais. Par conséquent, les benchmarks uniquement en anglais ne caractérisent pas la surface d'attaque des modèles déployés auprès de populations diversifiées ; ils ne caractérisent que la surface telle qu'elle est vue à travers le prisme d'un alignement conditionné à l'anglais.

Les auteurs soutiennent que les pipelines de sécurité pré-livraison doivent inclure du red-teaming par des locuteurs natifs dans des langues représentatives de la population cible de déploiement. Ils concluent que l'ordre des modèles par sécurité n'est pas une propriété fixe mais une caractéristique structurelle des pratiques d'alignement actuelles qui varie selon la langue, nécessitant une refonte des normes d'évaluation de la sécurité pour inclure la décomposition de la variance au niveau des éléments plutôt que des métriques ASR agrégées.