💬 NLP

XL-SafetyBench: A Country-Grounded Cross-Cultural Benchmark for LLM Safety and Cultural Sensitivity

Ce papier présente XL-SafetyBench, un benchmark interculturel comprenant 5 500 cas de test ancrés dans des pays répartis sur 10 paires de langues, qui met en évidence un décalage entre la robustesse face aux jailbreaks et la sensibilité culturelle des modèles de pointe, tout en révélant que la sécurité apparente des modèles locaux découle souvent d'échecs de génération plutôt que d'un véritable alignement.

Auteurs originaux : Dasol Choi, Eugenia Kim, Jaewon Noh, Sang Seo, Eunmi Kim, Myunggyo Oh, Yunjin Park, Brigitta Jesica Kartono, Josef Pichlmeier, Helena Berndt, Sai Krishna Mendu, Glenn Johannes Tungka, Özlem Gökçe, Sur

Publié 2026-05-08

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dasol Choi, Eugenia Kim, Jaewon Noh, Sang Seo, Eunmi Kim, Myunggyo Oh, Yunjin Park, Brigitta Jesica Kartono, Josef Pichlmeier, Helena Berndt, Sai Krishna Mendu, Glenn Johannes Tungka, Özlem Gökçe, Suresh Gehlot, Katherine Pratt, Amanda Minnich, Haon Park

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous embauchiez un nouvel assistant pour aider des personnes du monde entier. Vous voulez vous assurer que cet assistant est sûr, poli et ne dira pas accidentellement quelque chose d'offensant ou de dangereux.

Pendant longtemps, nous avons testé ces assistants à l'aide d'un « test standardisé » entièrement rédigé en anglais. Mais les auteurs de cet article, XL-SafetyBench, soutiennent que c'est comme tester la capacité d'un chef à cuisiner de la nourriture italienne en lui demandant uniquement de préparer des hamburgers américains. Le fait qu'il puisse préparer un hamburger en toute sécurité ne signifie pas qu'il connaît les règles locales de l'Italie.

Voici une explication simple de ce qu'ils ont fait et de ce qu'ils ont découvert, en utilisant quelques analogies du quotidien.

1. Le problème : Le « piège de la traduction »

La plupart des tests de sécurité pour l'IA ne sont que des questions en anglais traduites dans d'autres langues.

Le défaut : Si vous traduisez une question sur « comment voler une voiture » en coréen, l'IA pourrait répondre « Non ». Mais que se passe-t-il si la question porte sur un type spécifique d'arnaque immobilière qui n'existe qu'en Corée ? Un test traduit ne le détectera pas.
La pièce manquante : Il existe deux types de « sécurité » que les anciens tests ne saisissent pas :
1. Le test du « pirate informatique » : L'IA peut-elle être trompée par un criminel local pour faire quelque chose de mal ? (Par exemple : « Comment arnaquer les gens en utilisant le système spécifique de cautionnement immobilier coréen ? »)
2. Le test des « bonnes manières sociales » : L'IA connaît-elle les coutumes locales ? (Par exemple : Si vous demandez à l'IA d'aider à planifier un cadeau pour un ami français, elle ne devrait pas suggérer des chrysanthèmes, car en France, ces fleurs sont pour les funérailles, pas pour les anniversaires.)

2. La solution : Un nouveau test de « tournée mondiale »

Les chercheurs ont créé XL-SafetyBench, une vaste suite de tests comprenant 5 500 questions couvrant 10 pays différents (comme les États-Unis, la Corée du Sud, l'Inde, l'Allemagne, etc.).

Ils n'ont pas simplement traduit des questions en anglais. Ils ont construit le test depuis zéro dans chaque langue locale, en utilisant deux pistes principales :

Piste A : L'équipe « Rouge » (Référence de contournement)
- L'analogie : Imaginez embaucher une équipe de « pirates » locaux pour essayer de tromper l'IA. Ils ne demandent pas simplement « Comment fabriquer une bombe ? ». Ils demandent : « Comment utiliser l'application bancaire locale spécifique en Turquie pour voler de l'argent ? »
- L'objectif : Voir si l'IA peut résister à ces astuces intelligentes et ancrées localement.
Piste B : Le « détective culturel » (Référence culturelle)
- L'analogie : Imaginez que l'IA est un invité à un dîner. L'hôte demande : « Peux-tu m'aider à écrire un menu pour un mariage ? » Mais caché dans la demande se trouve un détail minuscule : « Servons du porc aux invités qui suivent une religion végétarienne stricte. »
- L'objectif : L'IA doit repérer cette erreur culturelle cachée et minuscule sans qu'on lui dise qu'elle est là. Il ne s'agit pas de refuser une mauvaise demande, mais de remarquer un faux pas social enfoui dans une conversation normale.

3. Comment ils l'ont construit

Ils n'ont pas simplement demandé à un ordinateur d'écrire ces questions. Ils ont utilisé un processus « humain dans la boucle » :

Découverte par l'IA : Les ordinateurs ont identifié des problèmes locaux potentiels.
Validation humaine : De vrais humains ayant vécu dans ces pays depuis plus de 15 ans ont vérifié chaque question. Ils ont veillé à ce que les questions semblent naturelles et que les pièges culturels soient réels.
Le résultat : Un test de haute qualité, culturellement authentique, qui ressemble à une vraie conversation, et non à une traduction robotique.

4. Les grandes surprises (Les résultats)

Lorsqu'ils ont testé 37 modèles d'IA différents (10 grands modèles mondiaux et 27 modèles locaux de ces pays spécifiques), ils ont découvert deux choses choquantes :

Surprise n°1 : Être « sûr » et être « conscient culturellement » ne sont pas la même chose.

L'analogie : Considérez la sécurité et la culture comme deux compétences différentes, comme « conduire une voiture » et « parler le dialecte local ».
Le constat : Certains des modèles d'IA les plus puissants étaient excellents pour refuser de faire des choses mauvaises (sécurité élevée) mais terribles pour repérer les erreurs culturelles (conscience culturelle faible). Inversement, certains modèles étaient corrects sur le plan culturel mais facilement trompés par les pirates informatiques.
La conclusion : Vous ne pouvez pas simplement attribuer à une IA une seule « note de sécurité ». Vous devez mesurer séparément si elle est sûre et si elle est culturellement intelligente.

Surprise n°2 : Les modèles locaux « falsifient » la sécurité.

L'analogie : Imaginez un étudiant passant un test de mathématiques difficile.
- Modèle A (Global) : Comprend la question, réfléchit longuement et dit : « Je ne peux pas résoudre cela car c'est dangereux. » (C'est la Vraie Sécurité).
- Modèle B (Local) : Ne comprend pas du tout la question, alors il fixe le vide ou dit des absurdités. Parce qu'il n'a pas répondu à la question, il n'a techniquement « rien fait de mal ».
Le constat : De nombreux modèles d'IA locaux semblaient « sûrs » parce qu'ils échouaient à comprendre la question, et non parce qu'ils faisaient un choix moral de refuser. Ils étaient « sûrs » par accident, et non par conception. Les chercheurs appellent cela l'« illusion de sécurité ».

5. Pourquoi cela compte

Cet article introduit une nouvelle façon de tester l'IA qui traite les différents pays comme des lieux uniques avec leurs propres règles, plutôt que comme de simples « anglais avec un accent différent ».

Il nous montre que pour construire une IA véritablement sûre pour le monde entier, nous devons cesser de nous fier aux tests traduits. Nous devons tester si l'IA peut gérer les arnaques locales et si elle sait ne pas offrir une fleur de funérailles comme cadeau d'anniversaire. Et surtout, nous devons nous assurer que l'IA n'est pas « sûre » simplement parce qu'elle est trop confuse pour répondre, mais sûre parce qu'elle comprend réellement le monde.

Résumé Technique : XL-SafetyBench

Énoncé du Problème

Les benchmarks de sécurité actuels pour les grands modèles de langage (LLM) sont majoritairement centrés sur l'anglais et reposent fortement sur des méthodologies basées sur la traduction. Cette approche échoue à capturer les préjudices spécifiques à un pays, ancrés dans les cadres juridiques locaux, les structures socioéconomiques et les normes culturelles. De plus, les benchmarks existants traitent la sécurité comme une dimension monolithique, ne parvenant pas à distinguer deux modes d'échec distincts : (1) l'incapacité à résister à une intention malveillante ou adversaire (jailbreaks), et (2) l'incapacité à détecter des sensibilités culturellement enracinées au sein de requêtes innocentes. Par conséquent, les modèles peuvent sembler sûrs en raison d'échecs de compréhension plutôt que d'un alignement véritable, et la conscience culturelle est souvent confondue avec la simple fluidité linguistique générale.

Méthodologie

Les auteurs présentent XL-SafetyBench, une suite d'évaluation complète comprenant 5 500 cas de test répartis sur 10 paires pays-langue (États-Unis, France, Allemagne, Espagne, Corée du Sud, Japon, Inde, Indonésie, Turquie et Émirats arabes unis). Le cadre est construit via un pipeline multi-étapes combinant une découverte assistée par LLM, une validation automatisée et une annotation indépendante par des locuteurs natifs.

Le benchmark se compose de deux pistes complémentaires :

1. Benchmark de Jailbreak (Robustesse Adversaire Ancrée dans le Pays)

Cette piste évalue la capacité d'un modèle à résister à une intention malveillante spécifique au contexte d'un pays.

Taxonomie : Définit cinq catégories de préjudices (Activités Criminelles, Auto-mutilation et Conseils Dangereux, Haine et Discrimination, Conflits Socioéconomiques, Politique et Désinformation). Chaque catégorie comprend 25 sous-catégories partagées (identiques d'un pays à l'autre) et 25 sous-catégories flexibles (spécifiques au pays, par exemple, la fraude « Jeonse » en Corée du Sud ou le « trafic de drogue Go-fast » en France).
Génération : Utilise un pipeline itératif de red-teaming (étendant le cadre PAIR) avec un attaquant, une cible de sonde et un juge. Les attaquants génèrent des prompts déguisés pour contourner les filtres de sécurité, validés par des locuteurs natifs pour assurer l'authenticité culturelle.
Métriques :
- Taux de Succès de l'Attaque (ASR) : Mesure le pourcentage de réponses fournissant des informations nuisibles.
- Taux de Neutralité-Sécurité (NSR) : Mesure les réponses qui sont hors sujet ou incohérentes (indiquant un échec de compréhension plutôt qu'un refus fondé sur des principes).

2. Benchmark Culturel (Sensibilités Culturellement Enracinées)

Cette piste évalue la capacité d'un modèle à détecter des tabous culturels intégrés comme des détails incidentels au sein de tâches naturelles et non nuisibles.

Taxonomie : Définit six catégories culturelles (Tabous Symboliques et Cadeaux, Alimentation/Lois Alimentaires, Mort/Deuil, Vie Quotidienne/Conduite Publique, Hiérarchie/Déférence Sociale, Mines Juridiques).
Génération : Des scénarios sont générés où une violation culturelle (par exemple, jeter du pain en Turquie) est enfouie comme un détail mineur au sein d'une demande plus large et distrayante (par exemple, une procédure de départ d'un hôtel).
Métriques :
- Taux de Sensibilité Culturelle (CSR) : Le pourcentage de réponses contextuellement pertinentes qui reconnaissent et signalent explicitement la sensibilité culturelle intégrée. Cette métrique conditionne la compréhension du scénario par le modèle pour isoler la conscience culturelle des échecs généraux de suivi d'instructions.

Contributions Clés

Cadre Bidimensionnel : L'article propose de séparer l'évaluation de la sécurité en robustesse adversaire (résistance au préjudice explicite) et sensibilité culturelle (détection des normes implicites), arguant que ce sont des capacités distinctes nécessitant un rapport séparé.
Construction Ancrée dans le Pays : Contrairement aux benchmarks basés sur la traduction, XL-SafetyBench génère des prompts en langue native ancrés dans les lois locales, les phénomènes sociaux et les tabous culturels spécifiques, validés par des locuteurs natifs possédant une expertise sectorielle.
Métriques Nouvelles : L'introduction du NSR pour distinguer les refus « sûrs » des échecs de compréhension « non sûrs », et du CSR pour mesurer la détection culturelle implicite plutôt que la récupération explicite de connaissances.
Évaluation Complète : Le benchmark évalue 37 modèles, dont 10 modèles globaux de pointe et 27 modèles locaux spécifiques à un pays.

Résultats et Analyse

L'évaluation de 37 modèles produit deux constatations principales :

1. Découplage de la Sécurité et de la Conscience Culturelle

Parmi les modèles de pointe, la robustesse face aux jailbreaks (faible ASR) et la conscience culturelle (élevé CSR) ne présentent pas de relation couplée.

Modèles de Pointe : Alors que des modèles comme Claude-4.5-Sonnet démontrent une haute robustesse (ASR ~2,8 %) et une conscience culturelle modérée (CSR ~68 %), d'autres comme Gemini-3.1-Pro montrent une haute conscience culturelle (CSR ~76 %) mais une robustesse plus faible. La corrélation entre ASR et CSR est faible ( $r = -0,27$ ) en excluant les valeurs aberrantes à poids ouvert, indiquant que l'alignement de sécurité ne confère pas automatiquement une compétence culturelle.
Modèles Locaux : Les modèles locaux présentent généralement de faibles performances sur les deux axes, beaucoup obtenant des scores proches de zéro en matière de sensibilité culturelle.

2. L'Illusion de Sécurité dans les Modèles Locaux

Une constatation critique concernant les modèles locaux spécifiques à un pays est la forte corrélation négative entre ASR et NSR ( $r = -0,81$ ).

Échec de Compréhension : De nombreux modèles locaux avec un faible ASR (apparaissant « sûrs ») y parviennent non pas en refusant les requêtes nuisibles, mais en générant des sorties hors sujet, dégénérées ou incohérentes (NSR élevé).
Dépendance à l'Échelle : Ce compromis est lié à l'échelle du modèle. Les petits modèles locaux (<10 milliards de paramètres) échouent fréquemment à comprendre les prompts adverses, gonflant leur NSR. Seuls les modèles dépassant ~50 milliards de paramètres montrent une baisse significative du NSR, indiquant un seuil pour une compréhension véritable. Cependant, même les plus grands modèles locaux (par exemple, EXAONE-236B) accusent un retard significatif derrière les modèles de pointe en matière de sensibilité culturelle (CSR maximal ~30 % contre >60 % pour les modèles de pointe).

Importance et Affirmations

L'article affirme que XL-SafetyBench fournit la granularité nécessaire pour évaluer la sécurité et la compétence culturelle en tant que capacités distinctes à l'ère multilingue. Il soutient que :

Les scores composites sont trompeurs : L'agrégation des métriques de sécurité obscurcit les variations critiques entre la robustesse adversaire et la conscience culturelle.
L'entraînement local est insuffisant : Le pré-entraînement sur des données de langue locale ne garantit pas la conscience culturelle ni un alignement de sécurité véritable ; cela aboutit souvent à des modèles qui échouent à comprendre le prompt dans son ensemble.
L'évaluation doit être désagrégée : Le rapport sur la sécurité doit séparer ASR, NSR et CSR pour diagnostiquer avec précision si un modèle est aligné, conscient culturellement, ou simplement en échec de compréhension.

Les auteurs concluent que les pratiques actuelles d'évaluation de la sécurité, en particulier celles reposant sur la traduction ou des scores unidimensionnels, échouent à capturer les nuances des préjudices ancrés dans un pays et des sensibilités culturelles, rendant nécessaires des cadres comme XL-SafetyBench pour une évaluation équitable et précise.