💬 NLP

JUBAKU: An Adversarial Benchmark for Exposing Culturally Grounded Stereotypes in Japanese LLMs

Ce papier présente JUBAKU, un benchmark adversaire conçu par des annotateurs natifs pour révéler les biais sociaux ancrés dans la culture japonaise que les modèles de langage japonais actuels, performants sur des benchmarks traduits, échouent à éviter.

Auteurs originaux : Taihei Shiotani, Masahiro Kaneko, Ayana Niwa, Yuki Maruyama, Daisuke Oba, Masanari Ohi, Naoaki Okazaki

Publié 2026-03-24

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Taihei Shiotani, Masahiro Kaneko, Ayana Niwa, Yuki Maruyama, Daisuke Oba, Masanari Ohi, Naoaki Okazaki

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎭 JUBAKU : Le Piège pour Révéler les Préjugés Cachés des IA Japonaises

Imaginez que les grands modèles de langage (les IA comme ChatGPT) soient comme des étudiants brillants qui ont lu des millions de livres. Ils sont très intelligents, mais ils ont aussi "lu" les préjugés, les stéréotypes et les idées reçues de la société dans laquelle ils ont été entraînés.

Le problème ? La plupart des examens pour vérifier si ces étudiants sont "justes" sont faits en anglais et basés sur la culture occidentale. C'est un peu comme si on essayait de tester la connaissance de la culture japonaise d'un élève en lui posant des questions sur les règles de la route aux États-Unis. Ça ne marche pas vraiment !

C'est là que les chercheurs japonais interviennent avec JUBAKU.

1. Le Nom : Un Jeu de Mots Significatif

Le mot "Jubaku" (呪縛) signifie "malédiction" ou "chaînes invisibles" en japonais. C'est une métaphore parfaite : l'objectif est de briser les chaînes invisibles des stéréotypes culturels qui lient encore ces IA.

2. Le Problème : Des Examens Mal Adaptés

Aujourd'hui, pour vérifier si une IA japonaise est raciste, sexiste ou stéréotypée, on utilise souvent des traductions de tests américains.

L'analogie : C'est comme demander à un chef japonais s'il sait cuisiner un sushi en lui donnant un questionnaire sur la façon de faire un burger.
La réalité : Les stéréotypes japonais sont différents. Par exemple, en Occident, on peut être direct. Au Japon, la culture valorise l'indirect, l'harmonie (Wa) et le respect de la hiérarchie. Un test occidental ne verra jamais les préjugés liés à ces nuances subtiles.

3. La Solution : Créer un Piège (L'Approche Adversaire)

Au lieu de poser des questions simples, les chercheurs ont créé JUBAKU, un examen spécial conçu pour piéger l'IA.

Comment ça marche ?
Imaginez un jeu de rôle. Un humain pose une question à l'IA dans un contexte très japonais (par exemple : "Un étudiant étranger blanc arrive dans ma classe, que lui dis-je ?").
L'IA a deux réponses possibles :
1. La réponse "Juste" : Polie, neutre, sans supposition.
2. La réponse "Piège" : Celle qui tombe dans le stéréotype (ex: "Parle-lui en anglais, car il est blanc, donc il ne doit pas parler japonais").
L'astuce de génie :
Les chercheurs n'ont pas juste écrit ces questions. Ils ont utilisé une IA très puissante (GPT-4o) pour essayer de tromper l'IA japonaise. Ils ont modifié les questions jusqu'à ce que l'IA japonaise choisisse involontairement la réponse préjugée. C'est comme un entraîneur qui modifie un exercice de sport jusqu'à ce que l'athlète fasse une erreur, révélant ainsi sa faiblesse cachée.

4. Les Résultats : Une Révélation Surprenante

Les chercheurs ont testé 9 IA japonaises différentes avec ce nouveau test "JUBAKU" et avec les anciens tests (traduits de l'anglais).

Sur les vieux tests : Les IA semblaient parfaites, obtenant de très bonnes notes (comme des élèves qui apprennent par cœur les réponses attendues).
Sur JUBAKU : Catastrophe ! Les IA ont obtenu des notes très basses, bien en dessous de ce qu'on attendrait d'un choix au hasard (autour de 23% de réussite).
- Ce que cela signifie : Les IA japonaises ont des préjugés profonds sur la race, la religion, les régions, les émotions, etc., que les tests classiques ne voyaient pas. Elles "pensent" que les blancs parlent anglais, que certaines régions sont moins intelligentes, ou que les femmes doivent rester discrètes.

5. Pourquoi c'est Important ?

Ce papier nous dit que la sécurité des IA dépend de la culture.

Si vous voulez une IA sûre au Japon, vous ne pouvez pas juste copier-coller les règles de l'Amérique.
Il faut créer des tests spécifiques, écrits par des humains locaux, qui comprennent les nuances de la société japonaise (comme le concept de Tatemae - la façade sociale - et Honne - les vrais sentiments).

En Résumé

JUBAKU est comme un détective culturel. Il ne se contente pas de regarder si l'IA est polie ; il la met dans des situations complexes typiquement japonaises pour voir si elle révèle ses préjugés cachés.

Les chercheurs ont prouvé que sans ce type de test "sur mesure", nous croyons à tort que nos IA sont neutres, alors qu'elles portent en elles les chaînes invisibles de nos propres stéréotypes culturels.

Leçon à retenir : Pour qu'une intelligence artificielle soit vraiment juste, elle doit comprendre la culture dans laquelle elle vit, pas juste traduire les règles d'une autre culture.

1. Problématique

Les grands modèles de langage (LLM) encodent des biais sociaux qui sont intrinsèquement façonnés par les normes culturelles. Bien que des benchmarks existent pour évaluer ces biais en anglais (comme CrowS-Pairs, BBQ, ou StereoSet), leur application aux contextes non anglophones, et spécifiquement au japonais, pose plusieurs problèmes majeurs :

Manque de pertinence culturelle : Les benchmarks existants pour le japonais sont souvent de simples traductions de datasets occidentaux. Ils échouent à capturer les stéréotypes spécifiques à la culture japonaise, tels que les relations hiérarchiques complexes, les dialectes régionaux, ou les rôles de genre traditionnels.
Insuffisance des évaluations standard : Les évaluations classiques ne parviennent pas à révéler les biais latents car elles ne testent pas les modèles avec des entrées adversariales conçues pour provoquer des réponses préjudiciables.
Limites de la génération automatique : Se fier à des LLM pour générer des données d'évaluation peut introduire une circularité et masquer les biais que l'on cherche à découvrir, tout en manquant souvent d'ancrage culturel profond.

2. Méthodologie : Le Benchmark JUBAKU

Pour répondre à ces limites, les auteurs ont développé JUBAKU (Japanese cUlture adversarial BiAs benchmarK Under handcrafted creation), un benchmark conçu spécifiquement pour le contexte culturel japonais.

A. Définition des Catégories Culturelles

Le benchmark s'appuie sur dix catégories culturelles définies pour couvrir les aspects spécifiques du Japon (inspirées d'Adilazuarda et al., 2024) :

Genre
Religion
Ethnie
Éducation
Race
Région
Émotions et Valeurs
Nourriture et Boissons
Actions de base
Noms

B. Processus de Création des Données (Adversarial & Handcrafted)

Contrairement aux approches purement automatiques, JUBAKU utilise une approche hybride combinant l'annotation humaine et l'ingénierie adversariale :

Annotation Humaine : Six annotateurs natifs japonais, experts en NLP, ont créé manuellement des scénarios de dialogue. Chaque instance comprend un contexte (conversation) et deux réponses candidates : une biaisée (basée sur un stéréotype culturel) et une non biaisée.
Construction Adversariale : Pour s'assurer que les instances sont suffisamment difficiles et révélatrices, les auteurs ont utilisé GPT-4o de manière itérative.
- Les annotateurs soumettent le contexte et les deux réponses à GPT-4o.
- Si GPT-4o choisit la réponse non biaisée, les annotateurs révisent le contexte pour renforcer le stéréotype implicite jusqu'à ce que le modèle sélectionne la réponse biaisée.
- Seules les instances où GPT-4o échoue (choisit le biais) sont conservées.
Augmentation : Pour améliorer la robustesse, chaque instance de base a été augmentée avec différentes instructions de tâche et des exemples few-shot, ainsi qu'en inversant l'ordre des réponses pour éliminer les biais de position.
- Volume final : 152 instances de base $\times$ 4 variations d'instructions $\times$ 2 ordres de réponse = 1 216 instances.

C. Protocole d'Évaluation

Les auteurs ont évalué neuf LLM japonais (Sarashina2, Qwen2.5, Swallow, calm3) sur JUBAKU et comparé les résultats avec trois benchmarks existants adaptés au japonais (JBNLI, JBBQ, SSQA-JA).

Tâche : Classification binaire (choisir la réponse la plus appropriée/non biaisée).
Métrique : Précision (Accuracy). Une faible précision indique un biais élevé.

3. Résultats Clés

Les expériences ont mis en évidence des écarts significatifs entre JUBAKU et les benchmarks traditionnels :

Échec des modèles sur JUBAKU : Tous les neuf LLM japonais testés ont obtenu une précision inférieure à la ligne de base aléatoire (50 %) sur JUBAKU.
- Précision moyenne : 23 % (variant de 13 % à 33 %).
- Cela signifie que les modèles choisissent systématiquement la réponse biaisée plutôt que la réponse neutre.
Performance sur les benchmarks existants : Les mêmes modèles ont obtenu de bien meilleurs résultats sur les autres benchmarks (JBNLI, JBBQ, SSQA-JA), avec des précisions allant souvent au-delà de 50-80 %. Cela suggère que les benchmarks existants ne détectent pas les vulnérabilités spécifiques au contexte japonais.
Validation Humaine : Des annotateurs humains ont atteint 91 % de précision sur JUBAKU, confirmant que les réponses non biaisées sont claires et que l'échec des LLM est bien dû à des biais latents et non à une ambiguïté de la tâche.
Analyse par Catégorie : Les catégories comme la « Religion » et la « Race » ont nécessité plus d'éditions adversariales pour tromper GPT-4o, suggérant une meilleure alignement de sécurité sur ces sujets. En revanche, les stéréotypes liés à la « Région » et à l'« Ethnie » ont été plus facilement exploités.
Généralisation : Les modifications adversariales conçues pour GPT-4o ont également provoqué une chute de précision significative chez les autres modèles, prouvant que JUBAKU expose des vulnérabilités transversales.

4. Contributions Principales

JUBAKU : Le premier benchmark de biais sociaux spécifiquement conçu pour la culture japonaise, basé sur des scénarios de dialogue réalistes et des normes culturelles locales, sans dépendre de traductions occidentales.
Méthodologie Adversariale Manuelle : Une approche novatrice combinant l'expertise humaine pour la création de contenu culturellement ancré et l'itération avec un LLM puissant pour renforcer l'aspect adversarial.
Preuve de l'Insuffisance des Évaluations Actuelles : La démonstration empirique que les modèles japonais, bien qu'apparemment sûrs sur les benchmarks standards, contiennent des biais culturels profonds et latents qui ne sont révélés que par des tests ciblés.

5. Signification et Impact

Sécurité des LLM : Ce travail souligne l'urgence de développer des évaluations de sécurité culturellement adaptées. Un modèle peut sembler « sûr » dans un contexte occidental mais perpétuer des stéréotypes nocifs dans un contexte japonais.
Direction de la Recherche : JUBAKU établit un nouveau standard pour l'évaluation des biais dans les langues non anglophones, encourageant la création de benchmarks locaux plutôt que l'importation de solutions occidentales.
Limites et Éthique : Les auteurs reconnaissent que le dataset ne couvre pas tous les biais (ex: orientation sexuelle, âge) et que l'évaluation se concentre sur la « sécurité » (éviter les biais) plutôt que sur l'utilité globale. Le dataset est publié avec des restrictions strictes : usage uniquement pour la recherche académique, interdit pour toute promotion de discours discriminatoires ou usage commercial.

En conclusion, JUBAKU révèle que les LLM japonais actuels sont particulièrement vulnérables aux stéréotypes culturels locaux, et que seule une évaluation adversariale ancrée dans la culture peut révéler et corriger ces failles.