💬 NLP

Lost in Localization: Building RabakBench with Human-in-the-Loop Validation to Measure Multilingual Safety Gaps

Cet article présente RabakBench, un benchmark de sécurité multilingue validé par l'humain pour le paysage linguistique de Singapour, qui révèle des écarts de performance significatifs dans les garde-fous des LLM de pointe lors du traitement de langues à faibles ressources telles que le singlish, le chinois, le malais et le tamoul.

Auteurs originaux : Gabriel Chua, Leanne Tan, Ziyu Ge, Roy Ka-Wei Lee

Publié 2026-02-03

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Gabriel Chua, Leanne Tan, Ziyu Ge, Roy Ka-Wei Lee

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un agent de sécurité très intelligent et bien entraîné pour la surveillance d'un bâtiment. Cet agent est excellent pour repérer les problèmes lorsque les gens parlent en « anglais standard ». Il sait exactement à quoi ressemble un commentaire impoli, une menace ou une idée dangereuse dans cette langue.

Mais maintenant, imaginez que ce même agent soit chargé de surveiller un quartier multiculturel et animé où les gens mélangent langues, argots et dialectes locaux. Soudain, l'agent est confus. Il pourrait manquer une véritable menace parce qu'elle est cachée dans une blague locale, ou il pourrait arrêter à tort un voisin inoffensif parce qu'il ne comprend pas une expression culturelle.

Ce document, RABAKBENCH, porte sur la création d'un nouveau « test » pour voir si ces agents de sécurité IA savent gérer ce quartier réel et désordonné. Le quartier en question est Singapour, un endroit où les gens mélangent constamment l'anglais avec des mots chinois, malais et tamouls (un mélange appelé « Singlish »).

Voici comment les chercheurs ont construit leur test et ce qu'ils ont découvert, expliqués simplement :

1. Le problème : Le « angle mort de la localisation »

Les systèmes de sécurité IA actuels sont comme des gardes qui n'ont étudié qu'un manuel d'anglais standard. Ils échouent face au :

Code-mixing (mélange de codes) : Des phrases qui passent d'une langue à l'autre.
L'argot : Des mots locaux dont le sens change selon le contexte.
Les dialectes : Des manières régionales de parler qui ne sont pas de l'anglais « correct ».

Les chercheurs ont constaté que ces agents IA commettent souvent deux grosses erreurs :

Les faux négatifs : Ils ratent de véritables discours de haine ou des menaces parce que les mots ressemblent à de l'argot inoffensif pour eux.
Les faux positifs : Ils signalent des blagues culturelles inoffensives comme étant dangereuses, réduisant ainsi le silence de conversations normales.

2. La solution : Construire « RABAKBENCH »

Pour corriger cela, l'équipe a construit un terrain de test massif appelé RABAKBENCH (nommé d'après un mot local signifiant « extrême » ou « intense »). Voyez cela comme un simulateur pour la sécurité de l'IA.

Ils n'ont pas seulement écrit ces phrases de test eux-mêmes ; ils ont utilisé un processus d'usine astucieux en trois étapes :

Étape 1 : L'attaque de la « Red Team » (Générer)
Imaginez un groupe de hackers essayant de piéger les agents de sécurité IA. Les chercheurs ont utilisé l'IA pour générer des milliers d'exemples complexes et réels de Singlish, incluant des choses qui semblent dangereuses mais qui pourraient être sûres, et des choses qui semblent sûres mais qui sont en réalité toxiques. Ils ont même utilisé une IA « critique » pour aider l'IA « attaquante » à devenir meilleure pour trouver les points faibles.
Étape 2 : Les « Super-Labelers » (Étiqueter)
Étiqueter ces phrases complexes à la main est coûteux et difficile. Ainsi, les chercheurs ont testé plusieurs modèles d'IA différents pour voir lesquels étaient les meilleurs pour comprendre le jugement humain. Ils ont trouvé trois modèles d'IA « vedettes » qui étaient d'accord avec les experts humains dans 70 à 80 % des cas. Ils ont utilisé ces modèles d'IA pour étiqueter les données, mais ils ont gardé un humain dans la boucle pour revérifier le travail, garantissant ainsi l'exactitude des nuances culturelles.
Étape 3 : Le « Traducteur Culturel » (Traduire)
Ils ont pris leurs cas de test en Singlish et les ont traduits en chinois, en malais et en tamoul. Mais voici le piège : les traducteurs standards ont tendance à « aseptiser » les mauvais mots pour les rendre polis. Les chercheurs ont construit un processus de traduction spécial qui garantissait que la toxicité restait la même. Si une phrase était méchante en Singlish, la traduction devait être tout aussi méchante en malais ou en tamoul, préservant ainsi la « saveur » et l'intention d'origine.

Le résultat ? Un ensemble de données de plus de 5 000 exemples couvrant quatre langues, avec des étiquettes détaillées sur la raison exacte pour laquelle quelque chose est dangereux (par exemple, est-ce un discours de haine ? est-ce juste une insulte ? est-ce une menace ?).

3. Les résultats : Les gardes ont échoué au test

Les chercheurs ont pris 13 des meilleurs systèmes de sécurité IA au monde (à la fois commerciaux comme ceux de Google et OpenAI, et open-source) et les ont soumis à ce nouveau test.

Le verdict est sévère :

La performance a chuté : Des systèmes qui obtenaient plus de 80 % aux tests d'anglais standard sont souvent tombés en dessous de 50 % lors de ce test local.
Le « fossé tamoul » : La performance était particulièrement mauvaise pour le tamoul, où de nombreux systèmes ont obtenu moins de 30 %.
Le « taille unique » ne fonctionne pas : L'étude a montré qu'on ne peut pas simplement entraîner un garde sur l'anglais et s'attendre à ce qu'il fonctionne partout. Ils ont besoin d'un entraînement spécifique pour les cultures locales.

4. Pourquoi cela importe

Le document soutient que si nous voulons que l'IA soit sûre pour tout le monde, nous ne pouvons pas nous contenter de règles d'anglais standard. Nous devons construire des systèmes de sécurité qui comprennent la « saveur locale ».

L'idée à retenir :
RABAKBENCH est comme un examen du permis de conduire pour la sécurité de l'IA dans des environnements multiculturels. Il prouve que les conducteurs d'IA actuels sont excellents sur l'autoroute (l'anglais standard) mais terribles dans les rues de la ville (les dialectes locaux). Les chercheurs ont rendu leurs questions et réponses de test publics afin que d'autres développeurs puissent construire de meilleurs agents de sécurité plus conscients de la culture pour l'avenir.

Ce que le document ne prétend PAS :

Il ne prétend pas avoir déjà réparé les systèmes d'IA ; il a seulement construit le test pour montrer qu'ils sont défaillants.
Il ne suggère pas que ces tests doivent être utilisés pour la sécurité clinique ou médicale.
Il ne promet pas que les futures IA seront automatiquement parfaites ; il fournit simplement une feuille de route sur la façon de les mesurer et de les améliorer.

Résumé Technique : RABAKBENCH

Problématique

Les grands modèles de langage (LLM) présentent fréquemment des échecs de sécurité d'alignement significatifs lors du traitement de variétés linguistiques à faibles ressources, y compris les mélanges de codes (code-mixing), les dialectes régionaux et l'argot. Bien que les garde-fous actuels soient souvent robustes en anglais standard, ils souffrent d'un « angle mort de localisation », échouant à détecter les préjudices localisés tout en signalant comme dangereux des vernaculaires culturels pourtant bénins. Ce problème est particulièrement aigu dans les sociétés hautement multilingues comme Singapour, où les utilisateurs passent de manière fluide entre le Singlish (un créole mélangeant l'anglais, le malais, le hokkien et le tamoul), le chinois, le malais et le tamoul. La construction de bancs d'essai de sécurité pour ces contextes a historiquement été entravée par le coût élevé de l'annotation manuelle et la nécessité d'une profonde maîtrise culturelle localisée.

Méthodologie

Les auteurs introduisent RABAKBENCH, un banc d'essai de sécurité multilingue et un pipeline à trois étapes évolutif conçu pour générer, annoter et étendre les données de sécurité pour le paysage linguistique de Singapour. Le cadre intègre une validation par l'humain dans la boucle (human-in-the-loop) à des étapes critiques afin de garantir l'exactitude culturelle et la préservation de la toxicité.

1. Générer : Génération d'exemples adverses

Le pipeline commence par la construction d'un corpus de haute qualité de cas de test en Singlish via une approche hybride :

Transformation de contenu local : Des commentaires organiques et non structurés en Singlish provenant de forums web locaux sont sélectionnés et normalisés en requêtes de type instruction via des transformations basées sur des modèles (templates).
Red-Teaming automatisé des garde-fous : Une boucle itérative multi-agents (inspirée de PAIR) est déployée contre cinq garde-fous de référence (incluant LionGuard, OpenAI Moderation et LlamaGuard 3). Un LLM d'attaque génère des candidats de prompts en Singlish, tandis qu'un LLM critique analyse la sortie du classificateur cible pour identifier les erreurs de classification (faux négatifs et faux positifs).
Vérification humaine : Un réviseur humain filtre tous les candidats produits pour garantir l'authenticité et la cohérence avec l'usage local, écartant les entrées dépourvues de sens.

2. Étiqueter : Supervision faible via l'accord des LLM

Pour remédier au coût élevé de l'annotation manuelle pour le Singlish, les auteurs emploient une stratégie de supervision faible :

Sélection des LLM : Six LLM candidats ont été évalués par rapport à un ensemble de référence (gold-standard) de 50 exemples étiquetés par six experts humains maîtrisant le Singlish. En utilisant la méthodologie Alt-Test, les auteurs ont validé statistiquement que des modèles spécifiques (Gemini 2.0 Flash, o3-mini-low et Claude 3.5 Haiku) s'alignent de manière significative avec les jugements humains.
Vote majoritaire : Les trois modèles sélectionnés attribuent indépendamment des étiquettes binaires à travers six catégories de préjudices fines. Les étiquettes finales sont déterminées par vote majoritaire pour assurer la stabilité.
Validation : Les modèles sélectionnés ont obtenu des scores de kappa de Cohen compris entre 0,68 et 0,72 par rapport au consensus humain, indiquant un accord substantiel.

3. Traduire : Extension multilingue préservant la toxicité

Le corpus de Singlish est étendu au chinois, au malais et au tamoul via une configuration de traduction conçue pour préserver à la fois le sens sémantique et le niveau de toxicité intentionnel :

Construction par quelques exemples (few-shot) curatée par des experts : Un pool de 20 exemples de haute fidélité, vérifiés manuellement par langue, a été créé via des ateliers itératifs impliquant des professionnels des langues basés à Singapour. Ces exemples ont été sélectionnés via un processus en trois étapes impliquant des candidats LLM et un raffinement humain.
Sélection et optimisation des modèles : Plusieurs LLM de pointe ont été testés pour la fidélité de la traduction en utilisant la similitude sémantique directe et la cohérence de la rétro-traduction. GPT-4o mini a été sélectionné comme le modèle optimal.
Prompting dynamique : Le nombre d'exemples de few-shot ( $k$ ) est classé dynamiquement en fonction de la similitude sémantique avec l'entrée cible ( $k=15$ pour le chinois, $k=10$ pour le malais, $k=20$ pour le tamoul) afin que le modèle reçoive des démonstrations contextuellement pertinentes de l'argot et de la toxicité.
Validation finale : Un second groupe d'experts linguistiques a évalué un échantillon stratifié du corpus traduit, confirmant que les traductions automatiques étaient comparables aux bases de référence vérifiées par des humains.

Principales contributions

Jeu de données RABAKBENCH : La publication du premier banc d'essai de sécurité ouvert couvrant les variantes linguistiques de Singapour (Singlish, chinois, malais, tamoul) avec plus de 5 000 exemples. Il présente une taxonomie de préjudices fine avec des niveaux de sévérité (Niveau 1 et Niveau 2) à travers six catégories : Haineux, Insultes, Sexuel, Violence Physique, Auto-mutilation et Tous les autres comportements répréhensibles.
Cadre Générer-Étiqueter-Traduire : Un pipeline reproductible qui combine la génération par LLM à grande échelle, une supervision faible efficace par vote majoritaire et une traduction de haute fidélité, le tout soutenu par une vérification humaine à des étapes critiques.
Méthode de traduction préservant la toxicité : Une approche systématique pour étendre les jeux de données de sécurité vers de nouvelles langues tout en maintenant l'intention malveillante originale et l'intensité émotionnelle, répondant à l'échec courant des modèles de traduction standard qui purgent ou traduisent mal les idiotismes régionaux.
Évaluation complète : Un test de 13 systèmes de modération contemporains (commerciaux et open-source) par rapport au jeu de données.

Résultats expérimentaux

Les évaluations de 13 garde-fous sur RABAKBENCH ont révélé une dégradation significative des performances par rapport aux bancs d'essai standards centrés sur l'anglais :

Écart de performance : Les modèles présentant des scores F1 élevés sur les jeux de données anglais standards (ex. WildGuard à 86,1 %, DuoGuard à 74,9 %) ont vu leurs scores chuter drastiquement sur RABAKBENCH (à 47,27 % et 45,03 %, respectivement).
Goulots d'étranglement linguistiques : Les performances varient considérablement selon les langues. Bien que certains modèles (ex. Qwen3Guard, gpt-oss-safeguard) aient atteint des scores F1 supérieurs à 80 % en chinois et en malais, les performances en tamoul étaient particulièrement faibles, de nombreux modèles scorent en dessous de 30 %.
Commercial vs Open Source : Les outils commerciaux largement utilisés comme Perspective API ont obtenu un F1 moyen de seulement 28,40 %, tandis que les nouveaux modèles open-source comme Qwen3Guard et gpt-oss-safeguard ont démontré des capacités multilingues supérieures, bien qu'ils luttent toujours avec certaines nuances localisées.

Signification et affirmations

L'article affirme que RABAKBENCH fournit un cadre reproductible pour construire des bancs d'essai de sécurité dans les communautés mal desservies, dépassant les politiques de sécurité « taille unique » qui échouent dans les déploiements mondiaux. Les auteurs soutiennent que les écarts de performance observés mettent en évidence un « angle mort de localisation » critique où les techniques d'alignement actuelles sont trop sensibles aux mots-clés mais trop peu sensibles à l'intention pragmatique des vernaculaires régionaux. Cette sur-censure risque de provoquer une « marginalisation numérique », forçant les utilisateurs à revenir à l'anglais standard et érodant la confiance dans l'IA localisée.

Les auteurs positionnent RABAKBENCH non pas simplement comme un jeu de données pour Singapour, mais comme un schéma directeur agnostique de la tâche pour évaluer la sécurité dans les environnements de code-mixing et à faibles ressources à l'échelle mondiale. En utilisant l'Alt-Test pour construire des jeux de données de haute qualité sans nécessiter d'équipes d'annotation humaine massives, le cadre offre un modèle évolutif pour faire progresser la sécurité de l'IA multilingue. Le jeu de données et le code d'évaluation sont publics pour faciliter la recherche ultérieure.