ThaiSafetyBench: Assessing Language Model Safety in Thai Cultural Contexts

Ce travail présente ThaiSafetyBench, un benchmark open-source de 1 954 prompts malveillants en thaï conçu pour évaluer la sécurité des modèles de langage dans un contexte culturel spécifique, révélant que les attaques ancrées dans la culture thaïlandaise sont plus efficaces que les attaques générales et que les modèles open-source sont moins robustes que leurs équivalents propriétaires.

L'essentiel

Imaginez que vous venez d'ouvrir une immense bibliothèque mondiale remplie de livres écrits par des intelligences artificielles (les "LLM"). La plupart de ces livres sont en anglais, et on a passé des années à vérifier qu'ils ne racontent pas de bêtises dangereuses ou ne disent pas de méchancetés. Mais, il y a un gros problème : que se passe-t-il quand on parle la langue thaïe ?

C'est exactement ce que l'équipe derrière ce papier (ThaiSafetyBench) a voulu explorer. Voici l'histoire de leur découverte, racontée simplement.

🇹🇭 Le Problème : La "Cassette" qui ne tourne pas bien

Jusqu'à présent, les tests de sécurité des IA étaient comme des examens de conduite donnés uniquement sur des routes anglaises. Si une voiture (une IA) est parfaite sur ces routes, on suppose qu'elle est sûre partout.
Mais en Thaïlande, la culture est différente. Il y a des règles de politesse, des sujets sensibles (comme la monarchie), des blagues locales et des façons de parler uniques. Les chercheurs ont découvert que les IA, même celles qui sont très intelligentes, échouent souvent quand on leur pose des questions pièges spécifiques à la culture thaïe. C'est comme si une voiture savait conduire à Londres, mais paniquait dès qu'elle arrivait sur un marché thaïlandais bondé.

🛠️ La Solution : Le "ThaiSafetyBench" (Le Terrain d'Entraînement)

Pour régler ce problème, les auteurs ont créé un nouveau terrain d'entraînement appelé ThaiSafetyBench.

• C'est quoi ? Une liste de 1 954 questions pièges (des "prompts") écrites en thaï.
• Le contenu ? Certaines questions sont des pièges classiques (comme "Comment fabriquer une bombe ?"), mais beaucoup d'autres sont des pièges culturels. Par exemple : "Comment insulter quelqu'un sans qu'il le sache ?" ou "Comment contourner les règles sur la monarchie ?".
• L'objectif : Voir quelles IA résistent à ces attaques et lesquelles craquent.

🧪 Le Test : 24 IA mises à l'épreuve

Les chercheurs ont fait passer ce test à 24 robots intelligents différents :

1. Les géants fermés (comme GPT-4, Claude) : Ceux qui sont payants et gardés sous clé.
2. Les modèles ouverts (comme Llama, Qwen) : Ceux que tout le monde peut télécharger et modifier.
3. Des modèles spécialisés pour l'Asie du Sud-Est ou la Thaïlande.

Le verdict ?

• Les géants fermés (les "VIP") ont généralement bien résisté. Ils ont dit "Non" aux questions dangereuses.
• Les modèles ouverts ont souvent craqué. C'est inquiétant, car ce sont eux que les développeurs utilisent pour construire de nouvelles applications.
• La surprise : Les IA échouent beaucoup plus souvent quand l'attaque est culturellement thaïe que quand elle est juste en thaï mais générique. C'est comme si l'IA comprenait la langue, mais pas les "codes" de la société.

🤖 L'Outil Magique : Le "Gardien" (ThaiSafetyClassifier)

Vérifier manuellement si une IA a dit une bêtise prend du temps et coûte cher (il faut des humains ou des IA très puissantes).
Pour aider tout le monde, les chercheurs ont entraîné un petit robot "gardien" (basé sur un modèle appelé DeBERTa).

• Son rôle : Il lit la question et la réponse de l'IA, puis dit instantanément : "Sûr" ou "Dangereux".
• Son efficacité : Il est aussi bon que les experts humains (90% de fiabilité) mais beaucoup plus rapide et gratuit. C'est comme avoir un détecteur de mensonges automatique pour la culture thaïe.

🏆 Le Tableau d'Honneur (Leaderboard)

Enfin, ils ont créé un classement public (comme un tableau des scores au golf).

• N'importe quel développeur peut envoyer son modèle pour voir où il se place.
• Cela encourage tout le monde à faire des IA plus sûres, car personne ne veut être en bas du classement !

💡 En résumé

Ce papier nous dit une chose importante : La sécurité de l'IA ne peut pas être "universelle". On ne peut pas juste traduire des règles anglaises en thaï. Il faut comprendre la culture, les nuances et les valeurs locales pour vraiment protéger les gens.

Les chercheurs ont fourni la carte (le dataset), le test (le benchmark), le gardien (le classifieur) et le tableau d'honneur pour aider la communauté à construire des IA qui respectent vraiment la culture thaïe. C'est un grand pas vers des robots plus polis et plus sûrs pour tout le monde !

Résumé technique

1. Problématique

L'évaluation de la sécurité des Grands Modèles de Langage (LLM) est actuellement dominée par des benchmarks en anglais, laissant les langues à faible ressources et les risques ancrés culturellement sous-évalués. Les recherches antérieures montrent que les attaques contre les LLM dans des langues autres que l'anglais réussissent plus souvent que dans les langues à fort volume de données.

• Le vide spécifique : Il existe un manque critique de jeux de données de sécurité publics reflétant le contexte culturel, social et linguistique thaïlandais.
• La conséquence : Les benchmarks existants ne capturent pas les nuances culturelles (comme les tabous royaux, les normes sociales ou les spécificités locales), ce qui empêche d'identifier les vulnérabilités spécifiques des modèles déployés en Thaïlande.

2. Méthodologie

A. Création du Dataset : ThaiSafetyBench

Les auteurs ont développé ThaiSafetyBench, un benchmark open-source composé de 1 954 prompts malveillants en thaï.

• Taxonomie hiérarchique : Le dataset couvre 6 zones de risque et 17 types de préjudices, adaptés à la culture thaïlandaise.
  • Exemples de catégories : Discrimination, Interactions humain-chatbot, Informations sensibles, Usages malveillants, Désinformation, et Préjudices socio-culturels thaï (questions frontalières, destruction culturelle, sujets liés à la monarchie, comportement inapproprié selon l'étiquette thaïe).
• Construction des données :
  1. Traduction : Traduction du dataset Do-Not-Answer (anglais) en thaï, affinée par des annotateurs natifs.
  2. Curration : Filtrage et nettoyage d'un dataset de sécurité thaï existant (Typhoon2).
  3. Génération : Création de nouveaux échantillons via un LLM non censuré (Grok 3) et transformation de données de fausses nouvelles thaïes, suivie d'une validation manuelle stricte.
     Note : Pour se conformer à la réglementation thaïlandaise, la version publique exclut la catégorie « Monarchie ».

B. Évaluation des Modèles

• Modèles testés : 24 LLMs ont été évalués, incluant des modèles commerciaux fermés (GPT-5, Claude 4.5), des modèles open-source multilingues (Llama, Qwen, Gemma), des modèles adaptés à l'Asie du Sud-Est (SeaLLMs) et des modèles spécifiquement affinés pour le thaï (Typhoon2, OpenThaiGPT).
• Juges (LLM-as-a-Judge) : L'évaluation a été réalisée par deux juges indépendants : GPT-4.1 et Gemini-2.5-Pro.
• Métrique : Le taux de réussite de l'attaque (ASR - Attack Success Rate), défini comme la proportion de réponses jugées « nuisibles » parmi tous les prompts. La moyenne des deux juges est rapportée.

C. Classifieur de Sécurité (ThaiSafetyClassifier)

Pour réduire les coûts et améliorer la reproductibilité, les auteurs ont fine-tuné un classifieur binaire basé sur DeBERTaV3 (avec LoRA).

• Entrée : Paire (Prompt, Réponse du LLM).
• Performance : Le modèle atteint un score F1 pondéré de 84,4 %, correspondant étroitement aux jugements de GPT-4.1.

3. Résultats Clés

A. Performance Globale

• Modèles fermés vs Ouverts : Les modèles commerciaux fermés (Closed-source) démontrent globalement une meilleure sécurité que leurs équivalents open-source.
• Vulnérabilité des modèles ouverts : De nombreux modèles open-source, même ceux affinés pour le thaï, présentent des taux d'échec (ASR) plus élevés, soulignant un écart de robustesse.

B. L'Écart Culturel (Thai-Specific vs General)

• Résultat majeur : Les attaques spécifiquement ancrées dans la culture thaïe (Thai-specific attacks) obtiennent un ASR systématiquement plus élevé que les attaques générales en thaï.
• Implication : Les méthodes d'alignement actuelles échouent à protéger les modèles contre les nuances culturelles locales, créant une faille de sécurité critique pour les applications régionales.

C. Relation Taille du Modèle et Sécurité

• Effet de l'échelle : Généralement, les modèles plus grands (plus de paramètres) affichent un ASR plus faible (meilleure sécurité).
• Qualité des données : Cependant, certains modèles plus petits mais bien entraînés (comme SeaLLMs-v3) rivalisent avec des modèles plus grands, suggérant que la qualité des données d'entraînement et l'alignement sont aussi cruciaux que la taille.
• Pré-entraînement continu (CPT) : L'ajout d'un pré-entraînement continu (CPT) pour adapter les modèles au thaï ou à l'Asie du Sud-Est n'améliore pas systématiquement la sécurité. Cela dépend fortement de la qualité des données d'ajustement et de l'intégration de filtres de sécurité.

4. Contributions Principales

1. ThaiSafetyBench Dataset : Un benchmark de sécurité thaïlandais de haute qualité, contenant 1 954 prompts, avec une taxonomie hiérarchique incluant des cas culturellement contextualisés.
2. Évaluation Comprehensive : Une analyse systématique de 24 LLMs utilisant des juges LLM avancés, fournissant des insights sur les performances de sécurité dans un contexte non-anglais.
3. ThaiSafetyBench Leaderboard : Une plateforme publique et interactive pour suivre les classements de sécurité des modèles thaïlandais et encourager les soumissions communautaires.
4. ThaiSafetyClassifier : Un classifieur de réponse nuisible léger (DeBERTa) et open-source, permettant une évaluation reproductible et peu coûteuse avec une forte corrélation aux juges humains/LLM.

5. Signification et Impact

Ce travail met en lumière une lacune critique dans l'écosystème actuel de l'IA : l'insécurité des modèles face aux contextes culturels locaux.

• Pour la recherche : Il démontre que la traduction simple de benchmarks anglais est insuffisante ; des données culturellement natives sont nécessaires pour évaluer la véritable sécurité.
• Pour l'industrie : Il fournit aux développeurs thaïlandais et internationaux des outils (dataset, classifieur, leaderboard) pour auditer et améliorer la sécurité de leurs modèles avant le déploiement.
• Pour la société : En identifiant les vulnérabilités spécifiques (comme les sujets sensibles liés à la monarchie ou aux normes sociales), ce travail aide à prévenir les dommages réels causés par des LLMs mal alignés dans des contextes culturels spécifiques.

En conclusion, ThaiSafetyBench établit un nouveau standard pour l'évaluation de la sécurité des LLMs au-delà de l'anglais, en insistant sur la nécessité d'un alignement culturel profond pour une IA véritablement digne de confiance.