🤖 AI

Obfuscation Rules for Detecting and Detoxifying Korean Toxicity

Cet article présente KOTOX, le premier ensemble de données coréen et cadre de transformation open source conçu pour détecter et désinfecter simultanément le contenu toxique obfusqué en catégorisant des motifs d'obfuscation ancrés linguistiquement et en entraînant des modèles à gérer des expressions déguisées sans compromettre les performances sur le texte standard.

Auteurs originaux : Yejin Lee, Su-Hyeon Kim, Hyundong Jin, Dayoung Kim, Yeonsoo Kim, Yo-Sub Han

Publié 2026-05-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yejin Lee, Su-Hyeon Kim, Hyundong Jin, Dayoung Kim, Yeonsoo Kim, Yo-Sub Han

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Le « Secret Handshake » de la Toxicité

Imaginez une cour de récréation où un intimidateur essaie de dire quelque chose de méchant pour faire punir un enfant. Mais la cour a une règle stricte : « Aucun mot méchant autorisé ». Alors, l'intimidateur modifie légèrement ses mots pour passer inaperçu auprès de l'enseignant. Au lieu de dire « Tu es stupide », il pourrait dire « Tu es st00p!d » ou « Tu es s-t-u-p-i-d ».

Dans le monde numérique, cela s'appelle l'obfuscation. Les gens déforment intentionnellement l'orthographe, remplacent des lettres par des symboles (comme @ pour a), ou réorganisent les mots pour cacher le contenu toxique (nuisible/offensant) aux filtres automatiques.

Le papier souligne un gros problème : la plupart des programmes informatiques conçus pour repérer le mauvais langage sont entraînés sur du texte « propre ». Ils sont comme des gardes de sécurité qui ne savent repérer que les personnes portant un chapeau rouge. Si l'intimidateur porte un chapeau bleu avec une rayure rouge, le garde le manque. C'est particulièrement délicat en coréen, car la langue est construite comme des blocs Lego (agglutinante). On peut facilement échanger, ajouter ou réorganiser ces blocs sans changer le sens, ce qui rend très difficile pour les ordinateurs de repérer les insultes cachées.

La Solution : KOTOX (La « Salle de Sport d'Entraînement »)

Les chercheurs de l'Université Yonsei ont créé un nouvel outil appelé KOTOX. Imaginez KOTOX comme une salle de sport spécialisée pour les modèles d'IA.

Au lieu de montrer à l'IA uniquement des phrases normales, KOTOX propose un entraînement « apparié » :

L'Original : Une phrase neutre et une phrase toxique.
Le Déguisement : Les mêmes phrases, mais « obfusquées » (déformées) de manières spécifiques.

Les chercheurs n'ont pas seulement deviné comment les gens cachent les mauvais mots ; ils ont étudié de vrais exemples sur Internet et créé cinq catégories spécifiques de « déguisements » basées sur le fonctionnement de la langue coréenne :

Phonologique (Ressemblance sonore) : Changer des lettres pour qu'elles sonnent pareil mais aient une apparence différente (par exemple, remplacer une consonne par une autre qui sonne de manière similaire). Analogie : Changer « chat » en « kat ».
Iconologique (Ressemblance visuelle) : Remplacer des caractères par des symboles qui se ressemblent (par exemple, utiliser le chiffre 3 au lieu d'un E, ou un caractère d'un autre script). Analogie : Écrire « H@te » au lieu de « Hate ».
Translittération (Translangue) : Mélanger des lettres d'autres langues (comme l'anglais ou les caractères chinois) qui sonnent de la même manière. Analogie : Écrire « Gongbu » (étudier) au lieu du mot coréen.
Syntaxique (Déformation de structure) : Détruire l'espacement ou l'ordre des syllabes. Analogie : Écrire « st up id » au lieu de « stupid ».
Pragmatique (Distraction par émojis) : Ajouter des émojis ou des symboles étranges pour distraire l'attention de l'ordinateur. Analogie : Ajouter un émoji cœur ❤ à côté d'un mot méchant pour confondre le filtre.

Comment ils l'ont construit

L'équipe a commencé avec un ensemble de données existant de phrases coréennes (certaines gentilles, d'autres méchantes). Ils ont agi comme des éditeurs stricts :

Ils ont éliminé les mauvais exemples (comme les phrases contenant des noms personnels ou une grammaire confuse).
Ils ont appliqué leurs nouvelles « règles de déguisement » pour créer des milliers de nouvelles paires.
Le résultat est un ensemble de données massif où chaque phrase possède une version « propre » et une version « déguisée ».

Les Résultats : Entraîner l'IA

Les chercheurs ont testé cette nouvelle salle de sport (KOTOX) sur plusieurs modèles d'IA. Voici ce qui s'est passé :

Avant l'entraînement : Les modèles d'IA étaient terribles pour repérer le texte toxique déguisé. Si le texte était déformé, ils pensaient qu'il était sûr.
Après l'entraînement : Lorsque les modèles ont été entraînés sur KOTOX, ils sont devenus beaucoup meilleurs dans deux domaines :
1. Déobfuscation : Ils pouvaient regarder le texte désordonné et déguisé et « annuler » les changements pour voir le sens original.
2. Détoxification : Ils pouvaient prendre le texte toxique déguisé et le réécrire en une version polie et sûre.

La découverte clé : L'entraînement sur ces données spécifiques de « déguisement » n'a pas seulement aidé avec le texte désordonné ; il a en fait rendu les modèles meilleurs pour repérer le texte toxique normal et propre aussi. C'est comme un garde de sécurité qui, après s'être entraîné à repérer des gens se cachant dans les buissons, devient meilleur pour repérer n'importe qui agissant de manière suspecte, même s'ils ne se cachent pas.

Pourquoi c'est important

C'est le premier ensemble de données de ce genre spécifiquement pour le coréen. Cela montre que pour arrêter le contenu toxique, on ne peut pas simplement apprendre à l'IA à reconnaître les « mauvais mots ». Nous devons lui apprendre à reconnaître les « mauvais mots déguisés ». En comprenant les manières spécifiques dont les locuteurs coréens cachent leur toxicité, nous pouvons construire des filtres plus intelligents et plus robustes qui ne se laissent pas tromper par de simples astuces d'orthographe.

Résumé Technique : KOTOX – Un Jeu de Données Toxique Coréen pour la Déobfuscation et la Détoxification

Énoncé du Problème

Alors que les modèles de langage de grande taille (LLM) sont de plus en plus déployés dans des environnements en ligne, la détection et la suppression (détoxification) des contenus toxiques sont devenues critiques. Cependant, les recherches et les jeux de données existants se concentrent principalement sur des textes non obfusqués. Cette limitation réduit la robustesse des modèles lorsque les utilisateurs dissimulent intentionnellement des expressions toxiques pour échapper à la modération automatisée.

Le défi est particulièrement aigu en langue coréenne en raison de sa morphologie agglutinante et des propriétés spécifiques du système d'écriture Hangeul. Ces caractéristiques linguistiques permettent des variations de surface diversifiées — telles que des changements phonologiques, des substitutions visuelles et des perturbations de l'espacement — qui préservent l'intention toxique originale tout en modifiant l'apparence du texte. Les approches d'obfuscation actuelles reposent souvent sur des techniques simples (par exemple, le remplacement par des homophones ou l'insertion d'émojis) et manquent de taxonomies ancrées linguistiquement, spécifiques au coréen. De plus, les ressources existantes ne fournissent pas de contenus neutres et toxiques alignés conjointement avec leurs variantes obfusquées correspondantes, ce qui entrave l'expérimentation unifiée pour la déobfuscation et la détoxification.

Méthodologie

1. Construction des Règles d'Obfuscation

Les auteurs ont construit une taxonomie linguistiquement fondée des motifs d'obfuscation coréens, basée sur des instances réelles collectées sur des plateformes en ligne (par exemple, Agoda, Google Maps). Ils ont défini cinq catégories de règles de transformation :

Phonologique : Modifie le texte tout en préservant la prononciation (par exemple, remplacement de consonnes/voyelles par des unités phonétiquement similaires, resyllabification, liaison).
Iconologique : Génère une obfuscation par similarité visuelle, en substituant des caractères par des symboles, des chiffres ou des scripts visuellement analogues (par exemple, conversion du Hangeul en caractères CJK ou latins, rotation de glyphes).
Translittération : Transformations inter-scripts préservant la prononciation ou le sens. Cela inclut la substitution d'expressions coréennes par des scripts étrangers phonétiquement équivalents (latin/CJK) ou la traduction de mots en langues étrangères suivie d'une retranscription en Hangeul.
Syntaxique : Perturbe la structure de la phrase plutôt que les formes des caractères, spécifiquement par des variations d'espacement et un réordonnancement au niveau des syllabes (anagrammes).
Pragmatique : Insère des symboles ou des émojis pour altérer le ton perçu et distraire l'interprétation automatique sans changer le contenu sémantique.

2. Construction du Jeu de Données (KOTOX)

Les auteurs ont introduit KOTOX, le premier jeu de données apparié de haute qualité pour les textes toxiques obfusqués en coréen. Le pipeline de construction a impliqué :

Données Sources : Utilisation du jeu de données K/DA (paires neutres-toxiques coréennes) comme fondation.
Filtrage : Un processus de filtrage manuel rigoureux par des experts en linguistique coréenne a réduit 7 555 paires à 2 294 paires de haute qualité, en traitant des problèmes tels que le mauvais étiquetage, l'ill-formation sémantique et les informations personnellement identifiables (IPI).
Transformation : Application des règles de transformation définies pour générer des contreparties obfusquées. Pour chaque paire source $(x_n, x_t)$ , le jeu de données fournit un tuple aligné à quatre voies $(x_n, x_t, \tilde{x}_n, \tilde{x}_t)$ , où $\tilde{x}$ désigne la version obfusquée.
Augmentation : Le processus génère trois paires augmentées par source en appliquant $k \in \{2, 3, 4\}$ catégories de transformation, créant des niveaux de difficulté « Facile », « Normal » et « Difficile ».
Validation : Un mécanisme de vérification de bon sens garantit que le texte généré conserve sa lisibilité et sa cohérence sémantique, en rejetant les transformations invalides.

Le jeu de données final contient 6 882 échantillons (5 505 pour l'entraînement, 687 pour la validation, 690 pour le test) répartis en paires neutres-toxiques et leurs variantes obfusquées.

3. Tâches d'Évaluation

L'article définit trois tâches d'évaluation pour tester la robustesse des modèles :

Classification de Textes Toxiques Obfusqués : Classifier si un texte obfusqué est toxique.
Déobfuscation de Texte Neutre : Retrouver le texte neutre original à partir d'une entrée neutre obfusquée.
Assainissement de Texte Toxique Obfusqué : Générer une version déobfusquée et non toxique à partir d'une entrée toxique obfusquée (combinant déobfuscation et détoxification).

Des expériences ont été menées en utilisant plusieurs classificateurs de toxicité (HateBERT, offensiveRoBERTa, toxicity-xlmr-v2) et des LLMs entraînés par instruction (Qwen2.5, EXAONE 3.5, Bllossom, GPT-4.1) dans des configurations zero-shot, few-shot et d'affinement supervisé (SFT).

Résultats Clés

Robustesse de la Classification

Vulnérabilité de Référence : Les modèles entraînés sur des données originales (non obfusquées) ont montré une dégradation significative des performances lors de l'évaluation sur des textes obfusqués. Par exemple, le score F1 du modèle XLM-R est passé de 95,06 (sur données originales) à 53,66 (sur données obfusquées).
Efficacité de KOTOX : Les modèles affinés sur KOTOX ont démontré des améliorations constantes. L'affinement supervisé (SFT) sur KOTOX a atteint les meilleures performances dans les configurations obfusquées pour HateBERT (71,65 F1) et XLM-R (89,57 F1).
Généralisation : L'entraînement sur KOTOX a également amélioré les performances sur les entrées non obfusquées, suggérant que l'apprentissage des motifs d'obfuscation renforce la robustesse générale. Les petits modèles basés sur des encodeurs affinés sur KOTOX ont approché ou dépassé les performances de GPT-4.1 dans des configurations zero-shot.

Déobfuscation et Assainissement

Limitations Zero/Few-Shot : Les LLMs pré-entraînés ont montré une capacité limitée à déobfuser ou à assainir des textes obfusqués dans des configurations zero-shot et five-shot. Bien que le prompting five-shot ait légèrement amélioré les métriques, les modèles ont souvent échoué à atténuer le contenu toxique tout en récupérant la forme du texte.
Succès de l'Affinement Supervisé : L'affinement supervisé sur KOTOX a produit les meilleurs résultats pour la déobfuscation et l'assainissement. Les modèles affinés ont montré des gains significatifs en reconstruction sémantique (BERTScore) et en récupération de surface (chrF).
Défi de l'Assainissement : La tâche d'assainissement s'est révélée la plus difficile ; les modèles ont souvent réussi la déobfuscation mais ont conservé le sens toxique dans les configurations few-shot. Le SFT était essentiel pour générer des sorties non toxiques.

Analyse des Règles

Taux d'Erreur : Les transformations phonologiques étaient les plus faciles à gérer pour les modèles (taux d'erreur le plus bas : 0,27). Les transformations syntaxiques et pragmatiques ont produit les taux d'erreur les plus élevés (0,35 et 0,36), indiquant que les perturbations structurelles et les ruptures de signaux au niveau du discours sont plus difficiles pour les modèles actuels que les variations de surface.
Humain vs Modèle : Les évaluateurs humains ont obtenu des scores de déobfuscation nettement supérieurs (BERTScore ~95,64) par rapport au Qwen2.5 affiné (77,90), confirmant que si les règles préservent l'interprétabilité humaine, elles restent difficiles pour les LLMs actuels.

Importance et Revendications

Les auteurs affirment que KOTOX est le premier jeu de données à soutenir simultanément la déobfuscation et la détoxification pour la langue coréenne, fournissant des paires de contenus neutres, toxiques et leurs contreparties obfusquées.

Fondement Linguistique : Contrairement aux travaux antérieurs reposant sur de simples perturbations, KOTOX est construit sur une taxonomie dérivée des propriétés agglutinantes et orthographiques spécifiques du coréen et du Hangeul.
Robustesse : Le jeu de données permet l'entraînement de modèles robustes face aux contenus toxiques obfusqués sans sacrifier les performances sur des entrées propres.
Disponibilité des Ressources : Les auteurs fournissent le package de transformation d'obfuscation comme outil open-source, facilitant la génération reproductible de textes obfusqués pour les recherches futures.
Limites : L'étude est explicitement limitée à la langue coréenne et au Hangeul. Les auteurs reconnaissent que les règles spécifiques peuvent ne pas se généraliser directement à d'autres contextes linguistiques, bien que le cadre puisse être étendu.

En conclusion, l'article démontre que les LLMs actuels sont hautement vulnérables aux motifs d'obfuscation spécifiques au coréen et que l'entraînement sur des jeux de données appariés obfusqués, ancrés linguistiquement, est essentiel pour construire des technologies linguistiques plus sûres et plus robustes pour les environnements en ligne coréens.