💬 NLP

GemDetox at TextDetox CLEF 2025: Enhancing a Massively Multilingual Model for Text Detoxification on Low-resource Languages

Le système GemDetox, qui exploite un modèle Gemma-3 de 12 milliards de paramètres amélioré par un ajustement fin efficace en termes de paramètres, du prompting à quelques exemples et d'un contexte enrichi par la recherche, a atteint les premiers rangs du défi CLEF 2025 TextDetox en réécrivant efficacement des textes toxiques en paraphrases neutres pour les langues à hautes et basses ressources.

Auteurs originaux : Trung Duc Anh Dang, Ferdinando Pio D'Elia

Publié 2026-02-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Trung Duc Anh Dang, Ferdinando Pio D'Elia

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez les réseaux sociaux comme une place de village immense et animée. Parfois, des gens crient des insultes, propagent la haine ou utilisent un langage grossier qui fait que d'autres ne se sentent pas en sécurité. L'équipe « GemDetox » de l'Université de Copenhague a construit un « gardien de la paix » numérique pour aider à nettoyer cette place sans faire taire les personnes qui parlent.

Voici comment ils ont procédé, expliqué simplement :

La mission : Nettoyer le désordre sans effacer le message

Le défi consistait à prendre une phrase unique pleine de mots toxiques (comme des insultes ou des propos injurieux) et à la réécrire pour qu'elle paraisse polie et neutre, mais tout en conservant le sens original.

L'analogie : Imaginez quelqu'un criant : « Tu es un idiot inutile ! » L'objectif n'est pas de supprimer la phrase entièrement (ce qui serait de la censure) ou de changer de sujet. Le système la réécrit en : « Je suis frustré par votre performance. » La colère a disparu, mais la plainte demeure.

Le cerveau : Un super-traducteur doté d'une mémoire

L'équipe n'a pas construit un nouveau cerveau à partir de zéro. Ils ont utilisé un modèle d'IA préexistant très intelligent appelé Gemma-3 (qui possède 12 milliards de « neurones » ou paramètres). Considérez ce modèle comme un polyglotte qui parle déjà couramment 15 langues différentes, de l'anglais et l'espagnol au tatar et l'hinglish (un mélange d'hindi et d'anglais).

Cependant, ce polyglotte devait apprendre un travail spécifique : comment être poli.

L'entraînement : Apprendre à l'IA à être douce

Pour apprendre à l'IA, l'équipe a créé un manuel d'entraînement spécial en utilisant trois méthodes différentes :

Le manuel humain : Ils ont commencé par 3 600 exemples réels écrits par des humains, montrant exactement comment transformer une phrase toxique en une phrase gentille.
Le traducteur automatique : Comme ils n'avaient pas d'exemples humains pour six des langues, ils ont utilisé un traducteur automatique pour convertir ces 3 600 exemples dans les langues manquantes. C'est comme photocopier un livre de recettes et traduire la liste des ingrédients dans une nouvelle langue.
Les exercices pratiques : Ils ont généré des phrases d'entraînement supplémentaires en utilisant l'IA elle-même, mais ils ont été très stricts sur le filtrage. Si la réécriture de l'IA était trop similaire à l'insulte originale (comme changer simplement une lettre), ils la jetaient. Ils n'ont gardé que celles qui étaient vraiment différentes mais signifiaient la même chose.

L'astuce de la « réflexion » :
L'équipe a enseigné à l'IA une méthode de réflexion spéciale appelée Chain-of-Thought (chaîne de pensée). Au lieu de simplement deviner la réponse, l'IA était incitée à suivre une liste de contrôle en quatre étapes avant de parler :

Identifier les mauvais mots.
Comprendre de quoi la phrase parle réellement.
Réécrire en utilisant des mots gentils.
Vérifier que la nouvelle phrase n'est pas méchante.

Les résultats : Une victoire pour la plupart, mais pas pour tous

Lorsqu'ils ont testé leur système lors de la compétition :

Le vainqueur : Leur système est arrivé en première place pour la plupart des langues, en particulier celles disposant de beaucoup de données (comme l'anglais, l'allemand et le français).
La difficulté : Le système a davantage peiné avec les langues à « faibles ressources » (langues disposant de moins de données, comme l'amharique ou le tatar). Dans ces cas, l'IA produisait parfois des absurdités ou manquait des insultes subtiles.
L'écart : L'équipe a constaté que le facteur déterminant de la performance de l'IA était simplement la quantité de données existantes pour cette langue. Si une langue possédait beaucoup d'exemples d'entraînement, l'IA excellait. Si elle en avait peu, l'IA trébuchait.

Le rappel à la réalité : Ce n'est pas parfait

Les auteurs sont honnêtes sur les failles :

Le désaccord du « juge » : Lorsqu'ils ont demandé à une autre IA, très avancée, de noter leur travail (jouant le rôle de juge humain), leur système est passé de la 1ère à la 3ème place. Cela suggère que si leur système est bon pour suivre des règles, il peut manquer la « sensibilité humaine » de ce qui est véritablement offensant.
Les angles morts culturels : L'IA a parfois manqué l'argot ou les insultes régionales car elle a été entraînée principalement sur un langage standard. Par exemple, elle a manqué un mot d'argot argentin spécifique signifiant « sans valeur » car il ne figurait pas dans ses données d'entraînement.
Le problème des biais : Le modèle d'IA sous-jacent qu'ils ont utilisé a été entraîné sur une quantité massive de données internet que nous ne pouvons pas voir. Cela signifie que l'IA peut déjà avoir des biais intégrés que l'équipe n'a pas pu corriger totalement.

L'essentiel

L'équipe GemDetox a construit un outil puissant capable de nettoyer automatiquement les publications toxiques sur les réseaux sociaux dans 15 langues différentes. Il fonctionne mieux lorsqu'il y a beaucoup de données pour apprendre et lorsque l'IA est enseignée à « réfléchir étape par étape ». Bien qu'il ne soit pas parfait et qu'il lutte encore avec les nuances culturelles complexes, il représente une étape importante pour aider les modérateurs à maintenir des espaces en ligne sûrs sans faire taire la liberté d'expression.

Résumé Technique : GemDetox à TextDetox CLEF 2025

Énoncé du Problème
Le document traite du besoin urgent de détoxification automatisée des textes sur les plateformes de médias sociaux, spécifiquement dans le contexte du défi PAN 2025 Multilingual Text Detoxification. La tâche consiste à réécrire des entrées de phrases uniques toxiques en paraphrases neutres tout en préservant le sens original à travers 15 langues typologiquement diverses. Le défi est limité à la « toxicité explicite » (lexique obscène ou offensant contenant un contenu neutre significatif), excluant la toxicité implicite telle que le sarcasme ou le discours de haine codé. Une difficulté critique réside dans la disparité entre les langues à hautes ressources (ex. l'anglais, l'espagnol) et les langues à faibles ressources (ex. le Tatar, le Hinglish, l'Amharique), où la rareté des données entrave souvent la performance des modèles.

Méthodologie
Les auteurs proposent « GemDetox », un système basé sur le transformeur multilingue Gemma-3 de 12 milliards de paramètres. La méthodologie est structurée autour de trois composantes centrales :

Construction et Augmentation des Données :
- Données Rédigées par l'Humain : Le système utilise le corpus ParaDetox-9 fourni par les organisateurs, contenant 3 600 paires parallèles toxiques-neutres dans neuf langues.
- Extension par Traduction Automatique : Pour couvrir les six langues absentes du corpus original (italien, français, hébreu, Hinglish, japonais, tatar), les auteurs ont traduit les 3 600 paires originales en utilisant RLM-Hinglish et NLLB-200, générant ainsi 21 600 paires synthétiques (ParaDetox-MT6).
- Génération Synthétique : Une supervision supplémentaire a été dérivée d'un jeu de données de toxicité multilingue. Le modèle a généré des candidats de neutralisation pour des phrases uniquement toxiques, qui ont été filtrés sur la base de seuils de similitude de Jaccard (≥0,90 pour la traduction automatique, ≥0,80 pour le synthétique) afin de garantir la divergence lexicale et la préservation sémantique.
- Enrichissement Contextuel : Pendant l'entraînement et l'inférence, les entrées ont été enrichies de trois voisins sémantiques récupérés via LaBSE et d'annotations explicites de segments toxiques extraits via un détecteur basé sur des règles.
Architecture du Modèle et Entraînement :
- Modèle de Base : Gemma-3-12B-Instruct, quantifié en précision 4-bit pour tenir dans 24 Go de VRAM.
- Fine-Tuning Efficace en Paramètres (PEFT) : Les auteurs ont employé l'adaptation de bas rang (LoRA) avec un rang de 16, rendant seulement 0,55 % (≈65M) des paramètres entraînables. Des adaptateurs ont été insérés dans tous les sous-modules de langue, d'attention et de MLP.
- Stratégie d'Entraînement en Trois Phases :
  - Phase 1 : Fine-tuning sur l'ensemble des 15 langues pour établir un alignement de base.
  - Phase 2 : Fine-tuning spécialisé sur les données des langues dépourvues d'annotations humaines parallèles pour prévenir l'interférence catastrophique.
  - Phase 3 : Fine-tuning sur des données synthétiques de haute qualité (filtrées par Jaccard > 0,9) pour affiner davantage la performance.
- Stratégie de Prompting : Le système utilise une instruction de prompting par Chaîne de Pensée (CoT) en quatre étapes (identifier la toxicité, récupérer la sémantique, réécrire de manière neutre, vérifier la non-toxicité) combinée à des exemples de few-shot (trois voisins sémantiquement les plus proches) récupérés du corpus d'entraînement.
Inférence :
- Le système échantillonne trois réécritures candidates par entrée. La sortie finale est sélectionnée sur la base du score conjoint ( $J$ ) le plus élevé, calculé en utilisant la Précision de Transfert de Style (STA), la Préservation du Contenu (SIM via LaBSE) et la Fluidité (xCOMET).

Résultats Clés

Évaluation Automatique : Le système GemDetox s'est classé premier au classement général sur les groupes de langues à hautes et faibles ressources. Il a obtenu un score conjoint ( $J$ $J$ ) de 0,685 pour les langues avec annotations humaines et de 0,643 pour celles sans.
- La performance a culminé sur l'allemand ( $J=0,798$ ) et le français ( $J=0,802$ ).
- Les études d'ablation ont indiqué que les exemples de few-shot ont contribué à une augmentation de +0,081 du score conjoint, tandis que le prompting CoT de base a ajouté +0,088.
Évaluation par LLM-as-a-Judge : Lors d'une réévaluation utilisant un Llama-3.1-8B-Instruct affiné comme juge (entraîné sur les préférences humaines), le classement du système est tombé à la troisième place dans les deux sous-groupes, avec un $J$ moyen de 0,7669. Ce score était nettement inférieur au score de l'« Annotation Dorée » (0,8233) mais compétitif face aux autres équipes de tête.
Analyse Statistique : Une analyse ANOVA a révélé que le « statut de la ressource linguistique » était le prédicteur le plus fort de la performance ( $\eta^2 = 0,667, p < 0,01$ ), suivi de l'affiliation génétique ( $\eta^2 = 0,592$ ).

Signification et Revendications
Le papier affirme que sa contribution principale est de démontrer que le fine-tuning efficace en paramètres d'un modèle massivement multilingue, combiné à une augmentation stratégique des données et au prompting, peut efficacement combler l'écart de performance entre les langues à hautes et faibles ressources dans les tâches de détoxification.

Les auteurs notent modestement que bien que leur approche ait obtenu de solides résultats automatiques, les gains issus de l'augmentation des données étaient « particulièrement prononcés pour les langues à faibles ressources pour lesquelles ils ont été conçus ». Ils reconnaissent que la performance du système dépend fortement des capacités de base du modèle pré-entraîné Gemma-3, car la ligne de base zéro-shot mT0 atteignait déjà des scores compétitifs (0,675).

Le document souligne que si le système parvient à réduire l'écart pour les langues à faibles ressources, l'analyse qualitative a révélé des défis persistants, notamment :

L'échec de la détection de la toxicité composée dans les langues à scripts mixtes comme le Hinglish.
La génération de sorties non sens dans les langues à très faibles ressources comme l'amharique.
L'ambiguïté dans les définitions de la toxicité menant à une détoxification excessive ou insuffisante dans des contextes politiquement chargés (ex. l'hébreu).

Les auteurs concluent qu'une détoxification robuste nécessite des adaptations sensibles aux biais aux stades de pré-entraînement, de post-entraînement et d'évaluation, notant que les biais structurels dans le corpus d'entraînement du modèle de fondation sont irréversibles et ne peuvent être atténués qu'en aval. Ils suggèrent que les travaux futurs devraient explorer l'optimisation basée sur les préférences (ex. DPO, GRPO) et les pipelines de raisonnement multi-étapes pour traiter l'obscurcissement créatif et l'argot émergent.