Toward Generalized Cross-Lingual Hateful Language Detection with Web-Scale Data and Ensemble LLM Annotations

Cette étude démontre que la combinaison de données web non étiquetées à grande échelle et d'annotations synthétiques générées par un ensemble de grands modèles de langage améliore significativement la détection multilingue des discours haineux, en particulier pour les modèles de petite taille et les langues peu dotées en ressources.

L'essentiel

🕵️‍♂️ Le Grand Détective du Web : Comment apprendre aux ordinateurs à repérer la haine sans lire des millions de livres ?

Imaginez que vous voulez entraîner un détective (un ordinateur) pour qu'il repère les insultes et la haine sur internet. Le problème ? Pour bien apprendre, ce détective a besoin de milliers d'exemples étiquetés par des humains. Mais lire et classer tout ça prend du temps, coûte cher, et les humains ne sont pas toujours d'accord entre eux.

Les chercheurs de l'Université de Passau ont eu une idée géniale : Et si on utilisait le web entier comme livre d'entraînement, et d'autres intelligences artificielles (les "super-détectives") pour faire le travail de classement à notre place ?

Voici comment ils ont procédé, étape par étape :

1. La "Gymnastique" du Détective (L'Apprentissage sur le Web)

Avant même de lui montrer des insultes, les chercheurs ont fait faire de la "gymnastique" à leur modèle de base (un petit détective appelé BERT).

• L'analogie : Imaginez que vous voulez devenir un expert en cuisine italienne. Au lieu de commencer tout de suite par apprendre à faire une pizza, vous passez d'abord un mois à lire des millions de recettes, d'articles de journaux et de blogs culinaires en italien. Vous ne cherchez pas encore la recette parfaite, vous vous immergez juste dans la langue et la culture.
• Ce qu'ils ont fait : Ils ont pris des milliards de pages web (OpenWebSearch) en anglais, allemand, espagnol et vietnamien. Ils ont laissé leur modèle "lire" tout ça sans étiquettes.
• Le résultat : Quand ils ont enfin commencé à apprendre à repérer la haine, le modèle était beaucoup plus fort. C'est comme si le détective avait déjà lu tous les journaux du monde avant d'arriver au commissariat. Cela a amélioré ses performances de 3 % en moyenne, et beaucoup plus pour les langues rares (comme le vietnamien) où il y a peu de données.

2. Le Conseil des Sages (L'Ensemble d'IA)

Ensuite, il fallait étiqueter les textes pour entraîner le détective. Au lieu de payer des humains, ils ont demandé l'avis de quatre grands modèles d'intelligence artificielle (Mistral, Llama, Gemma, Qwen).

• L'analogie : Imaginez que vous avez un cas mystérieux. Vous ne demandez pas l'avis d'une seule personne, mais celui de quatre experts différents.
  • Méthode 1 (Le Vote) : On fait un vote à main levée. Si 2 experts sur 4 disent "C'est de la haine", alors c'est de la haine.
  • Méthode 2 (La Moyenne) : On prend la moyenne de leurs avis.
  • Méthode 3 (Le Chef de l'Équipe - LightGBM) : C'est la plus intelligente. On a un "chef" qui observe les quatre experts. Il apprend : "Tiens, Mistral est très bon en allemand mais fait des erreurs en vietnamien, tandis que Qwen est excellent en espagnol." Le chef apprend à donner plus de poids à l'expert le plus fiable pour chaque situation.
• Le résultat : Le Chef de l'Équipe (LightGBM) a toujours gagné. Il a su corriger les erreurs des autres et créer des étiquettes de très haute qualité.

3. L'Effet "Distillation" : Qui gagne à utiliser ces nouvelles étiquettes ?

C'est ici que ça devient fascinant. Les chercheurs ont pris ces nouvelles étiquettes créées par les IA et ont essayé d'entraîner deux types de détectives :

1. Un petit détective (Llama3.2-1B) : Rapide, léger, mais pas très fort au départ.
2. Un grand détective (Qwen2.5-14B) : Déjà très fort, très intelligent.

• Pour le petit détective : C'est une révolution ! En apprenant avec les étiquettes des "Super-IA", il a fait un bond de géant (+11 % de performance). C'est comme si un élève de primaire lisait les notes d'un professeur de doctorat : il progresse énormément.
• Pour le grand détective : Il a déjà lu presque tout. Les nouvelles étiquettes ne lui ont apporté qu'un tout petit peu d'aide (+0,6 %). C'est comme demander à un champion du monde d'échecs de s'entraîner avec les règles de base : il ne va pas beaucoup s'améliorer.

🚨 Le Problème de la "Bouteille" (Le Déséquilibre)

Il y a un petit hic. Sur le web, la plupart des discussions sont gentilles. Seules quelques-unes sont haineuses.

• L'analogie : Imaginez que vous cherchez des aiguilles dans une botte de foin. Les IA ont étiqueté des millions de textes, mais 97 % étaient du "foin" (neutres) et seulement 3 % des "aiguilles" (haine).
• Conséquence : Pour les langues où il y a déjà peu de données (comme le vietnamien), trouver assez d'"aiguilles" pour entraîner le modèle reste difficile. C'est le principal frein à l'amélioration.

🏆 En résumé, qu'est-ce qu'on retient ?

1. Lire le web aide : Faire "lire" des milliards de pages web à un modèle avant de l'entraîner le rend beaucoup plus intelligent, surtout pour les langues peu parlées.
2. L'intelligence collective gagne : Ne pas faire confiance à une seule IA, mais utiliser un "chef" qui combine les avis de plusieurs IA, donne de bien meilleurs résultats.
3. Les petits gagnent gros : Cette méthode est la clé pour rendre les petits modèles (ceux qu'on peut faire tourner sur un ordinateur portable) aussi performants que les géants, en leur apprenant grâce aux étiquettes des grands modèles.

C'est une victoire pour l'accessibilité : on peut maintenant avoir de bons détecteurs de haine même sans avoir des millions de dollars pour étiqueter des données manuellement !

Résumé technique

1. Problématique

La détection robuste de la haine en ligne (hate speech) se heurte à deux obstacles majeurs :

1. La pénurie de données étiquetées de haute qualité : L'annotation humaine est coûteuse, lente et sujette à des biais subjectifs.
2. Le manque de généralisation multilingue : Les modèles actuels fonctionnent souvent bien dans une langue (souvent l'anglais) mais échouent à se transférer vers d'autres langues, en particulier les langues à ressources limitées.

L'article explore si l'utilisation combinée de données web non étiquetées à grande échelle (via OpenWebSearch.eu) et d'annotations synthétiques générées par des modèles de langage (LLM) peut surmonter ces limites pour améliorer la détection de discours haineux dans quatre langues : l'anglais, l'allemand, l'espagnol et le vietnamien.

2. Méthodologie

Les auteurs proposent un pipeline end-to-end structuré en deux axes complémentaires, illustré par la Figure 1 du papier :

A. Pré-entraînement continu (Continued Pre-Training) sur des données Web

• Source de données : Utilisation de OpenWebSearch.eu (OWS) et OpenWebIndex (OWI) pour collecter environ 14 millions de textes bruts (6M en anglais, 3M en allemand, 3M en espagnol, 500k en vietnamien).
• Filtrage : Les données sont filtrées pour ne conserver que le contenu conversationnel (forums, commentaires, posts) via des mots-clés de chemin URL et des schémas schema.org, sans filtrage spécifique sur la haine pour éviter les biais de sélection.
• Adaptation : Des modèles BERT sont soumis à un pré-entraînement continu (Domain-Adaptive Pre-Training - DAPT) sur ces corpus non étiquetés avant le fine-tuning supervisé. Quatre variantes sont créées : OwsEng, OwsDeu, OwsSpa et Ows4L (multilingue).

B. Annotation Synthétique par Ensembles de LLM

• Générateurs : Quatre LLM open-source sont utilisés pour annoter un sous-ensemble de 240 000 textes OWS : Mistral-7B, Llama3.1-8B, Gemma2-9B, et Qwen2.5-14B.
• Stratégies d'Ensemble : Trois méthodes sont comparées pour agréger les probabilités de sortie des modèles :
  1. Vote majoritaire (Majority Voting).
  2. Moyenne arithmétique (Mean Averaging).
  3. Apprenant méta LightGBM : Un classifieur LightGBM entraîné sur les vecteurs de probabilités des 4 LLMs, utilisant les données humaines étiquetées comme vérité terrain pour apprendre à pondérer la fiabilité de chaque annotateur.
• Fine-tuning : Ces annotations synthétiques sont utilisées pour entraîner des modèles plus petits (Llama3.2-1B) ou des modèles plus grands (Qwen2.5-14B) via LoRA (Low-Rank Adaptation).

3. Contributions Clés

1. Évaluation à grande échelle : C'est l'une des premières études à combiner des données web massives (OWS) et des annotations LLM pour la détection de haine sur 16 benchmarks couvrant 4 langues.
2. Validation du pré-entraînement continu : Démonstration que l'adaptation de domaine sur des données web brutes améliore significativement les performances des modèles BERT, surtout dans des contextes à faibles ressources.
3. Stratégie d'Ensemble Optimisée : Introduction et validation d'un méta-apprenant LightGBM pour l'agrégation des annotations LLM, surpassant les méthodes simples de vote ou de moyenne.
4. Analyse de l'impact de la capacité du modèle : Mise en évidence du fait que les données synthétiques bénéficient énormément aux petits modèles (distillation de connaissances) mais offrent des gains marginaux aux grands modèles déjà performants.

4. Résultats Principaux

Pré-entraînement continu (BERT)

• Gain global : Les modèles OWS pré-entraînés surpassent systématiquement les baselines (BERT standard et HateBERT) sur la moyenne macro-F1 des 16 jeux de test (+3% en moyenne).
• Cas à faibles ressources : Les gains sont les plus marqués pour les langues et les ensembles de données limités. Par exemple, Ows4L améliore la détection vietnamienne (ViHSD) de +6,6% par rapport à HateBERT.
• Généralisation : Seul le modèle multilingue Ows4L offre une généralisation cohérente à travers les quatre langues, tandis que les modèles monolingues peinent à transférer leurs connaissances.

Annotations Synthétiques (LLM Ensemble)

• Performance du LightGBM : La stratégie LightGBM (LGB) est constamment supérieure au vote majoritaire et à la moyenne. Elle apprend à corriger les biais systématiques des LLMs individuels.
• Impact sur les petits modèles : Pour Llama3.2-1B, l'ajout de données synthétiques (Human + LGB) entraîne une augmentation massive de +10,6% du F1 global (passant de 54,8% à 65,4%).
• Impact sur les grands modèles : Pour Qwen2.5-14B, le gain est modeste (+0,6%), car le modèle possède déjà des priors forts qui saturent rapidement avec des données déséquilibrées.
• Déséquilibre de classe : Un défi majeur identifié est le fort déséquilibre des données synthétiques (plus de 97% de contenu "Neutre"), ce qui limite la capacité de détection de la classe minoritaire (Haine), particulièrement pour les langues à faible volume (Vietnamien, Espagnol).

5. Signification et Conclusion

Cette étude démontre que la combinaison de données web non étiquetées et d'annotations par ensemble de LLM est une stratégie puissante pour améliorer la détection multilingue de la haine, en particulier pour :

• Les modèles de petite taille (SLM), où les données synthétiques agissent comme une forme de distillation de connaissances efficace.
• Les langues à ressources limitées, où les données étiquetées humaines sont rares.

Limites et Perspectives :
Les auteurs soulignent que le déséquilibre des classes dans les données synthétiques reste un goulot d'étranglement critique. De plus, la fusion des catégories "haine", "insulte" et "abus" en une seule classe positive simplifie le problème mais peut réduire la granularité. Les travaux futurs visent à augmenter la diversité linguistique des corpus OWS, à utiliser des architectures de modèles plus récentes et à affiner les stratégies de prompt pour réduire les biais d'annotation.

En résumé, ce travail fournit une feuille de route technique pour exploiter l'échelle du web et la puissance des LLMs afin de construire des détecteurs de discours haineux plus robustes, généralisables et accessibles, même en l'absence de vastes jeux de données annotés par des humains.