💬 NLP

Multilingual Polarization Detection Using Transformer-Based Models with Class Weighting and Threshold Tuning

Cet article présente une approche basée sur les transformeurs utilisant les modèles RoBERTa et AfroXLMR avec pondération des classes et ajustement des seuils pour atteindre des performances compétitives dans la détection de la polarisation multilingue, de ses types et de ses manifestations pour l'anglais et le swahili dans la tâche 9 de SemEval-2026.

Auteurs originaux : Aaron Bundi Anampiu

Publié 2026-07-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Aaron Bundi Anampiu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez l'internet comme une immense place de village bruyante où des millions de personnes crient leurs opinions. Parfois, ces conversations sont des débats sains, mais souvent, elles se transforment en joutes verbales où les gens cessent d'écouter pour commencer à s'attaquer sur la base de leurs croyances, de leur race, de leur religion ou de leur genre. C'est ce qu'on appelle la polarisation.

Le document que vous lisez est le bulletin de notes d'une équipe nommée « Aaron » qui a participé à un concours mondial (SemEval-2026) pour construire un robot capable d'écouter cette place de village, spécifiquement en anglais et en swahili, et de déterminer trois choses :

Cette conversation est-elle polarisée (une joute verbale) ou non ?
De quoi traite la dispute (le sujet) (politique, race, religion, etc.) ?
Comment se battent-ils (la manifestation) (utilisation de stéréotypes, d'insultes ou de langage déshumanisant) ?

Voici comment ils ont construit leur robot et ce qu'ils ont découvert, expliqué simplement :

1. Les outils : Choisir les bonnes « oreilles »

L'équipe n'a pas utilisé un robot générique qui parle toutes les langues de la même manière. Ils ont réalisé que, tout comme une personne peut mieux comprendre un dialecte local qu'un étranger, les modèles d'IA doivent être spécialisés.

Pour l'anglais : Ils ont donné au robot « RoBERTa », un modèle entraîné spécifiquement pour comprendre les nuances de l'anglais.
Pour le swahili : Ils ont donné au robot « AfroXLMR », un modèle spécialement entraîné sur les langues africaines.
L'analogie : Imaginez que vous essayez d'écouter un débat dans une pièce bondée. Si vous utilisez une aide auditive générique, vous pourriez manquer les murmures. Mais si vous utilisez une aide auditive réglée sur la fréquence spécifique de la pièce, vous entendez tout clairement. C'est ce qu'ils ont fait avec les modèles.

2. Le problème : L'affaire de l'« invité rare »

Dans les données qu'ils ont analysées, la plupart des conversations portaient sur des sujets courants (comme la politique générale), mais certains sujets étaient très rares (comme la polarisation liée au genre ou à la sexualité).

L'analogie : Imaginez une salle de classe où 95 % des élèves portent des chemises rouges et seulement 5 % des chemises bleues. Si vous demandez à un élève de deviner la couleur de la chemise d'une nouvelle personne, il répondra presque toujours « rouge » parce que c'est le plus courant. Il échouera à repérer les chemises « bleues ».
La solution : L'équipe a appris à son robot à prêter une attention particulière aux « chemises bleues ». Ils ont utilisé une fonction de Perte Pondérée par Classe (Class-Weighted Loss). Considérez cela comme un professeur qui dit : « Si tu manques une chemise rouge, c'est une petite erreur. Mais si tu manques une chemise bleue, tu reçois une énorme pénalité. » Cela a forcé le robot à mieux apprendre les cas rares et difficiles.

3. Le réglage fin : Ajuster la sensibilité

Après l'entraînement, le robot devait décider : « Ce texte est-il polarisé ou non ? » Généralement, les robots utilisent une règle de 50/50 (si la probabilité est de 50 %, on dit oui). Mais l'équipe a trouvé que cette règle était trop rigide.

L'analogie : Pensez à un détecteur de métaux dans un aéroport. S'il est réglé trop bas, il ignore les vraies armes. S'il est réglé trop haut, il hurle dès que quelqu'un a des clés. L'équipe a ajusté le seuil (threshold) pour chaque type de polarisation. Ils ont ajusté la sensibilité pour les « stéréotypes » différemment de celle pour le « manque d'empathie », garantissant que le robot détecte le bon niveau de problèmes sans donner l'alerte inutilement.

4. Les résultats : Comment s'en sont-ils sortis ?

Le robot a très bien performé, surtout par rapport aux autres équipes et aux méthodes plus anciennes.

Détection binaire (Est-ce polarisé ?) : Le robot a été précis à environ 79 % en anglais et en swahili. Il était légèrement meilleur pour détecter la polarisation en swahili, probablement parce que les données en swahili contenaient un mélange plus équilibré de textes polarisés et non polarisés.
Type et Manifestation (Quoi et Comment ?) : C'était plus difficile. Le robot a obtenu environ 46–58 % de précision. C'est un score solide car la tâche est incroyablement complexe (comme essayer de deviner la saveur spécifique d'une crème glacée dans une pièce sombre).
Le classement : Pour la tâche swahili consistant à identifier comment les gens se battaient (manifestations), cette équipe a terminé à la 2ème place sur 16 équipes.

5. Là où le robot a trébuché (Analyse des erreurs)

Même les robots les plus intelligents font des erreurs. L'équipe a examiné les erreurs et a trouvé trois points problématiques principaux :

Confondre « Fort » avec « Mauvais » : Le robot a parfois pris un commentaire sportif intense (« Les Lakers vont écraser les Celtics ») pour une attaque polarisée haineuse. Il a confondu l'intensité avec la polarisation.
Le fossé de la « Théorie de l'esprit » : Le robot a eu du mal à détecter la déshumanisation (traiter les gens comme des objets) et le manque d'empathie. Cela nécessite de comprendre les sentiments humains profonds et les métaphores, ce qui revient à demander à une calculatrice de comprendre un poème.
Les étiquettes rares : Même avec leur entraînement spécial de « pénalité », le robot a quand même manqué les catégories très rares (comme la polarisation de genre/sexe) car il n'y avait tout simplement pas assez d'exemples pour apprendre.

Résumé

L'équipe a construit un système d'écoute spécialisé qui utilise des « oreilles » différentes pour l'anglais et le swahili, apprend au système à accorder une importance cruciale aux sujets rares, et ajuste sa sensibilité pour attraper le plus de problèmes possible. Bien qu'il ne soit pas encore parfait — surtout lorsqu'il s'agit de comprendre la cruauté humaine profonde ou le sarcasme — c'est une étape significative pour nous aider à comprendre et à modérer les disputes en ligne.

Note importante : Les auteurs précisent explicitement qu'il s'agit d'un outil de recherche. Ils avertissent que si cet outil est utilisé dans le monde réel sans supervision humaine, il pourrait accidentellement faire taire des voix politiques légitimes ou cibler injustement des groupes marginalisés. Ils estiment que l'humain doit toujours être dans la boucle pour prendre la décision finale.

Résumé technique : Aaron à la tâche 9 de SemEval-2026

Définition du problème

Ce document traite de la tâche 9 de SemEval-2026, qui se concentre sur la détection de la polarisation en ligne à travers plusieurs langues, cultures et événements. La tâche est divisée en trois sous-tâches spécifiques pour l'anglais et le swahili :

Détection binaire : Classer un texte comme polarisé ou non polarisé.
Classification des types : Une classification multi-étiquettes identifiant cinq types de polarisation (politique/idéologique, raciale/ethnique, religieuse, genre/sexuelle, et autre).
Identification des manifestations : Une classification multi-étiquettes identifiant six manifestations spécifiques de la polarisation (stéréotype, vilipendation, déshumanisation, langage extrême, manque d'empathie et invalidation).

Les principaux défis identifiés sont le sévère déséquilibre des étiquettes (particulièrement pour les classes minoritaires comme la polarisation de genre/sexuelle et certaines manifestations spécifiques) et la nécessité d'une adaptabilité multilingue, spécifiquement pour les langues africaines où les modèles multilingues généraux peuvent être moins performants.

Méthodologie

Le système proposé emploie un pipeline en quatre étapes : prétraitement, architecture de modèle spécifique à la langue, entraînement pondéré par classe et ajustement du seuil post-entraînement.

1. Prétraitement des données

Les auteurs ont adopté une stratégie de prétraitement minimale pour préserver les signaux de polarisation. La casse d'origine, les emojis et les caractères spéciaux ont été conservés, tandis que seuls les caractères de contrôle et les octets nuls ont été supprimés. Les données ont été divisées en ensembles d'entraînement et de validation selon un ratio 80/20 via un échantillonnage stratifié afin de maintenir les distributions de classes.

2. Architecture du modèle

Le système utilise des modèles basés sur les transformers sélectionnés spécifiquement pour chaque langue :

Anglais : RoBERTa-base (125 millions de paramètres) a été choisi de préférence à BERT et XLM-RoBERTa. Les études d'ablation ont indiqué que le masquage dynamique de RoBERTa et l'absence de prédiction de la phrase suivante offraient une performance supérieure pour l'anglais, tandis que le pré-entraînement multilingue de XLM-RoBERTa diluait les représentations anglaises.
Swahili : AfroXLMR-base (270 millions de paramètres) a été sélectionné. Ce modèle est spécifiquement adapté aux langues africaines grâce à un pré-entraînement continu sur divers corpus africains, surpassant les modèles multilingues généraux comme mBERT et XLM-RoBERTa sur les tâches en swahili.

Les deux modèles utilisent une tête de classification composée d'une couche de dropout (0,1) suivie d'une couche linéaire cartographiant les plongements (embeddings) de 768 dimensions vers les logits de sortie requis (2 pour la Sous-tâche 1, 5 pour la Sous-tâche 2, et 6 pour la Sous-tâche 3).

3. Fonction de perte pondérée par classe

Pour remédier au sévère déséquilibre des étiquettes, les auteurs ont implémenté une fonction de perte d'entropie croisée binaire pondérée par classe. Le poids de chaque étiquette $j$ ( $w_j$ ) est calculé comme le ratio des échantillons négatifs par rapport aux échantillons positifs ( $n_{neg} / n_{pos}$ ). Cela augmente la pénalité pour la mauvaise classification des classes minoritaires. Par exemple, dans la Sous-tâche 2 en anglais, les poids variaient de 1,73 (politique) à 41,95 (genre/sexuelle). Le découpage de gradient (max-norm 1,0) a été appliqué pour assurer la stabilité de l'entraînement.

4. Ajustement du seuil

Après l'entraînement, une recherche de seuil par étiquette a été menée sur l'ensemble de validation. Les seuils ont été balayés de 0,1 à 0,9 avec des pas de 0,05 pour maximiser le score F1 macro pour chaque étiquette spécifique. Cette approche a amélioré les scores F1 macro de 0,87 à 5,98 points par rapport au seuil standard de 0,5.

Configuration de l'entraînement

Les modèles ont été affinés (fine-tuned) à l'aide de AdamW (taux d'apprentissage $2 \times 10^{-5}$ , décroissance des poids 0,01) avec un calendrier de chauffe (warmup) linéaire. L'entraînement a utilisé la précision mixte (FP16) sur un seul GPU. Les tailles de lots (batch sizes) étaient de 16 pour la Sous-tâche 1 et de 8 (avec accumulation de gradient) pour les Sous-tâches 2–3 afin de s'adapter aux longueurs de séquence de 128 et 256 tokens, respectivement. L'arrêt précoce (early stopping) était basé sur le F1 macro de validation.

Principales contributions

Le document met en évidence trois contributions techniques majeures :

Sélection de modèles spécifiques à la langue : Démontrer que les modèles spécialisés (RoBERTA pour l'anglais, AfroXLMR pour le swahili) surpassent les bases multilingues générales pour la détection de la polarisation dans ces contextes spécifiques.
Implémentation de la perte pondérée par classe : Appliquer avec succès des fonctions de perte pondérées pour atténuer les effets du déséquilibre extrême des étiquettes dans les tâches de polarisation multi-étiquettes.
Ajustement du seuil par étiquette : Optimiser individuellement les frontières de classification pour chaque étiquette, ce qui s'est avéré crucial pour améliorer les scores F1 macro dans les ensembles de données déséquilibrés.

Résultats expérimentaux

Le système a été évalué sur l'ensemble de test en utilisant le F1 Macro comme métrique principale.

Sous-tâche 1 (Détection binaire) : A obtenu des scores de 0,7901 (anglais) et 0,7910 (swahili). La performance en swahili a légèrement dépassé celle de l'anglais, en raison d'une distribution de classes plus équilibrée dans le jeu de données en swahili.
Sous-tâche 2 (Classification des types) : A obtenu des scores de 0,4615 (anglais) et 0,4808 (swahili). La performance a été entravée par un déséquilibre extrême, particulièrement pour les catégories genre/sexuelle et "autre".
Sous-tâche 3 (Identification des manifestations) : A obtenu des scores de 0,4791 (anglais) et 0,5830 (swahili). Le système s'est classé 2ème sur 16 équipes pour le swahili sur cette sous-tâche.

Performance comparative :
Le système a systématiquement surpassé à la fois la base POLAR et une base mBERT affinée sur toutes les sous-tâches et toutes les langues. Par exemple, pour la Sous-tâche 3 en swahili, le système proposé (0,5830) a nettement surpassé la base mBERT (0,4380).

Études d'ablation :

Pondération des classes : Sur la Sous-tâche 2 en anglais, le retrait de la pondération des classes a fait chuter le F1 macro de 0,4721 à 0,4123, soit une baisse de 5,98 points.
Choix du modèle : RoBERTa-base a surpassé BERT-base de 2,58 % sur la Sous-tâche 1 en anglais, tandis que le plus grand XLM-RoBERTa a été moins performant, confirmant le bénéfice du pré-entraînement spécifique à la langue.

Analyse d'erreurs et limites

Les auteurs ont identifié des modes de défaillance spécifiques :

Faux positifs : Des titres politiques neutres et des commentaires sportifs hyperboliques ont parfois été classés à tort comme polarisés car le modèle confond le langage fort avec la polarisation.
Ambiguïté multi-étiquettes : Dans la Sous-tâche 2, le modèle a eu du mal à détecter les nuances raciales au sein des déclarations politiques.
Catégories rares : L'étiquette genre/sexuelle (fréquence de 2,2 %) et la manifestation de déshumanisation sont restées difficiles à détecter, même avec la pondération des classes.
Nuance sémantique : La déshumanisation (31 % des erreurs) et le manque d'empathie nécessitent une compréhension sémantique nuancée et un raisonnement de type "théorie de l'esprit" que les transformers standards peinent à capturer.
Écart validation-test : Un écart de 2,29 à 10,58 points a été observé entre les scores de validation et de test, attribué au surapprentissage des seuils (overfitting) sur un seul découpage de validation et aux potentiels changements de domaine dans les données de test.

Signification et affirmations

Le document affirme que l'approche proposée démontre une performance compétitive sur le classement, soulignant particulièrement la deuxième place pour le swahili dans la Sous-tâche 3. Les auteurs soutiennent que leurs méthodes sont efficaces pour gérer la détection de la polarisation multi-étiquettes déséquilibrée tant dans des contextes à hautes ressources (anglais) que à faibles ressources (swahili).

Le travail souligne la nécessité de :

Aller au-delà des modèles multilingues génériques pour les langues africaines.
Employer des techniques spécifiques (pondération des classes et ajustement des seuils) pour traiter le biais inhérent des jeux de données de polarisation.

Les auteurs concluent que bien que le système soit efficace, les travaux futurs devront aborder le raisonnement pragmatique, la modélisation culturelle et le transfert translingue pour améliorer davantage la détection des manifestations subtiles telles que la déshumanisation et le manque d'empathie. Ils insistent également sur la nécessité d'une supervision humaine lors du déploiement réel pour éviter la suppression de l'expression politique légitime.