💬 NLP

PSK at SemEval-2026 Task 9: Multilingual Polarization Detection Using Ensemble Gemma Models with Synthetic Data Augmentation

L'équipe PSK a obtenu la 2e place globale à la tâche 9 de SemEval-2026 avec un macro-F1 moyen de 0,811 en utilisant un ensemble de modèles Gemma 3 affinés par LoRA, enrichis par des données synthétiques générées par GPT-4o-mini et un réglage des seuils par langue, tout en démontrant l'importance cruciale de la généralisation par rapport à des architectures qui ont bien performé sur les ensembles de développement mais ont échoué sur l'ensemble de test.

Auteurs originaux : Srikar Kashyap Pulipaka

Publié 2026-05-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Srikar Kashyap Pulipaka

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un groupe de 22 étudiants différents (représentant 22 langues distinctes) comment repérer une « dispute animée » par rapport à une « conversation calme » dans les publications sur les réseaux sociaux. C'était le défi de la SemEval-2026 Task 9, et l'équipe PSK (dirigée par le chercheur indépendant Srikar Kashyap Pulipaka) a construit un système pour le résoudre.

Voici comment ils ont procédé, expliqué simplement :

1. L'Objectif : Repérer la « Chaleur »

La tâche consistait à lire des publications sur les réseaux sociaux dans 22 langues (de l'anglais à l'amharique) et à décider : ce post est-il polarisé (plein de stéréotypes, de haine ou d'intolérance) ? Ou est-il neutre ?

Le Défi : Certaines langues disposaient de très peu d'exemples pour apprendre, et la « polarisation » se manifeste différemment dans chaque culture. C'est comme essayer d'enseigner à quelqu'un de reconnaître une « tempête » alors qu'il n'a vu de la pluie que dans un seul pays.

2. Les Enseignants : Les modèles « Gemma »

Au lieu d'utiliser un seul grand enseignant pour tout le monde, l'équipe a engagé deux « tuteurs » spécifiques pour chaque langue :

Le Tuteur 12B : Un modèle intelligent et efficace (12 milliards de paramètres).
Le Tuteur 27B : Un modèle encore plus intelligent et puissant (27 milliards de paramètres).
Ils ont utilisé une technique appelée LoRA, qui revient à donner à ces tuteurs une petite « triche » spécialisée pour apprendre la langue spécifique sans avoir à réécrire l'intégralité de leur cerveau.

3. Le Compagnon d'Étude : Les Données Synthétiques

L'équipe a réalisé que certains étudiants n'avaient pas assez de problèmes d'entraînement. Ils ont donc utilisé une IA (GPT-4o-mini) pour rédiger de faux problèmes d'entraînement (données synthétiques).

Génération Directe : L'IA a rédigé de nouveaux faux arguments à partir de zéro.
Paraphrase : L'IA a pris de vrais exemples et les a réécrits avec d'autres mots (comme un étudiant reformulant une question de devoir).
Paires Contrastives : L'IA a créé des exemples « jumeaux » — l'un polarisé et l'autre calme — afin que le modèle puisse voir la différence exacte.
Le Filtre : Ils n'ont pas simplement versé ces données factices en vrac. Ils les ont soumises à un filtre strict de « contrôle qualité » pour éliminer les doublons et les absurdités, garantissant ainsi que les étudiants n'étudiaient que du matériel de haute qualité.

4. La Stratégie : Régler le « Bouton de Volume »

Après l'entraînement, les modèles devaient prendre une décision finale. Habituellement, l'IA dit « Oui » si elle est sûre à plus de 50 %. Mais l'équipe a constaté que pour certaines langues, 50 % était trop élevé ou trop bas.

La Solution : Ils ont traité le seuil de décision comme un bouton de volume. Pour certaines langues, ils ont baissé le bouton à 30 % (pour attraper plus d'arguments), et pour d'autres, ils l'ont monté à 70 % (pour éviter les fausses alertes). Ce simple ajustement a amélioré leurs scores de 2 à 4 % sans aucun entraînement supplémentaire.

5. L'« Ensemble » : Un Panel de Juges

Pour la décision finale, ils n'ont pas écouté un seul tuteur. Ils ont utilisé un Ensemble :

Ils ont laissé les deux tuteurs 12B et 27B voter.
Parfois, ils ont moyenné les votes ; d'autres fois, ils ont accordé plus de poids au tuteur plus intelligent.
Pour chaque langue, ils ont choisi la stratégie de vote qui fonctionnait le mieux lors des tests d'entraînement.

6. Les Résultats : Qui a gagné ?

Le Vainqueur : L'équipe a terminé 2e au total sur 60 équipes.
Le Score : Ils ont obtenu un score de 0,811 (une mesure de précision). Ils ont pris la 1re place dans 3 langues et le top 3 dans 8 autres.
La Surprise : Ils ont essayé d'utiliser d'autres modèles d'IA célèbres (XLM-RoBERTa et Qwen3). Ces modèles ont excellé lors des tests d'entraînement mais se sont effondrés lors du vrai test, perdant 30 à 50 % de leur précision.
- La Leçon : Il vaut mieux avoir un modèle qui généralise bien (apprend le concept de polarisation) qu'un modèle qui se contente de mémoriser les réponses des exercices. Les modèles Gemma étaient les seuls à ne pas « oublier » lorsque le test a commencé.

7. Le Seul Point Faible : Le « Chapitre Manquant » Italien

Le système a eu le plus de mal avec l'italien. Pourquoi ?

Les données d'entraînement pour l'italien manquaient de catégories entières de sujets (comme la « politique » ou d'autres problèmes).
Cependant, le test final comprenait de nombreuses questions sur ces sujets manquants.
C'est comme étudier pour un examen de mathématiques uniquement sur l'addition, mais que l'examen final comprenne une grande section sur la division. Le modèle n'avait jamais vu ces types spécifiques d'arguments auparavant, il ne pouvait donc pas deviner correctement.

Résumé

L'équipe a construit un système qui utilise des tuteurs IA spécialisés, des problèmes d'entraînement générés par IA et des règles de décision personnalisées pour repérer les disputes en ligne dans 22 langues. Leur secret n'était pas seulement d'utiliser la plus grande IA, mais d'utiliser celle qui pouvait réellement apprendre le concept de polarisation sans mémoriser les réponses, puis d'ajuster finement les règles pour chaque langue spécifique.

Résumé technique : PSK à SemEval-2026 Tâche 9

Définition du problème
L'article traite de la Tâche 9 de SemEval-2026, un défi de classification binaire axé sur la détection de la polarisation des attitudes dans les textes des médias sociaux à travers 22 langues typologiquement diverses. La tâche consiste à classer un texte comme étant soit « polarisé » (impliquant des stéréotypes, une vilification, une déshumanisation ou de l'intolérance), soit « non polarisé ». Le jeu de données présente des défis significatifs, notamment des tailles variables (allant d'environ 1 700 à 7 000 échantillons par langue), des variations culturelles dans la manifestation de la polarisation et des déséquilibres de classes sévères dans certaines langues (par exemple, le khmer avec un ratio de 10:1 d'échantillons polarisés sur non polarisés). La métrique d'évaluation principale est le score F1 macro-moyen.

Méthodologie
L'approche de l'équipe repose sur l'affinement (fine-tuning) de modèles distincts pour chaque langue en utilisant la famille Gemma 3 de Google, enrichie par des données synthétiques et des stratégies d'ensemble.

Architecture du modèle : Le système utilise deux tailles de modèles : Gemma 3 12B (modèle principal) et Gemma 3 27B (modèle d'ensemble). Les deux sont affinés à l'aide de l'adaptation à faible rang (LoRA) avec une tête de classification de séquence. Le modèle 12B utilise une quantification 8 bits sur un seul GPU A100, tandis que le modèle 27B emploie une quantification 4 bits NF4 sur deux GPU A100. Les paramètres d'entraînement incluent un taux d'apprentissage de $5 \times 10^{-5}$ , 3 époques et des tailles de lot de 1 à 2 avec accumulation de gradients.
Augmentation par données synthétiques : Pour pallier la pénurie de données, l'équipe a généré environ 1 000 échantillons synthétiques par langue en utilisant GPT-4o-mini via trois stratégies :
1. Génération directe (50 %) : Génération native d'échantillons couvrant cinq thèmes culturellement pertinents (politique, ethnique/racial, religieux, classe sociale, relations internationales).
2. Paraphrase préservant l'étiquette (30 %) : Paraphrase d'échantillons réels d'entraînement avec une température de 0,7, filtrée pour maintenir une similarité cosinus inférieure à 0,90 par rapport à l'original.
3. Paires contrastives (20 %) : Paires avec édition minimale sur le même thème, contenant une instance polarisée et une instance non polarisée pour affiner les frontières de classe.
- Contrôle de qualité : Un pipeline de filtrage multi-étapes a été appliqué, incluant un nettoyage de base, une détection de fuite d'étiquettes basée sur les expressions régulières, une déduplication basée sur les plongements (utilisant paraphrase-multilingual-MiniLM-L12-v2 avec un seuil de 0,90) et des vérifications de cohérence par traduction aller-retour.
Ensemble et réglage du seuil :
- Optimisation du seuil : Au lieu d'utiliser un seuil par défaut de 0,5, l'équipe a recherché des seuils optimaux ( $t \in \{0,3, \dots, 0,7\}$ ) sur l'ensemble de développement pour maximiser le F1 macro pour chaque langue individuellement.
- Stratégies d'ensemble : Quatre stratégies ont été évaluées par langue : 12B uniquement, 27B uniquement, moyenne simple et moyenne pondérée ( $p = w \cdot p_{12B} + (1-w) \cdot p_{27B}$ ). La stratégie produisant le F1 de développement le plus élevé a été sélectionnée pour la soumission finale.

Résultats clés

Performance : Le système final a atteint un F1 macro moyen de 0,811 sur les 22 langues, se classant 2e au total parmi les 60 équipes participantes. Le système a obtenu la 1re place dans 3 langues (amharique, hindi, swahili) et des places dans le top 3 dans 8 langues.
Impact des composants :
- Réglage du seuil : Le réglage du seuil par langue sur l'ensemble de développement a entraîné des améliorations du F1 de 2 % à 4 % sans réentraînement.
- Données synthétiques : Un ratio optimal de données synthétiques de 30 % a apporté des gains modestes (2–3 %), avec des bénéfices les plus significatifs observés dans les langues à ressources limitées.
- Ensemble : Les ensembles pondérés des modèles 12B et 27B ont été la stratégie gagnante pour 14 langues sur 22.
Généralisation vs Performance sur l'ensemble de développement : Une découverte critique a été l'écart entre les performances sur les ensembles de développement et de test à travers les architectures. Alors que XLM-RoBERTa et Qwen3 montraient de solides performances sur l'ensemble de développement, ils ont subi des chutes massives du F1 (30–50 %) sur l'ensemble de test. Par exemple, XLM-RoBERTa est passé de 0,856 à 0,297 sur le bengali. Seuls les modèles Gemma ont démontré une généralisation fiable du développement au test.
Étude de cas (Italien) : La performance la plus faible du système a été observée en italien (F1 de 0,563). L'analyse a révélé un « écart de couverture thématique » : les ensembles d'entraînement et de développement ne contenaient aucun exemple des thèmes « politique » ou « autre », alors que ces catégories représentaient 41 % de l'ensemble de test et 87 % de sa classe positive. Cela a mis en évidence un décalage de distribution où le modèle a été évalué sur une sous-population positive qu'il n'avait jamais observée durant l'entraînement.

Portée et affirmations
L'article affirme que la généralisation robuste est un facteur plus critique pour le succès que la maximisation des performances sur l'ensemble de développement. Les auteurs soutiennent que, bien que des architectures alternatives (XLM-RoBERTa, Qwen3) puissent sembler supérieures durant le développement, elles échouent à se transférer efficacement vers des distributions de test invisibles, alors que la famille Gemma a maintenu des performances constantes.

L'étude met en évidence l'efficacité du réglage du seuil par langue comme méthode peu coûteuse pour augmenter considérablement les performances en corrigeant un mauvais calibrage des probabilités (par exemple, les modèles russes étant sous-confiants et les modèles khmers surconfiants). De plus, ce travail démontre que l'augmentation par données synthétiques est plus bénéfique pour les langues à ressources limitées, bien qu'elle nécessite une gestion prudente du ratio pour éviter une dégradation dans les langues à ressources abondantes ou sensibles.

Limites
Les auteurs reconnaissent plusieurs limites :

Intensité de calcul : L'entraînement de modèles distincts pour 22 langues nécessite des ressources GPU importantes.
Authenticité des données synthétiques : La qualité des données synthétiques pour les langues à ressources limitées (par exemple, le khmer, le swahili) peut être limitée si le LLM ne peut pas générer de texte authentique dans ces contextes linguistiques spécifiques.
Transférabilité des seuils : Les seuils optimisés sur un petit ensemble de développement peuvent ne pas se transférer entièrement à la distribution de test.
Ratios de stratégie heuristique : La répartition 50/30/20 pour les stratégies de données synthétiques a été choisie de manière heuristique plutôt que par une ablation systématique.

Conclusion
Le système PSK a exploité avec succès les modèles Gemma, l'augmentation par données synthétiques et les méthodes d'ensemble pour atteindre un classement dans le top 2 dans une tâche multilingue difficile. La principale leçon est la nécessité de privilégier les modèles qui généralisent bien par rapport à ceux qui se contentent de surajuster les métriques de développement, ainsi que l'utilité de techniques simples de calibration a posteriori comme le réglage du seuil.