Lingo_Research_Group at SemEval-2026 Task 9: Evaluating Prompt Variants for Polarization Detection

Résumé Technique : Lingo_Research_Group à SemEval-2026 Task 9

Définition du Problème
Le document traite de la tâche 9 de SemEval-2026, un défi de classification de texte multilingue axé sur la détection de la polarisation. La tâche est divisée en trois sous-tâches de complexité croissante :

1. Sous-tâche 1 (Détection binaire) : Déterminer si un message sur les réseaux sociaux présente une polarisation d'attitude (cadrage clivant de l'in-group/out-group, hostilité ou exclusion).
2. Sous-tâche 2 (Classification des cibles) : Identifier les cibles spécifiques de la polarisation (politique, raciale/ethnique, religieuse, genre/sexe, ou autres) dans un cadre multi-étiquettes.
3. Sous-tâche 3 (Identification des manifestations) : Détecter les formes rhétoriques de la polarisation, telles que les stéréotypes, la vilification, la déshumanisation, le langage extrême, le manque d'empathie ou l'invalidation.

Le défi réside dans le fait que la polarisation se réalise souvent par le biais du cadrage, de la rhétorique et du contexte culturel plutôt que par un discours de haine explicite, ce qui la rend difficile à détecter, particulièrement à travers 22 langues diverses présentant des modes de discours variés.

Méthodologie
Les auteurs proposent une approche d'inférence basée sur des prompts utilisant des modèles de langage de grande taille (LLM) sans ajustement des paramètres (fine-tuning). La méthodologie centrale implique :

• Ingénierie de Prompt (Prompt Engineering) : Au lieu d'un prompt unique, l'équipe a conçu et évalué 12 variantes de prompts distinctes. Ces variantes variaient systématiquement en termes de clarté de la terminologie, de détails de définition, de guidage du raisonnement et d'inclusion d'exemples en contexte. Les prompts ont été structurés comme un gradient conceptuel, passant d'un contexte minimal à des définitions détaillées et des instructions de raisonnement étape par étape.
• Sélection du Modèle : Des expériences ont été menées en utilisant deux LLM multilingues : aya-101 et Gemma3-27B. Sur la base des comparaisons de performance à travers les sous-tâches et les configurations de prompts, Gemma3-27B a été sélectionné pour la soumission finale en raison de ses scores F1 macro supérieurs.
• Stratégie d'Inférence : Le système traite l'analyse de la polarisation comme un problème de suivi d'instructions. Pour la sous-tâche 1, le modèle prédit une étiquette binaire. Pour les sous-tâches 2 et 3, il génère une liste de prédictions binaires pour chaque étiquette de cible ou de manifestation. L'équipe a utilisé une stratégie de prompting « conservatrice », ne prédisant la polarisation que lorsqu'une preuve explicite et non ambiguë était présente.
• Évaluation : Le système a été évalué sur des ensembles de test non vus à travers 22 langues en utilisant des scores F1 moyens (macro-averaged) pour tenir compte du déséquilibre des classes. Aucune donnée externe ou augmentation n'a été utilisée.

Résultats Clés
Le système a obtenu les scores F1 macro moyens suivants sur l'ensemble de test officiel :

• Sous-tâche 1 : 0,762 (Précision moyenne : 0,819)
• Sous-tâche 2 : 0,587 (Précision moyenne : 0,678)
• Sous-tâche 3 : 0,444 (Précision moyenne : 0,498)

La performance a varié de manière significative selon la langue et la sous-tâche. Par exemple, le chinois et le népalais ont obtenu des scores F1 élevés (jusqu'à 0,92) dans la sous-tâche 1, tandis que l'italien a atteint des scores aussi bas que 0,35. Les auteurs ont observé une dégradation systématique de la performance à mesure que la complexité de la tâche augmentait, passant de la détection binaire à la classification sociolinguistique fine et multi-étiquettes.

Analyse et Constats
Le document fournit une analyse détaillée des résultats, mettant en évidence plusieurs tendances clés :

• Complexité de la Tâche : Il existe une relation inverse claire entre l'abstraction de la tâche et la performance. Bien que les approches basées sur les prompts soient efficaces pour la détection à grain grossier (sous-tâche 1), elles peinent avec les tâches multi-étiquettes plus fines (sous-tâches 2 et 3) où les étiquettes sont abstraites (ex: « manque d'empathie ») et manquent d'indicateurs lexicaux clairs.
• Suppression du Rappel (Recall) : La stratégie de prompting conservatrice a conduit à une précision élevée mais à un F1 macro faible dans les sous-tâches 2 et 3. Les modèles sous-prédisent fréquemment les étiquettes positives, particulièrement dans les langues où la polarisation est transmise indirectement par le sarcasme, les questions rhétoriques ou les références culturelles (ex: haoussa, italien, khmer).
• Nuances Linguistiques Spécifiques : La performance n'était pas uniforme selon les langues. Le népalais et le chinois ont bien performé dans les sous-tâches 1 et 2 grâce à des références de groupe explicites, tandis que le hindi a le mieux performé dans la sous-tâche 3, probablement en raison de sa prévalence de tactiques rhétoriques explicites (vilification, langage extrême) qui s'alignent bien avec les a priori de pré-entraînement du modèle.
• Le Paradoxe de l'Anglais : Malgré un pré-entraînement étendu sur des données anglaises, l'anglais a sous-performé par rapport à la médiane. Les auteurs attribuent cela à la prévalence de l'ironie, du sarcasme et du raccourci idéologique dans la polarisation anglaise, que les prompts conservateurs classent souvent à tort comme non-polarisés en raison de l'absence d'hostilité de surface.
• Limites de la Traduction : Le document note que le raisonnement basé sur la traduction (encodage des entrées en anglais avant la classification) peut atténuer les expressions chargées émotionnellement, échouant ainsi à préserver l'intention rhétorique nécessaire à l'identification des manifestations.

Signification et Revendications
Le document affirme que les approches basées sur les prompts utilisant des LLM multilingues sont une méthode viable pour détecter la polarisation à grain grossier sans nécessiter de fine-tuning spécifique à la tâche ou de grands ensembles de données annotés. Cependant, les auteurs concluent modestement que ces méthodes rencontrent des difficultés croissantes à mesure que la tâche tend vers une classification sociolinguistique multi-étiquettes plus fine.

L'étude démontre que la conception du prompt est critique ; l'articulation des définitions de tâches, des limites de décision et des attentes de raisonnement influence lourdement la performance du modèle. L'étude souligne que, bien que les LLM puissent gérer efficacement la détection binaire, l'« équivalence sémantique » de la traduction ne garantit pas la préservation de l'intention rhétorique, suggérant que les travaux futurs devront traiter les nuances du discours translinguistique et les limites du prompting conservateur pour capturer la polarisation implicite.

Considérations Éthiques
Les auteurs soulignent que leur système ne doit pas être utilisé comme un outil de modération autonome en raison des risques de faux positifs (interdiction injuste de discours légal) et de faux négatifs (tolérance de rhétoriques dangereuses). Ils reconnaissent également des disparités de performance significatives entre les langues, qui peuvent découler de la représentation des données de pré-entraînement, des variations culturelles et de la densité d'annotation.