Résumé technique : Tâche partagée StanceNakba 2026

Définition du problème

La tâche partagée StanceNakba 2026 traite du défi de la détection automatique des positions politiques dans le discours polarisé des réseaux sociaux entourant le conflit israélo-palestinien. Bien que la détection de position (identifier si un auteur est en faveur de, contre ou neutre vis-à-vis d'une cible) soit une tâche de TAL (Traitement du Langage Naturel) bien établie, les ressources et les références existantes se sont largement concentrées sur l'anglais et des sujets politiquement neutres. Cette tâche vise à combler la lacune dans l'analyse du discours lié aux conflits, multilingue et hautement polarisé.

La tâche est structurée autour de deux sous-tâches distinctes conçues pour étudier différentes dimensions de l'alignement politique :

• Sous-tâche A (Détection de position au niveau de l'acteur) : Une tâche en langue anglaise exigeant que les modèles infèrent l'orientation politique globale d'un auteur vis-à-vis du conflit dans son ensemble. L'objectif est de classer les publications en trois catégories : Pro-Palestine, Pro-Israël ou Neutre. Cette formulation suppose que l'orientation politique s'exprime souvent indirectement par des choix de cadrage plutôt que par des marqueurs d'opinion explicites.
• Sous-tâche B (Détection de position inter-sujets) : Une tâche en langue arabe exigeant que les modèles détectent les positions vis-à-vis de deux sujets politiques spécifiques liés au conflit : « La normalisation avec Israël » et « La présence de réfugiés/immigrants en Jordanie ». L'objectif est de classer les publications en En faveur, Contre ou Ni l'un ni l'autre. Cette sous-tâche teste la capacité des modèles à généraliser les représentations de position à travers différents sujets au sein du même domaine de conflit.

Méthodologie et jeu de données

La tâche partagée repose sur un jeu de données annoté de 2 606 publications de réseaux sociaux, réparties entre l'anglais et l'arabe.

Construction du jeu de données :

• Sous-tâche A (Anglais) : Comprend 1 401 publications collectées sur X (anciennement Twitter). Les publications ont été récupérées via des requêtes par mots-clés spécifiques (ex: « I stand with Palestine » pour Pro-Palestine) et équilibrées à 467 échantillons par classe. Un pipeline de prétraitement rigoureux a supprimé les mots-clés provoquant une fuite d'étiquettes (ex: les phrases germes utilisées pour la récupération), les URL, les mentions et les emojis, ne conservant que le texte alphanumérique. Les données ont été divisées en ensembles d'entraînement (70 %), de développement (15 %) et de test (15 %).
• Sous-tâche B (Arabe) : Utilise un sous-ensemble du corpus MARASTA, se concentrant sur 1 205 échantillons à travers deux sujets. Les données couvrent plusieurs dialectes arabes (du Golfe, levantin) et l'arabe standard moderne (MSA). Les annotations ont été effectuées par plusieurs annotateurs avec un accord inter-annotateurs élevé (Kappa de Cohen de 0,84). Le jeu de données est équilibré entre les trois classes de position pour chaque sujet.

Systèmes participants :
Un total de 7 équipes ont participé à la Sous-tâche A et 6 équipes à la Sous-tâche B. La méthodologie dominante parmi tous les systèmes participants était le fine-tuning de modèles de transformeurs pré-entraînés.

• Architectures de modèles : Les architectures de base les plus courantes incluaient des modèles spécifiques à l'arabe (MARBERT, ARBERT, CAMeLBERT) et des modèles multilingues (DeBERTa-v3, XLM-RoBERTa, mDeBERTa).
• Techniques : Les équipes ont employé diverses stratégies pour gérer le déséquilibre des classes et améliorer la généralisation, notamment :
  • Méthodes d'ensemble : Combinaison des prédictions de plusieurs modèles ou de plis de validation croisée.
  • Fonctions de perte : Entropie croisée pondérée, lissage de label et apprentissage contrastif (ex: Apprentissage contrastif de prototypes).
  • Formulations d'entrée : Entrées conditionnées par le sujet, reformulation par inférence de langue naturelle (NLI) et « Statement Tuning » (utilisation de modèles de type cloze avec des jetons [MASK]).
  • Augmentation de données : Traduction de retour (back-translation) et paraphrase générée par LLM (spécifiquement pour la Sous-tâche B).
  • Régularisation : Régularisation de cohérence R-Drop et ajustements de dropout.

Résultats clés

La métrique d'évaluation pour les deux sous-tâches était le score F1 macro, qui traite toutes les classes de manière égale, pénalisant ainsi les faibles performances sur les classes souvent sous-représentées comme « Neutre » ou « Ni l'un ni l'autre ».

• Sous-tâche A (Niveau de l'acteur) : Le système le plus performant, Shroukgbr, a obtenu un F1 macro de 0,9620. Cette équipe a utilisé un transformeur de type BERT unique avec une perte d'entropie croisée pondérée et une validation croisée stratifiée en 5 plis. La deuxième et la troisième places ont été obtenues par des équipes utilisant MARBERT/ARBERT et une architecture BERT de type Mixture-of-Experts (MoE), respectivement.
• Sous-Sous-tâche B (Inter-sujets) : Le système le plus performant, Viva_Palestine, a obtenu un F1 macro de 0,8724. Ce système a effectué un fine-tuning de MARBERT sur un ensemble fusionné d'entraînement et de validation avec des entrées de paires sujet-phrase. La deuxième et la troisième places ont été occupées par des systèmes utilisant AraBERT et MARBERTv2 avec une augmentation de données sensible aux dialectes.

Les résultats indiquent que les approches basées sur les transformeurs sont très efficaces pour la détection de position dans le domaine des conflits. Cependant, les scores plus faibles dans la Sous-tâche B par rapport à la Sous-tâche A soulignent les défis persistants de la généralisation inter-sujets et la difficulté de prédire la classe neutre.

Signification et contributions

L'article positionne StanceNakba 2026 comme une étape significative pour le TAL arabe et l'analyse du discours politique en :

1. Introduisant un double cadre : Distinguer l'alignement politique au niveau de l'acteur (Sous-tâche A) et les modèles de position inter-sujets (Sous-tâche B), permettant une investigation plus nuancée de la manière dont les alignements généraux se rapportent à des questions politiques spécifiques.
2. Fournissant une ressource sensible aux conflits : Offrir un jeu de données annoté de haute qualité spécifiquement pour le conflit israélo-palestinien, répondant à la rareté des ressources pour le discours multilingue et polarisé par rapport aux références centrées sur l'anglais.
3. Établissant des lignes de base : Démontrer que les transformeurs arabes et multilingues fine-tunés (particulièrement les variantes de MARBERT et DeBERTa) servent de bases solides pour ce domaine, tout en révélant les limites des modèles actuels face aux changements inter-sujets et à la prédiction de la position neutre.

Les auteurs concluent que, bien que la tâche ait attiré une large participation et démontré la faisabilité d'une détection de position à grande échelle en arabe, les travaux futurs devront aborder les défis du déséquilibre des classes, de la variation dialectale et de l'ambiguïté inhérente à la classe de position neutre. L'article souligne également la nécessité éthique d'utiliser ces outils à des fins d'analyse scientifique plutôt qu'à des fins de surveillance ou de profilage politique.