Technische Samenvatting: StanceNakba 2026 Shared Task

Probleemdefinitie

De StanceNakba 2026 shared task behandelt de uitdaging van het automatisch detecteren van politieke standpunten in gepolariseerd discours op sociale media rondom het Palestijnse-Israëlische conflict. Hoewel standpuntdetectie (het identificeren van of een auteur vóór, tegen of neutraal is ten opzichte van een doelwit) een goed gevestigde NLP-taak is, hebben bestaande bronnen en benchmarks zich grotendeels gericht op het Engels en politiek neutrale onderwerpen. Deze taak beoogt de kloof te vullen in conflictgerelateerde, meertalige en hoog gepolariseerde discoursanalyse.

De taak is gestructureerd rond twee afzonderlijke subtaken die verschillende dimensies van politieke afstemming onderzoeken:

• Subtaak A (Actor-Level Stance Detection): Een Engelstalige taak waarbij modellen een algehele politieke oriëntatie van een auteur ten opzichte van het conflict als geheel moeten afleiden. Het doel is om berichten te classificeren in drie categorieën: Pro-Palestina, Pro-Israël of Neutraal. Deze formulering gaat ervan uit dat politieke oriëntatie vaak indirect wordt uitgedrukt via keuzes in inkadering (framing) in plaats van expliciete opiniemarkers.
• Subtaak B (Cross-Topic Stance Detection): Een Arabischtalige taak waarbij modellen standpunten moeten detecteren ten opzichte van twee specifieke, conflictgerelateerde beleidsonderwerpen: "Normalisering met Israël" en "Vluchteling/Immigrant-aanwezigheid in Jordanië". Het doel is om berichten te classificeren als Voor, Tegen of Geen van beide. Deze subtaak test het vermogen van modellen om standpuntrepresentaties te generaliseren over verschillende onderwerpen binnen hetzelfde conflictdomein.

Methodologie en Dataset

De shared task is gebouwd op een geannoteerde dataset van 2.606 social media berichten, verdeeld tussen Engels en Arabisch.

Datasetconstructie:

• Subtaak A (Engels): Bestaat uit 1.401 berichten verzameld van X (voorheen Twitter). De berichten werden opgehaald met specifieke zoektermen (bijv. "I stand with Palestine" voor Pro-Palestina) en gebalanceerd naar 467 monsters per klasse. Een strikte preprocessing-pipeline verwijderde label-lekken (zoals de seed-phrases die voor de retrieval werden gebruikt), URL's, mentions en emoji's, waarbij alleen alfanumerieke tekst werd behouden. De data werd gesplitst in trainings- (70%), ontwikkelings- (15%) en testsets (15%).
• Subtaak B (Arabisch): Maakt gebruik van een subset van de MARASTA-corpus, met de focus op 1.205 monsters over twee onderwerpen. De data beslaat meerdere Arabische dialecten (Golf, Levantijnse) en Modern Standaardarabisch (MSA). Annotaties werden uitgevoerd door meerdere annotatoren met een hoge inter-annotator overeenstemming (Cohen's Kappa van 0,84). De dataset is gebalanceerd over de drie standstandpunten voor elk onderwerp.

Deelnemende Systemen:
In totaal namen 7 teams deel aan Subtaak A en 6 teams aan Subtaak B. De dominante methodologie bij alle deelnemende systemen was het fine-tunen van pre-trained transformer-gebaseerde modellen.

• Modelarchitecturen: De meest voorkomende backbones omvatten Arabisch-specifieke modellen (MARBERT, ARBERT, CAMeLBERT) en meertalige modellen (DeBERTa-v3, XLM-RoBERTa, mDeBERTa).
• Technieken: Teams gebruikten diverse strategieën om klassenimbalans te behandelen en generalisatie te verbeteren, waaronder:
  • Ensemble-methoden: Het combineren van voorspellingen van meerdere modellen of cross-validatie-folds.
  • Verliesfuncties (Loss Functions): Weighted cross-entropy, label smoothing en contrastief leren (bijv. Prototype Contrastive Learning).
  • Inputformuleringen: Onderwerp-geconditioneerde inputs, Natural Language Inference (NLI) herformulering, en "Statement Tuning" (gebruikmakend van cloze-templates met [MASK]-tokens).
  • Data-augmentatie: Back-translation en door LLM gegenereerde parafrasering (specifiek voor Subtaak B).
  • Regularisatie: R-Drop consistentie-regularisatie en dropout-aanpassingen.

Belangrijkste Resultaten

De evaluatiemetriek voor beide subtaken was de Macro F1-score, die alle klassen gelijk behandelt en daarmee slechte prestaties op de vaak ondervertegenwoordigde "Neutrale" of "Geen van beide" klassen bestraft.

• Subtaak A (Actor-Level): Het best presterende systeem, Shroukgbr, behaalde een Macro F1 van 0,9620. Dit team maakte gebruik van een enkele BERT-gebaseerde transformer met weighted cross-entropy loss en gestratificeerde 5-fold cross-validatie. De tweede en derde plaats werden ingenomen door teams die respectievelijk MARBERT/ARBERT en een Mixture-of-Experts (MoE) BERT-architectuur gebruikten.
• Subtaak B (Cross-Topic): Het best presterende systeem, Viva_Palestine, behaalde een Macro F1 van 0,8724. Dit systeem heeft MARBERT gefinetuned op een samengevoegde trainings- en validatieset met onderwerp-zin paren als input. De tweede en derde plaats werden bereikt door systemen die AraBERT en MARBERTv2 gebruikten met dialect-bewuste data-augmentatie.

De resultaten geven aan dat transformer-gebaseerde benaderingen zeer effectief zijn voor standpuntdetectie binnen een conflictdomein. De lagere scores in Subtaak B vergeleken met Subtaak A benadrukken echter de aanhoudende uitdagingen in cross-topic generalisatie en de moeilijkheid van het voorspellen van de neutrale klasse.

Betekenis en Bijdragen

Het artikel positioneert StanceNakba 2026 als een belangrijke stap voorwaarts in de Arabische NLP en politieke discoursanalyse door:

1. Het introduceren van een duaal framework: Het onderscheid maken tussen actor-level politieke afstemming (Subtaak A) en cross-topic standpuntpatronen (Subtaak B), wat een meer genuanceerd onderzoek mogelijk maakt naar hoe algemene afstemmingen zich verhouden tot specifieke beleidsvraagstukken.
2. Het bieden van een conflict-bewuste bron: Het aanbieden van een hoogwaardige, geannoteerde dataset specif voor het Palestijnse-Israëlische conflict, waarmee een tekort aan bronnen voor gepolariseerde, meertalige discours wordt aangepakt in vergelijking met Engelstalige benchmarks.
3. Het vaststellen van baselines: Aantonen dat gefinetunede Arabische en meertalige transformers (met name MARBERT en DeBERTa-varianten) sterke baselines vormen voor dit domein, terwijl ook de beperkingen van huidige modellen in het omgaan met cross-topic verschuivingen en neutrale standpuntvoorspelling worden blootgelegd.

De auteurs concluderen dat hoewel de taak brede deelname heeft aangetrokken en de haalbaarheid van grootschalige Arabische standpuntdetectie heeft aangetoond, toekomstig werk de uitdagingen van klassenimbalans, dialectale variatie en de inherente ambiguïteit van de neutrale standpuntklasse moet aanpakken. Het artikel benadrukt ook de ethische noodzaak om deze instrumenten voor wetenschappelijke analyse te gebruiken in plaats van voor surveillance of politieke profilering.