Technische Samenvatting: PolarMind bij SemEval-2026 Taak 9

Probleemstelling

Het artikel behandelt de kritieke uitdaging van het detecteren van online polarisatie in meertalige en multiculturele contexten, specifiek binnen de scope van SemEval-2026 Taak 9. De taak omvat het identificeren van gepolariseerde spraak in 22 talen, gecategoriseerd in twee subtaken:

1. Subtaak 1: Binaire classificatie (gepolariseerd versus niet-gepolariseerd).
2. Subtaak 2: Multi-class classificatie van polarisatietypen (Politiek, Ras, Geslacht, Etniciteit, Overig).

De auteurs benadrukken dat polarisatie cultureel en taalkundig afhankelijk is; een zin kan neutraal zijn in de ene taal (bijv. Engels) maar gepolariseerd wanneer deze naar een andere taal wordt vertaald (bijv. Urdu). Een primaire moeilijkheid ligt in de schaarste aan trainingsdata voor minderheidstalen (low-resource languages), wat vaak leidt tot significante prestatiekloven tussen hoog-resource talen (bijv. Engels) en minderheidstalen in state-of-the-art modellen.

Methodologie

De auteurs stellen PolarMind voor, een systeem dat gecentreerd is rond een aangepaste LaBSE (Language-agnostic BERT Sentence Embedding) architectuur, aangevuld met Proxy-Guided Curriculum Learning.

Kernarchitectuur: LaBSE met Hybride Pooling

In tegenstelling tot standaard meertalige encoders (bijv. mBERT, XLM-R) is LaBSE geoptimaliseerd om semantisch gelijkaardige cross-linguale zinnen in exact dezelfde vectorruimte te mappen. De auteurs hypothetiseren dat deze strikte uitlijning het model in staat stelt om schaarse gepolariseerde zinnen uit minderheidstalen te projecteren in robuuste semantische buurten die door hoog-resource talen zijn gevestigd.

De architectuur bevat twee belangrijke modificaties:

1. Weighted Layer Aggregation: In plaats van alleen de laatste laag te gebruiken, aggregeert het model de laatste vier lagen ($L_{n-4}$ tot $L_n$) met behulp van leerbare parameters ($w_1, w_2, w_3, w_4$). De gewichten voor de eerdere lagen worden geïnitialiseerd om kleiner te zijn ($\sim 0.2w_1$) om diepere semantische kenmerken te prioriteren.
2. Hybride Pooling: De uiteindelijke representatie combineert Global Mean Pooling (vangt de algemene semantische context) en Additive Attention Pooling (accentueert impactvolle tokens).
   • Mean Pooling: Berekent het rekenkundig gemiddelde van de verborgen toestanden (hidden states).
   • Attention Pooling: Gebruikt een additive attention mechanisme (Bahdanau et al., 2016) om gewichten toe te kennen aan specifieke tokens.
   • Fusie: De uiteindelijke embedding is $e_{hybrid} = e_{mean} + \lambda e_{attn}$. Voor Subtaak 2 worden onafhankelijke attention mechanismen behouden voor elk classificatiehoofd om vermenging van verschillende polarisatietypen te voorkomen (bijv. geslacht versus etniciteit).

Trainingsstrategie: Proxy-Guided Curriculum Learning

Om de data-imbalans en variatie in moeilijkheidsgraad aan te pakken, hanteren de auteurs een curriculum learning strategie:

• Difficulty Ranking: Een proxy-model (XLM-RoBERTa-base) rangschikt de dataset op basis van een moeilijkheidsscore $R(x) = \alpha \cdot P(y|x) + \beta \cdot \frac{1}{len(x)}$, waarbij $P(y|x)$ de proxy-betrouwbaarheid is en de inverse lengte-term korte, hoog-resource voorbeelden bevordert.
• Trainingsfasen: Modellen worden getraind in fasen: eerst eenvoudige samples, gevolgd door eenvoudig+gemiddeld, gemiddeld+moeilijk, en uiteindelijk de volledige dataset.

Ablatieonderzoek en Alternatieve Modellen

Het artikel evalueert de kern-LaBSE architectuur tegen verschillende alternatieven:

• RemBERT: Getest met en zonder continue pretraining op een corpus afgeleid van Subtaak 3 data om de kennis van het model over recente gebeurtenissen bij te werken.
• EuroBERT: Een state-of-the-art encoder geoptimaliseerd voor Europese talen met een recentere kennis-cutoff.
• Qwen-2.5-14B (LLM): Geëvalueerd met behulp van een retrieval-gebaseerd prompting framework.
  • Retrieval: LaBSE haalt de top-$k$ semantisch gelijkaardige zinnen op uit de trainingsdata.
  • Diversiteit: Maximal Marginal Relevance (MMR) zorgt ervoor dat de opgehaalde voorbeelden zowel relevant zijn voor de query als divers van elkaar.
  • Prompting: Few-shot prompting (7 shots) werd getest met ruwe tekst en tekst aangevuld met fonemen (met behulp van de Epitran library) om te analyseren of fonetische informatie de prestaties in minderheidstalen ondersteunt.

Belangrijkste Bijdragen

1. LaBSE-gebaseerde Architectuur: Introductie van een weighted layer aggregation en hybride pooling mechanisme specifiek ontworpen voor cross-linguale polarisatiedetectie, gebruikmakend van de strikte cross-linguale uitlijning van LaBSE.
2. Proxy-Guided Curriculum Learning: Een strategie om de meertalige data-imbalans te mitigeren door te trainen op data gesorteerd op moeilijkheidsgraad.
3. Uitgebreide Modellevaluatie: Een vergelijkende analyse van encoder-modellen (LaBSE, RemBERT, EuroBERT) en Large Language Models (Qwen-2.5) binnen een retrieval-gebaseerd framework.
4. Empirische Analyse van LLM Beperkingen: Onderzoek naar de effectiviteit van fonem-gebaseerde prompting en few-shot learning voor meertalige polarisatietaken met beperkte middelen.

Resultaten

Het systeem werd geëvalueerd op de development set en de officiële testset over 22 talen.

• Subtaak 1 (Binaire Classificatie):

  • De voorgestelde LaBSE-architectuur met hybride pooling presteerde consistent beter dan de officiële POLAR baseline (fine-tuned LaBSE-base) met een gemiddelde van 0.04 Macro F1 over alle 22 talen.
  • In minderheidstalen behaalde het systeem competitieve resultaten en behaalde het top-10 rangeringen in vijf talen. Zo behaalde het systeem in Amhaars (amh) een score van 0.771, een verbetering van 5,6% ten opzichte van de baseline.
  • Continue pretraining op RemBERT leverde slechts marginale winst op (+0.005 Macro F1), wat suggereert dat de hybride pooling strategie een grotere boost bood dan enkel model-scaling.
  • Het Qwen-2.5 decoder model presteerde niet beter dan de encoder modellen, waarschijnlijk door mismatch in tokenisatie en een zwakkere cross-linguale uitlijning vergeleken met LaBSE.

• Subtaak 2 (Type Detectie):

  • Het LaBSE-gebaseerde model presteerde opnieuw beter dan RemBERT en EuroBERT.
  • Taalspecifieke drempelwaarde kalibratie verbeterde de gemiddelde Macro-F1 op de development set van 0.5216 naar 0.5441 (+2,25%), wat de gevoeligheid van multi-label detectie voor drempelwaarde selectie onderstreept.
  • Qwen-2.5 (7-shot) presteerde op gelijke voet met het encoder model door gebruik te maken van voorkennis om schaarse patronen (bijv. geslacht/etniciteit) te generaliseren waar de encoder moeite mee had met beperkte samples.
  • Phoneme Prompting: Het toevoegen van fonetische informatie (tekst + IPA) leverde geen significante verbeteringen op. De auteurs hypothetiseren dat voor deze taak fonetische lagen redundante informatie bieden, en dat de IPA-transformatie onbedoeld emoji's of script-specifieke markers kan wegfilteren die een significante gepolariseerde waarde dragen.

Betekenis en Claims

Het artikel claimt dat de optimale aanpak voor multiculturele polarisatiedetectie bestaat uit gespecialiseerde systemen die rekening houden met linguïstische en culturele nuances, in plaats van enkel te vertrouwen op algemene modellen.

De primaire betekenis van het werk ligt in het aantonen dat LaBSE, normaal gesproken gereserveerd voor retrieval taken, effectief kan worden hergebruikt voor classificatie in omgevingen met beperkte middelen. Door de strikte cross-linguale uitlijning van LaBSE te combineren met hybride pooling en curriculum learning, overbrugt het systeem de prestatiekloof tussen hoog-resource en minderheidstalen, waarbij het in specifieke scenario's tot wel een 0.2 macro F1 verbetering bereikt ten opzichte van standaard baselines.

De auteurs concluderen bescheiden dat hoewel LLM's veelbelovend zijn via few-shot learning, ze momenteel beperkingen ervaren in cross-linguale uitlijning en tokenisatie voor deze specifieke taak, en dat fonetische augmentatie momenteel geen doorslaggevend voordeel biedt voor polarisatiedetectie. Het werk legt een robuuste baseline vast voor toekomstig onderzoek in meertalige, multiculturele NLP.