💬 NLP

Multilingual Polarization Detection Using Transformer-Based Models with Class Weighting and Threshold Tuning

Dit artikel presenteert een op Transformers gebaseerde aanpak met behulp van RoBERTa- en AfroXLMR-modellen met klasseweging en drempelwaarde-afstemming om competitieve prestaties te behalen bij het detecteren van meertalige polarisatie, typen en manifestaties voor Engels en Swahili in SemEval-2026 Taak 9.

Oorspronkelijke auteurs: Aaron Bundi Anampiu

Gepubliceerd 2026-07-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Aaron Bundi Anampiu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je het internet voor als een gigantisch, luidruchtig dorpsplein waar miljoenen mensen hun mening staan te schreeuwen. Soms zijn deze gesprekken gezonde debatten, maar vaak veranderen ze in schreeuwpartijen waarbij mensen stoppen met luisteren en elkaar beginnen aan te vallen op basis van hun overtuigingen, ras, religie of geslacht. Dit wordt polarisatie genoemd.

Het papier dat je leest is een rapportcijfer van een team genaamd "Aaron" die deelnam aan een wereldwijde competitie (SemEval-2026) om een robot te bouwen die naar dit dorpsplein kan luisteren, specifiek in het Engels en Swahili, en drie dingen kan ontdekken:

Is dit gesprek gepolariseerd (een schreeuwpartij) of niet?
Waar gaat de strijd over (politiek, ras, religie, enz.)?
Hoe vechten ze (gebruikmakend van stereotypen, beledigingen of dehumaniserende taal)?

Hier is hoe ze hun robot hebben gebouwd en wat ze hebben gevonden, eenvoudig uitgelegd:

1. De Gereedschappen: De juiste "oren" kiezen

Het team gebruikte geen generieke robot die alle talen gelijkmatig spreekt. Ze realiseerden zich dat, net zoals een persoon een lokaal dialect beter kan begrijpen dan een buitenlander, AI-modellen gespecialiseerd moeten zijn.

Voor Engels: Ze gaven de robot "RoBERTa", een model dat specifiek is getraind om de nuances van het Engels te begrijpen.
Voor Swahili: Ze gaven de robot "AfroXLMR", een model dat speciaal is getraind op Afrikaanse talen.
De Analogie: Stel je voor dat je probeert te luisteren naar een debat in een drukke kamer. Als je een generiek gehoorapparaat gebruikt, mis je misschien de fluisteringen. Maar als je een gehoorapparaat gebruikt dat specifiek is afgestemd op de frequentie van de kamer, hoor je alles duidelijk. Dat is wat zij deden met de modellen.

2. Het Probleem: De "Zeldzame Gast"-kwestie

In de data die ze analyseerden, gingen de meeste gesprekken over veelvoorkomende onderwerpen (zoals algemene politiek), maar sommige onderwerpen waren zeer zeldzaam (zoals gender of seksuele polarisatie).

De Analogie: Stel je een klaslokaal voor waar 95% van de leerlingen een rood shirt draagt en slechts 5% een blauw shirt. Als je een leerling vraagt de kleur van het shirt van een nieuw persoon te raden, zal hij bijna altijd voor "rood" kiezen omdat dat het meest voorkomt. Hij zal er niet in slagen om de "blauwe" shirts te spotten.
De Oplossing: Het team leerde hun robot om extra aandacht te besteden aan de "blauwe shirts". Ze gebruikten een Class-Weighted Loss functie. Denk hierbij aan een leraar die zegt: "Als je een rood shirt mist, is dat een kleine fout. Maar als je een blauw shirt mist, krijg je een enorme straf." Dit dwong de robot om de zeldzame, moeilijke gevallen beter te leren.

3. De Fine-Tuning: De gevoeligheid aanpassen

Na de training moest de robot beslissen: "Is deze tekst gepolariseerd of niet?" Meestal gebruiken robots een 50/50 regel (als het 50% waarschijnlijk is, zeg dan ja). Maar het team kwam tot de conclusie dat deze regel te rigide was.

De Analogie: Denk aan een metaaldetector op een vliegveld. Als deze te laag staat ingesteld, negeert hij echte wapens. Als deze te hoog staat ingesteld, gaat hij alarm slaan bij mensen die sleutels bij zich hebben. Het team stemde de drempelwaarde (threshold) af voor elk type polarisatie. Ze pasten de gevoeligheid voor "stereotypen" anders aan dan die voor "gebrek aan empathie", om ervoor te zorgen dat de robot de juiste hoeveelheid problemen oppikte zonder vals alarm te slaan.

4. De Resultaten: Hoe hebben ze het gedaan?

De robot presteerde erg goed, vooral in vergelijking met andere teams en oudere methoden.

Binaire Detectie (Is het gepolariseerd?): De robot was ongeveer 79% accuraat in zowel het Engels als het Swahili. Hij was iets beter in het spotten van polarisatie in het Swahili, waarschijnlijk omdat de Swahili-data een meer evenwichtige mix had van gepolariseerde en niet-gepolariseerde teksten.
Type & Manifestatie (Wat en Hoe?): Dit was moeilijker. De robot behaalde ongeveer 46–58% nauwkeurigheid. Dit is nog steeds een sterke score omdat de taak ongelooflijk moeilijk is (zoals proberen de specifieke smaak van ijs te raden in een donkere kamer).
De Ranking: Voor de Swahili-taak van het identificeren van hoe mensen vochten (manifestaties), kwam dit team op de 2e plaats uit van de 16 teams.

5. Waar de robot struikelde (Foutanalyse)

Zelfs de slimste robots maken fouten. Het team keek naar de fouten en vond drie belangrijke knelpunten:

Verwarring tussen "Sterk" en "Slecht": De robot dacht soms dat een sterke sportcommentaar ("De Lakers zullen de Celtics vernietigen") een haatvolle gepolariseerde aanval was. Het verwarde intensiteit met polarisatie.
De "Theory of Mind"-kloof: De robot had moeite met het detecteren van dehumanisering (mensen behandelen als objecten) en een gebrek aan empathie. Dit vereist begrip van diepe menselijke gevoelens en metaforen, wat is also_ een rekenmachine vragen om een gedicht te begrijpen.
De Zeldzame Labels: Zelfs met hun speciale "straf"-training, miste de robot nog steeds de zeer zeldzame categorieën (zoals gender/seksuele polarisatie) omdat er simpelweg niet genoeg voorbeelden waren om van te leren.

Samenvatting

Het team bouwde een gespecialiseerd luistersysteem dat verschillende "oren" gebruikt voor Engels en Swahili, het systeem leert diep te geven om zeldzame onderwerpen, en de gevoeligheid afstemt om de meeste problemen te vangen. Hoewel het nog niet perfect is — vooral wanneer het gaat om diep menselijk wreedheid of sarcasme begrijpen — is het een belangrijke stap vooruit om ons te helpen online ruzies te begrijpen en te modereren.

Belangrijke opmerking: De auteurs stellen expliciet dat dit een onderzoeksinstrument is. Ze waarschuwen dat als dit in de echte wereld zonder menselijk toezicht wordt gebruikt, het per ongeluk legitieme politieke stemmen kan verstommen of gemarginaliseerde groepen onrechtvaardig kan targeten. Zij geloven dat mensen altijd in de loop moeten blijven om de uiteindelijke beslissing te nemen.

Technische Samenvatting: Aaron bij SemEval-2026 Taak 9

Probleemdefinitie

Dit artikel behandelt SemEval-2026 Taak 9, die zich richt op het detecteren van online polarisatie over meerdere talen, culturen en gebeurtenissen. De taak is verdeeld in drie specifieke subtaken voor Engels en Swahili:

Binaire Detectie: Tekst classificeren als gepolariseerd of niet-gepolariseerd.
Type Classificatie: Een multi-label classificatie die vijf polarisatietypen identificeert (politiek/ideologisch, raciaal/etnisch, religieus, gender/seksueel, en overig).
Manifestatie Identificatie: Een multi-label classificatie die zes specifieke manifestaties van polarisatie identificeert (stereotypering, vilificatie, dehumanisering, extreme taal, gebrek aan empathie, en invalidatie).

De primaire geïdentificeerde uitdagingen zijn ernstige label-imbalans (met name voor minderheidsklassen zoals gender/seksuele polarisatie en specifieke manifestaties) en de noodzaak van meertalige adaptiviteit, specifiek voor Afrikaanse talen waar algemene meertalige modellen mogelijk ondermaats presteren.

Methodologie

Het voorgestelde systeem hanteert een vierfasen-pipeline: preprocessing, taalspecifieke modelarchitectuur, klasse-gewogen training, en post-training drempelwaarde-tuning.

1. Data Preprocessing

De auteurs adopteerden een minimale preprocessing-strategie om polarisatiesignalen te behouden. Originele hoofdlettergebruik, emoji's en speciale tekens werden behouden, terwijl alleen besturingskarakters en null-bytes werden verwijderd. De data werd met een 80/20 verdeling in trainings- en validatiesets gesplitst via gestratificeerde bemonstering om de klassenverdelingen te handhaven.

2. Modelarchitectuur

Het systeem maakt gebruik van transformer-gebaseerde modellen die specifiek voor elke taal zijn geselecteerd:

Engels: RoBERTa-base (125M parameters) werd gekozen boven BERT en XLM-RoBERTa. Ablatiestudies gaven aan dat de dynamische masking en het ontbreken van next-sentence prediction bij RoBERTa superieure Engels-specifieke prestaties opleverden, terwijl de meertalige pre-training van XLM-RoBERRo de Engelse representaties verwaterde.
Swahili: AfroXLMR-base (270M parameters) werd geselecteerd. Dit model is specifiek aangepast voor Afrikaanse talen door voortgezette pre-training op diverse Afrikaanse corpora, wat beter presteert dan algemene meertalige modellen zoals mBERT en XLM-RoBERTa op Swahili-taken.

Beide modellen maken gebruik van een classificatiekop bestaande uit een dropout-laag (0.1) gevolgd door een lineaire laag die 768-dimensionale embeddings naar de vereiste output-logits mapt (2 voor Subtaak 1, 5 voor Subtaak 2, en 6 voor Subtaak 3).

3. Klasse-gewogen Loss Functie

Om de ernstige label-imbalans aan te pakken, implementeerden de auteurs een klasse-gewogen binary cross-entropy loss. Het gewicht voor elk label $j$ ( $w_j$ ) wordt berekend als de ratio van negatieve naar positieve samples ( $n_{neg} / n_{pos}$ ). Dit verhoogt de straf voor het foutief classificeren van minderheidsklassen. Zo varieerden de gewichten in de Engelse Subtaak 2 van 1.73 (politiek) tot 41.95 (gender/seksueel). Gradient clipping (max-norm 1.0) werd toegepast om de stabiliteit van de training te waarborgen.

4. Drempelwaarde Tuning

Na de training werd een per-label drempelwaarde-zoektocht uitgevoerd op de validatieset. Drempelwaarden werden gescand van 0.1 tot 0.9 in stappen van 0.05 om de macro F1-score voor elk specifiek label te maximaliseren. Deze aanpak verbeterde de macro F1-scores met 0.87 tot 5.98 punten vergeleken met de standaard 0.5 drempelwaarde.

Trainingsconfiguratie

Modellen werden gefinetuned met AdamW (leersnelheid $2 \times 10^{-5}$ , weight decay 0.01) met een lineair warmup-schema. De training maakte gebruik van mixed precision (FP16) op een enkele GPU. Batchgroottes waren 16 voor Subtaak 1 en 8 (met gradient accumulation) voor Subtaken 2–3 om de sequentielengtes van respectievelijk 128 en 256 tokens te accommoderen. Early stopping was gebaseerd op de validatie macro F1.

Belangrijkste Bijdragen

Het artikel benadrukt drie primaire technische bijdragen:

Taalspecifieke Modelselectie: Het aantonen dat gespecialiseerde modellen (RoBERTa voor Engels, AfroXLMR voor Swahili) beter presteren dan algemene meertalige baselines voor polarisatiedetectie in deze specifieke contexten.
Implementatie van Klasse-gewogen Loss: Het succesvol toepassen van gewogen loss-functies om de effecten van extreme label-imbalans in multi-label polarisatietaken te mitigeren.
Per-label Drempelwaarde Tuning: Het individueel optimaliseren van classificatiegrenzen voor elk label, wat cruciaal bleek voor het verbeteren van macro F1-scores in ongebalanceerde datasets.

Experimentele Resultaten

Het systeem werd geëvalueerd op de testset met behulp van Macro F1 als primaire metriek.

Subtaak 1 (Binaire Detectie): Behaalde scores van 0.7901 (Engels) en 0 7910 (Swahili). De prestaties van Swahili waren iets hoger dan die van Engels, wat toe te schrijven is aan een meer gebalanceerde klassenverdeling in de Swahili-dataset.
Subtaak 2 (Type Classificatie): Behaalde scores van 0.4615 (Engels) en 0.4808 (Swahili). De prestaties werden gehinderd door extreme imbalans, met name voor de gender/seksuele en "overig" categorieën.
Subtaak 3 (Manifestatie Identificatie): Behaalde scores van 0.4791 (Engels) en 0.5830 (Swahili). Het systeem bekleedde de 2e plaats van 16 teams voor Swahili op deze subtaak.

Vergelijkende Prestaties:
Het systeem presteerde consequent beter dan zowel de POLAR Baseline als een mBERT fine-tuned baseline over alle subtaken en talen heen. Zo presteerde het voorgestelde systeem (0.5830) in Swahili Subtaak 3 aanzienlijk beter dan de mBERT baseline (0.4380).

Ablatiestudies:

Klasse-weging: Bij Engelse Subtaak 2 zorgde het verwijderen van klasse-weging voor een daling van de macro F1 van 0.4721 naar 0.4123, een afname van 5.98 punten.
Modelkeuze: RoBERTa-base presteerde 2.58% beter dan BERT-base op Engelse Subtaak 1, terwijl de grotere XLM-RoBERTa onderpresteerde, wat de voordelen van taalspecifieke pre-training bevestigt.

Foutanalyse en Beperkingen

De auteurs identificeerden specifieke foutmodi:

Vals Positieven: Neutrale politieke koppen en hyperbolische sportcommentaren werden soms onterecht geclassificeerd als gepolariseerd omdat het model sterke taal verwarde met polarisatie.
Multi-label Ambiguïteit: In Subtaak 2 had het model moeite met het detecteren van raciale ondertonen binnen politieke verklaringen.
Zeldzame Categorieën: Het label gender/seksueel (frequentie 2.2%) en de manifestatie dehumanisering bleven moeilijk te detecteren, zelfs met klasse-weging.
Semantische Nuance: Dehumanisering (31% van de fouten) en gebrek aan empathie vereisen een genuanceerd semantisch begrip en 'theory-of-mind' redeneren waar standaard transformers moeite mee hebben.
Validatie-Test Gap: Er werd een discrepantie waargenomen van 2.29 tot 10.58 punten tussen validatie- en testscores, toegeschreven aan threshold overfitting op een enkele validatiesplit en mogelijke domeinverschuivingen in de testdata.

Betekenis en Claims

Het artikel claimt dat de voorgestelde aanpak competitieve prestaties levert op de leaderboard, waarbij met name de 2e plaats ranking voor Swahili in Subtaak 3 wordt benadrukt. De auteurs stellen dat hun methoden effectief zijn voor het afhandelen van ongebalanceerde multi-label polarisatiedetectie in zowel hoog-resource (Engels) als laag-resource (Swahili) contexten.

Het werk onderstreept de noodzaak van:

Het verder gaan dan generieke meertalige modellen voor Afrikaanse talen.
Het toepassen van specifieke technieken (klasse-weging en drempelwaarde-tuning) om de inherente scheefheid in polarisatiedatasets aan te pakken.

De auteurs concluderen dat hoewel het systeem effectief is, toekomstig werk zich moet richten op pragmatisch redeneren, culturele modellering en cross-linguale transfer om de detectie van subtiele manifestaties zoals dehumanisering en gebrek aan empathie verder te verbeteren. Ze benadrukken ook de noodzaak van menselijk toezicht bij real-world implementaties om de onderdrukking van legitieme politieke expressie te voorkomen.