💬 NLP

PSK at SemEval-2026 Task 9: Multilingual Polarization Detection Using Ensemble Gemma Models with Synthetic Data Augmentation

Het PSK-team behaalde met een gemiddelde macro-F1-score van 0,811 de tweede plaats overall in SemEval-2026 Taak 9 door gebruik te maken van een ensemble van LoRA-fine-tuned Gemma 3-modellen, verrijkt met door GPT-4o-mini gegenereerde synthetische data en per-taal drempelafstelling, terwijl het de kritieke belangrijkheid aantoont van generalisatie ten opzichte van architecturen die goed presteerden op ontwikkelingssets maar faalden op de testset.

Oorspronkelijke auteurs: Srikar Kashyap Pulipaka

Gepubliceerd 2026-05-07

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Srikar Kashyap Pulipaka

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een groep van 22 verschillende studenten (die 22 verschillende talen vertegenwoordigen) probeert te leren een "opgewonden discussie" te onderscheiden van een "rustig gesprek" in socialemediaberichten. Dit was de uitdaging voor SemEval-2026 Task 9, en het team PSK (geleid door onafhankelijk onderzoeker Srikar Kashyap Pulipaka) bouwde een systeem om dit op te lossen.

Hier is hoe ze het deden, eenvoudig uitgelegd:

1. Het Doel: De "Hitte" Opmerken

De taak was om socialemediaberichten in 22 talen (van Engels tot Amhaars) te lezen en te beslissen: Is dit bericht gepolariseerd (vol met stereotypen, haat of intolerantie)? Of is het neutraal?

De Uitdaging: Sommige talen hadden zeer weinig voorbeelden om van te leren, en "polarisatie" ziet er in elke cultuur anders uit. Het is als iemand proberen te leren een "storm" te herkennen terwijl ze alleen regen hebben gezien in één land.

2. De Leraren: De "Gemma"-Modellen

In plaats van één grote leraar voor iedereen te gebruiken, huurde het team twee specifieke "tutors" in voor elke taal:

De 12B Tutor: Een slim, efficiënt model (12 miljard parameters).
De 27B Tutor: Een nog slimmer, krachtiger model (27 miljard parameters).
Ze gebruikten een techniek genaamd LoRA, wat vergelijkbaar is met het geven van deze tutors een klein, gespecialiseerd "spiekbriefje" om de specifieke taal te leren zonder hun hele brein te hoeven herschrijven.

3. De Studiepartner: Synthetische Data

Het team besefte dat sommige studenten niet genoeg oefenopgaven hadden. Dus gebruikten ze een AI (GPT-4o-mini) om nep-oefenopgaven te schrijven (synthetische data).

Directe Generatie: De AI schreef nieuwe, nep-argumenten van scratch.
Parafraseren: De AI nam echte voorbeelden en herschreef ze in andere woorden (zoals een student die een huiswerkvraag parafraseert).
Contrastieve Paren: De AI creëerde "tweeling"-voorbeelden – één gepolariseerd en één rustig – zodat het model het exacte verschil kon zien.
De Filter: Ze gooiden deze nep-data niet zomaar ergens in. Ze voerden het door een strenge "kwaliteitscontrole"-filter om duplicaten en onzin te verwijderen, zodat de studenten alleen hoogwaardig materiaal bestudeerden.

4. De Strategie: De "Volumeknop" Afstellen

Na het trainen moesten de modellen een definitieve beslissing nemen. Normaal gesproken zegt AI "Ja" als het meer dan 50% zeker is. Maar het team ontdekte dat voor sommige talen 50% te hoog of te laag was.

De Oplossing: Ze behandelden de beslissingsdrempel als een volumeknop. Voor sommige talen draaiden ze de knop naar beneden tot 30% (om meer argumenten te vangen), en voor anderen draaiden ze hem omhoog tot 70% (om valse alarmen te voorkomen). Deze simpele aanpassing verbeterde hun scores met 2–4% zonder extra training.

5. De "Ensemble": Een Panel van Rechters

Voor de uiteindelijke beslissing luisterden ze niet naar slechts één tutor. Ze gebruikten een Ensemble:

Ze lieten zowel de 12B- als de 27B-tutor stemmen.
Soms middelden ze de stemmen; andere keren gaven ze meer gewicht aan de slimmere tutor.
Voor elke taal kozen ze de stemstrategie die het beste werkte op oefentoetsen.

6. De Resultaten: Wie Won?

De Winnaar: Het team eindigde 2e overall van de 60 teams.
De Score: Ze behaalden een score van 0,811 (een maatstaf voor nauwkeurigheid). Ze behaalden 1e plaats in 3 talen en top-3 in 8 andere.
De Verrassing: Ze probeerden andere beroemde AI-modellen te gebruiken (XLM-RoBERTa en Qwen3). Deze modellen deden het geweldig op oefentoetsen, maar crashten op de echte toets, waarbij ze 30–50% van hun nauwkeurigheid verloren.
- De Les: Het is beter om een model te hebben dat goed generaliseert (het concept van polarisatie leert) dan een model dat alleen de oefenantwoorden uit het hoofd leert. De Gemma-modellen waren de enigen die niet "vergeten" wanneer de toets begon.

7. De Enige Zwakke Plek: Het Italiaanse "Ontbrekende Hoofdstuk"

Het systeem had de meeste moeite met Italiaans. Waarom?

De trainingsdata voor Italiaans miste hele categorieën van onderwerpen (zoals "politiek" of "andere" kwesties).
Echter, de definitieve toets bevatte veel vragen over die ontbrekende onderwerpen.
Het is als studeren voor een wiskundetoets alleen over optellen, maar het eindexamen bevat een groot hoofdstuk over delen. Het model had die specifieke soorten argumenten nooit eerder gezien, dus kon het niet correct raden.

Samenvatting

Het team bouwde een systeem dat gespecialiseerde AI-tutors, door AI gegenereerde oefenopgaven en op maat afgestemde beslissingsregels gebruikt om online discussies in 22 talen op te sporen. Hun geheime wapen was niet alleen het gebruik van de grootste AI, maar het gebruik van degene die het concept van polarisatie daadwerkelijk kon leren zonder de antwoorden uit het hoofd te leren, en vervolgens de regels voor elke specifieke taal fijnafstelde.

Technische Samenvatting: PSK bij SemEval-2026 Taak 9

Probleemdefinitie
Het artikel behandelt SemEval-2026 Taak 9, een binaire classificatie-uitdaging gericht op het detecteren van polarisatie van houdingen in teksten van sociale media in 22 typologisch diverse talen. De taak bestaat uit het classificeren van teksten als "gepolariseerd" (met betrekking tot stereotypering, laster, dehumanisatie of intolerantie) of "niet-gepolariseerd". De dataset presenteert aanzienlijke uitdagingen, waaronder variërende datasetgroottes (variërend van ongeveer 1.700 tot ongeveer 7.000 samples per taal), culturele variaties in hoe polarisatie tot uiting komt, en ernstige class-ongelijkgewichten in specifieke talen (bijvoorbeeld Khmer met een verhouding van 10:1 tussen gepolariseerde en niet-gepolariseerde samples). De primaire evaluatiemetaal is de macro-gemiddelde F1-score.

Methodologie
De aanpak van het team concentreert zich op het fijnafstemmen van afzonderlijke modellen voor elke taal met behulp van de Gemma 3-familie van Google, aangevuld met synthetische data en ensemble-strategieën.

Modelarchitectuur: Het systeem maakt gebruik van twee modelgroottes: Gemma 3 12B (hoofdmodel) en Gemma 3 27B (ensemble-model). Beide worden fijnafgestemd met behulp van Low-Rank Adaptation (LoRA) met een sequentie-classificatiekop. Het 12B-model gebruikt 8-bit kwantisatie op een enkele A100 GPU, terwijl het 27B-model 4-bit NF4-kwantisatie toepast over twee A100 GPU's. Trainingsparameters omvatten een leersnelheid van $5 \times 10^{-5}$ , 3 epochs, en batchgroottes van 1–2 met gradient accumulation.
Synthetische Data Augmentatie: Om datatekorten aan te pakken, genereerde het team ongeveer 1.000 synthetische samples per taal met GPT-4o-mini via drie strategieën:
1. Directe Generatie (50%): Native generatie van samples over vijf cultureel relevante thema's (politiek, etnisch/raciaal, religieus, sociale klasse, internationale betrekkingen).
2. Labelbehoudende Parafrafering (30%): Parafrafering van echte trainingsamples met een temperatuur van 0,7, gefilterd om een cosijne-afstand onder de 0,90 met het origineel te behouden.
3. Contrastieve Paren (20%): Minimal-edit paren over hetzelfde onderwerp, bevattende één gepolariseerd en één niet-gepolariseerd voorbeeld om de class-grenzen scherper te maken.
- Kwaliteitscontrole: Een multi-stadia filterpijplijn werd toegepast, inclusief basisreiniging, regex-gebaseerde detectie van labellekken, embedding-gebaseerde deduplicatie (met paraphrase-multilingual-MiniLM-L12-v2 met een drempel van 0,90) en consistentiecontroles via heen-en-weer vertaling.
Ensemble en Drempelafstemming:
- Drempeloptimalisatie: In plaats van een standaarddrempel van 0,5 te gebruiken, zocht het team naar optimale drempels ( $t \in \{0,3, \dots, 0,7\}$ ) op de ontwikkelset om de macro-F1 voor elke taal individueel te maximaliseren.
- Ensemble-strategieën: Vier strategieën werden per taal geëvalueerd: alleen 12B, alleen 27B, eenvoudige gemiddelde, en gewogen gemiddelde ( $p = w \cdot p_{12B} + (1-w) \cdot p_{27B}$ ). De strategie die de hoogste ontwikkel-F1 opleverde, werd geselecteerd voor de definitieve inzending.

Belangrijkste Resultaten

Prestaties: Het finale systeem behaalde een gemiddelde macro-F1 van 0,811 over alle 22 talen, wat resulteerde in een 2e plaats overall onder de 60 deelnemende teams. Het systeem behaalde de 1e plaats in 3 talen (Amhaars, Hindi, Swahili) en top-3 resultaten in 8 talen.
Impact van Componenten:
- Drempelafstemming: Per-taal drempelafstemming op de ontwikkelset leverde F1-verbeteringen van 2% tot 4% op zonder hertraining.
- Synthetische Data: Een optimale verhouding van synthetische data van 30% bood bescheiden winst (2–3%), met de meest significante voordelen waargenomen in talen met minder bronnen.
- Ensembling: Gewogen ensembles van de 12B- en 27B-modellen waren de winnende strategie voor 14 van de 22 talen.
Generalisatie versus Ontwikkelingsprestaties: Een cruciale bevinding was de discrepantie tussen ontwikkel- en testprestaties over architecturen heen. Hoewel XLM-RoBERTa en Qwen3 sterke prestaties op de ontwikkelset lieten zien, leden ze aan enorme F1-dalingen (30–50%) op de testset. Bijvoorbeeld, XLM-RoBERTa daalde van 0,856 naar 0,297 voor Bengaals. Alleen de Gemma-modellen toonden betrouwbare generalisatie van ontwikkel naar test.
Casestudie (Italiaans): De zwakste prestatie van het systeem was in het Italiaans (0,563 F1). Analyse onthulde een "dekkingskloof in thema's": de trainings- en ontwikkelsets bevatten geen enkele voorbeelden van "politieke" of "andere" thema's, terwijl deze categorieën 41% van de testset en 87% van de positieve klasse daarvan uitmaakten. Dit benadrukte een distributieverandering waarbij het model werd geëvalueerd op een positieve subpopulatie die het nooit tijdens de training had waargenomen.

Betekenis en Aanspraken
Het artikel beweert dat robuste generalisatie een kritieker factor voor succes is dan het maximaliseren van prestaties op de ontwikkelset. De auteurs betogen dat hoewel alternatieve architecturen (XLM-RoBERTa, Qwen3) tijdens de ontwikkeling superieur kunnen lijken, ze niet effectief overdragen naar onzichtbare testdistributies, terwijl de Gemma-familie consistente prestaties handhaafde.

De studie benadrukt de effectiviteit van per-taal drempelafstemming als een goedkope methode om prestaties aanzienlijk te verhogen door probabiliteitsmiscalibratie te corrigeren (bijvoorbeeld Russische modellen die onderverzekerd zijn en Khmer-modellen die oververzekerd zijn). Bovendien toont het werk aan dat synthetische data augmentatie het meest gunstig is voor talen met minder bronnen, hoewel het zorgvuldig beheer van verhoudingen vereist om degradatie in talen met meer bronnen of gevoelige talen te voorkomen.

Beperkingen
De auteurs erkennen verschillende beperkingen:

Rekenkracht: Het trainen van afzonderlijke modellen voor 22 talen vereist aanzienlijke GPU-bronnen.
Authenticiteit van Synthetische Data: De kwaliteit van synthetische data voor talen met minder bronnen (bijvoorbeeld Khmer, Swahili) kan beperkt zijn als de LLM geen authentieke tekst kan genereren in die specifieke taalkundige contexten.
Overdraagbaarheid van Drempels: Drempels geoptimaliseerd op een kleine ontwikkelset kunnen niet volledig overdragen naar de testdistributie.
Heuristische Strategie-verhoudingen: De 50/30/20-verdeling voor synthetische data-strategieën werd heuristisch gekozen in plaats van via systematische ablatie.

Conclusie
Het PSK-systeem heeft succesvol gebruik gemaakt van Gemma-modellen, synthetische data augmentatie en ensemble-methoden om een top-2 ranking te behalen in een uitdagende meertalige taak. De belangrijkste les is de noodzaak om prioriteit te geven aan modellen die goed generaliseren boven die welke slechts ontwikkelmetrieken overfitten, naast het nut van eenvoudige post-hoc kalibratietechnieken zoals drempelafstemming.