Lingo_Research_Group at SemEval-2026 Task 9: Evaluating Prompt Variants for Polarization Detection

Technische Samenvatting: Lingo_Research_Group bij SemEval-2026 Taak 9

Probleemdefinitie
Het artikel behandelt SemEval-2026 Taak 9, een meertalige tekstclassificatieuitdaging gericht op polarisatiedetectie. De taak is verdeeld in drie subtaken met toenemende complexiteit:

1. Subtaak 1 (Binaire Detectie): Bepalen of een social media-bericht een houdingspolarisatie vertoont (verdeeldbare in-group/out-group framing, vijandigheid of uitsluiting).
2. Subtaak 2 (Doelwitclassificatie): Het identificeren van de specifieke doelwitten van polarisatie (politiek, ras/etniciteit, religie, gender/seksualiteit of overig) in een multi-label setting.
3. Subtaak 3 (Identificatie van Manifestaties): Het detecteren van de retorische vormen van polarisatie, zoals stereotypen, vilificatie, dehumanisering, extreem taalgebruik, gebrek aan empathie of invalidatie.

De uitdaging ligt in het feit dat polarisatie vaak wordt gerealiseerd via framing, retoriek en culturele context in plaats van expliciete haatspraak, wat detectie moeilijk maakt, met name over 22 diverse talen met variërende discourspatronen.

Methodologie
De auteurs stellen een prompt-gebaseerde inferentie-aanpak voor met behulp van Large Language Models (LLMs) zonder parameter fine-tuning. De kernmethodologie omvat:

• Prompt Engineering: In plaats van één enkele prompt, heeft het team 12 verschillende prompt-varianten ontworpen en geëvalueerd. Deze varianten varieerden systematisch in terminologische helderheid, detail van definities, sturing in redenering en de inclusie van in-context voorbeelden. De prompts waren gestructureerd als een conceptuele gradiënt, bewegend van minimale context naar gedetailleerde definities en instructies voor stapsgewijze redenering.
• Modelselectie: Experimenten werden uitgevoerd met twee meertalige LLM's: aya-101 en Gemma3-27B. Op basis van prestatievergelijkingen over subtaken en prompt-configuraties werd Gemma3-27B geselecteerd voor de definitieve indiening vanwege de superieure macro F1-scores.
• Inferentiestrategie: Het systeem behandelt polarisatie-analyse als een instructie-volgende taak. Voor Subtaak 1 voorspelt het model een binaire label. Voor Subtaken 2 en 3 genereert het een lijst met binaire voorspellingen voor elk doelwit- of manifestatie-label. Het team maakte gebruik van een "conservatieve" prompting-strategie, waarbij polarisatie alleen wordt voorspeld wanneer er expliciet en ondubbelzinnig bewijs aanwezig is.
• Evaluatie: Het systeem werd geëvalueerd op uitgesloten testsets over 22 talen met behulp van macro-gemiddelde F1-scores om rekening te houden met klassenimbalans. Er werd geen externe data of augmentatie gebruikt.

Belangrijkste Resultaten
Het systeem behaalde de volgende gemiddelde macro F1-scores op de officiële testset:

• Subtaak 1: 0.762 (Gemiddelde Accuratesse: 0.819)
• Subtaak 2: 0.587 (Gemiddelde Accuratesse: 0.678)
• Subtaak 3: 0.444 (Gemiddelde Accuratesse: 0.498)

Prestaties varieerden aanzienlijk per taal en subtaak. Zo behaalden Chinees en Nepalees hoge F1-scores (tot 0.92) in Subtaak 1, terwijl Italiaans zo laag scoorde als 0.35. De auteurs observeerden een systematische degradatie in prestaties naarmate de taakcomplexiteit toenam van binaire detectie naar fijnmazige, multi-label sociolinguïstische classificatie.

Analyse en Bevindingen
Het artikel biedt een gedetailleerde analyse van de resultaten en benadrukt verschillende belangrijke trends:

• Taakcomplexiteit: Er is een duidelijke inverse relatie tussen taakabstractie en prestaties. Hoewel prompt-gebaseerde benaderingen effectief zijn voor grofmazige detectie (Subtaak 1), hebben ze moeite met fijnmazige, multi-label taken (Subtaken 2 en 3) waarbij labels abstract zijn (bijv. "gebrek aan empathie") en een gebrek aan duidelijke lexicale indicatoren hebben.
• Recall Suppressie: De conservatieve prompting-strategie leidde tot een hoge accuratesse maar een lage macro F1 in Subtaken 2 en 3. De modellen voorspelden vaak te weinig positieve labels, met name in talen waar polarisatie indirect wordt overgebracht via sarcasme, retorische vragen of culturele referenties (bijv. Hausa, Italiaans, Khmer).
• Taalspecifieke Nuances: Prestaties waren niet uniform over de talen. Nepalees en Chinees presteerden goed in Subtaken 1 en 2 vanwege expliciete groepverwijzingen, terwijl Hindi het best presteerde in Subtaak 3, waarschijnlijk door de prevalentie van expliciete retorische tactieken (vilificatie, extreem taalgebruik) die goed aansluiten bij de pretraining-priors van het model.
• De Engelse Paradox: Ondanks uitgebreide pretraining op Engelse data, presteerde Engels onder het mediane niveau. De auteurs wijten dit aan de prevalentie van ironie, sarcasme en ideologische afkortingen in Engelse polarisatie, die conservatieve prompts vaak als niet-gepolariseerd classificeren vanwege een gebrek aan oppervlakkige vijandigheid.
• Beperkingen van Vertaling: Het artikel merkt op dat vertalingsgebaseerd redeneren (het coderen van inputs in het Engels vóór classificatie) emotioneel geladen uitdrukkingen kan afzwakken, waardoor de noodzakelijke retorische intentie voor manifestatie-identificatie verloren gaat.

Betekenis en Claims
Het artikel beweert dat prompt-gebaseerde benaderingen met meertalige LLM's een levensvatbare methode zijn voor het detecteren van grofmazige polarisatie zonder de noodzaak van taakspecifieke fine-tuning of grote geannoteerde datasets. De auteurs concluderen echter bescheiden dat deze methoden toenemende moeilijkheden ondervinden naarmate de taak verschuift naar fijnmazige, multi-label sociolinguïstische classificatie.

Het werk toont aan dat prompt design cruciaal is; de articulatie van taakdefinities, beslissingsgrenzen en redeneerverwachtingen beïnvloedt de modelprestaties zwaar. De studie benadrukt dat hoewel LLM's binaire detectie effectief kunnen afhandelen, de "semantische equivalentie" van vertaling niet garandeert dat de retorische intentie behouden blijft, wat suggereert dat toekomstig werk de nuances van cross-linguale discours en de beperkingen van conservatieve prompting bij het vastleggen van impliciete polarisatie moet aanpakken.

Ethische Overwegingen
De auteurs benadrukken dat hun systeem niet als een standalone moderatietool gebruikt moet worden vanwege de risico's van fout-positieven (onterechte verbanning van legale spraak) en fout-negatieven (het tolereren van gevaarlijke retoriek). Ze erkennen ook aanzienlijke prestatieverschillen tussen talen, wat kan voortkomen uit de representatie in pretraining-data, culturele variaties en annotatiedichtheid.