mdok-style at SemEval-2026 Task 9: Finetuning LLMs for Multilingual Polarization Detection
Het artikel presenteert de mdok-achtige aanpak voor SemEval-2026 Taak 9, die robuuste meertalige polarisatiedetectie bereikt door middel van het fine-tunen van middelgrote LLM's met QLoRA op trainingsdata die is verrijkt met geanonimiseerde en gevalvarieerde tekst in 22 talen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je het internet voor als een gigantisch, luidruchtig stadsplein waar mensen uit 22 verschillende landen schreeuwen, ruziën en zich soms voorbereiden om een rellen te beginnen. SemEval-2026 Task 9 was een wedstrijd om een slimme "beveiliger" voor dit plein te bouwen. Het doel was niet alleen om het schreeuwen te stoppen, maar om het specifieke moment te signaleren waarop een meningsverschil verandert in polarisatie—die gevaarlijke splitsing waarbij mensen stoppen met luisteren en beginnen met haten, wat vaak leidt tot haatzaaiende taal en sociale chaos.
Het team achter dit artikel, mdok-style, bouwde een digitale bewaker met een slimme mix van AI-technieken. Hier is hoe ze dat deden, eenvoudig uitgelegd:
1. De Kernstrategie: Een Chameleondetective
In plaats van 22 verschillende bewakers te bouwen (één voor elke taal), trainden ze één superdetective om alle 22 talen tegelijk te begrijpen. Ze gebruikten een "middelgroot" Groot Taalmodel (LLM), wat vergelijkbaar is met een zeer goed gelezen bibliothecaris die patronen in tekst kan herkennen.
Om deze bibliothecaris nog scherper te maken, gebruikten ze een techniek genaamd QLoRA. Stel je dit voor als het geven van een lichtgewicht, aanpasbaar brillenpaar aan de bibliothecaris. In plaats van het hele brein van de bibliothecaris te herschrijven (wat eeuwen zou duren en een fortuin zou kosten), stelden ze alleen de lenzen iets bij, zodat de bibliothecaris zich specifiek kon richten op de taak om polarisatie op te sporen.
2. De Training: "Wat als?"-scenario's
De grootste uitdaging was dat de trainingsdata (de voorbeelden waar de bewaker van leerde) niet perfect was. Om dit op te lossen, gebruikte het team Data Augmentation, wat werkt als een "Wat als?"-simulator voor de AI.
Ze namen elke trainingszin en creëerden vier "verdraaide" versies ervan om de AI te leren voorbij het oppervlak te kijken:
- De Anonimiseerder: Ze vervingen namen, e-mailadressen en telefoonnummers door generieke tags zoals
[USER]of[EMAIL]. Dit leerde de AI om te negeren wie er sprak en zich te focussen op wat er gezegd werd. - De Hoofdletterverschuiver: Ze zetten tekst om naar allemaal kleine letters of allemaal hoofdletters. Dit leerde de AI dat schreeuwen (HOOFDLETTERS) of fluisteren (kleine letters) de betekenis van het argument niet verandert.
- De Homoglyf-truc: Dit was het meest creatieve deel. Ze wisselden letters uit voor erop lijkende tekens uit andere scripts (zoals het vervangen van een Latijnse 'a' door een Cyrillische 'а'). Dit is een veelgebruikte truc door kwaadwillenden om computers voor de gek te houden. Door de AI te trainen op deze "nep"-versies, leerden ze haar door de vermomming te kijken en de polarisatie eronder op te sporen.
3. De Drie Niveaus van Detectie
De wedstrijd had drie niveaus, en het team pakte ze aan als een detective die een misdaad oplost:
- Niveau 1 (Het Alarm): Is deze tekst gepolariseerd of niet? (Ja/Nee). Het systeem was hier zeer goed in, en functioneerde als een betrouwbare rookmelder.
- Niveau 2 (Het Motief): Waar gaat de polarisatie over? Is het politiek, raciaal, religieus of gebaseerd op gender? Dit was moeilijker, alsof je het motief van een crimineel moet raden.
- Niveau 3 (De Methode): Hoe wordt de polarisatie uitgedrukt? Gebruikt het onmenselijk taalgebruik, extreme beledigingen of een gebrek aan empathie? Dit was het moeilijkste niveau, vergelijkbaar met het analyseren van het specifieke wapen dat bij een misdaad is gebruikt.
4. De Resultaten: Een Gemengde Zaal
Het systeem van het team presteerde als een sterke atleet die uitblinkt in sommige sporten maar moeite heeft met andere:
- De Overwinning: In het spel "Is het gepolariseerd?" (Niveau 1) was het systeem een kampioen en stond het in de top 20% voor veel talen. Het slaagde erin om normale ruzies te onderscheiden van gevaarlijke polarisatie.
- De Strijd: In het spel "Hoe wordt het uitgedrukt?" (Niveau 3) struikelde het systeem. Het verwarde vaak verschillende soorten slecht gedrag, zoals het door elkaar halen van "gebrek aan empathie" met "ontkenning".
- Het Taalgat: Het systeem werkte uitstekend voor talen zoals Chinees en Nepalees, maar had moeite met andere zoals Hausa. Het is als een vertaler die vloeiend Frans en Spaans spreekt, maar in de war raakt door Swahili.
5. Een Zijexperiment: De "Emotie-radar"
Het team probeerde ook een andere aanpak genaamd Appraisal Theory. Stel je dit voor als een "emotie-radar" die niet alleen woorden leest, maar probeert te begrijpen hoe een persoon voelt over een gebeurtenis (bijvoorbeeld: "Voelt deze persoon zich gecontroleerd? Is dit aangenaam?").
- Ze testten dit op een kleinere dataset.
- De resultaten waren veelbelovend, maar niet perfect. Het toonde aan dat het begrijpen van de cognitieve redenen achter een emotie (waarom iemand boos is) misschien een geheime wapen kan zijn voor het opsporen van polarisatie in de toekomst, zelfs al was het deze keer niet de hoofdwinner.
De Conclusie
Het team mdok-style bewees dat je één flexibele, meertalige AI-bewaker kunt bouwen die online polarisatie in veel talen kan opsporen. Door de AI tijdens de training "voor de gek te houden" met verdraaide versies van tekst, maakten ze hem sterker en betrouwbaarder. Hoewel het nog niet perfect is—vooral wanneer het gaat om het precies aanwijzen van het specifieke type polarisatie—is het een stevige stap richting het veiliger houden van onze digitale stadspleinen voordat het schreeuwen overgaat in geweld.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.