PromotionGo at SemEval-2025 Task 11: A Feature-Centric Framework for Cross-Lingual Multi-Emotion Detection in Short Texts

Stel je voor dat je de stemming probeert te begrijpen van een kamer vol mensen die 28 verschillende talen spreken. Sommigen fluisteren, anderen schreeuwen, en velen voelen tegelijkertijd een mix van emoties—zoals zowel blij als verrast zijn. Dit is de uitdaging waar het PromotionGo-team voor aanging bij de SemEval-2025 Task 11 competitie. Hun doel was om een computersysteem te bouwen dat korte tekstberichten in deze vele talen kan lezen en correct kan identificeren welke emoties aanwezig zijn, zelfs wanneer meerdere emoties gemengd door elkaar lopen.

Hier is hoe ze het aanpakten, uitgelegd via eenvoudige analogieën:

1. Het Kernproble_em: Eén label is niet genoeg

Traditionele emotiedetectoren zijn als een strenge leraar die een leerling dwingt om slechts één gevoel voor de hele dag te kiezen: "Ben je blij, verdrietig of boos?" Maar het echte leven is rommeliger. Je kunt blij zijn over een promotie, maar ook bang zijn voor de nieuwe verantwoordelijkheid. Het systeem van het team is ontworpen om met deze "gemengde zak" aan gevoelens om te gaan, door te herkennen dat één zin meerdere emoties tegelijkertijd kan bevatten.

2. Het Drie-Stappen Recept

Het team bouwde een "feature-centric framework", wat gewoon een chique manier is om te zeggen dat ze een modulaire keuken creëerden waarin ze ingrediënten konden vervangen om te zien wat het beste gerecht voor elke taal opleverde. Hun recept bestond uit drie hoofdstappen:

Stap A: Woorden vertalen naar getallen (Document Representatie)

Computers kunnen geen woorden lezen; ze begrijpen alleen getallen. Het team probeerde drie verschillende manieren om tekst in getallen om te zetten:

• De "Woordtelling"-methode (TF-IDF): Stel je voor dat je telt hoe vaak specifieke woorden in een tekst voorkomen, maar dat je veelvoorkomende woorden zoals "de" of "en" negeert omdat ze niet veel emotie dragen. Dit is als het gebruiken van een simpel telblad. Het team vond dit verrassend effectief, vooral voor talen waar ze niet veel trainingsdata van hadden (taalarme talen). Het is een betrouwbaar, ouderwets hulpmiddel dat goed werkt wanneer je niet over een enorme bibliotheek aan voorbeelden beschikt.
• De "Contextuele Woordenboek"-methode (FastText & BPE): Dit is alsof je de computer een woordenboek geeft dat niet alleen weet wat een woord betekent, maar ook hoe de delen ervan in elkaar passen. Het kan de betekenis van een woord dat het nog nooit heeft gezien raden door naar de kleinere stukjes te kijken (zoals het herkennen van "ongelukkig" zelfs als het alleen "gelukkig" en "on-" kent).
• De "Diep Begrip"-methode (Sentence-BERT): Dit is het "slimste" hulpmiddel. Het is als een polyglot die een zin leest en de vibe en context begrijpt, niet alleen de individuele woorden. Het kan het verschil zien tussen "Ik ben zo blij dat ik zou kunnen schreeuwen!" en "Ik ben zo boos dat ik zou kunnen schreeuwen!", zelfs als de woorden vergelijkbaar zijn. Dit hulpmiddel is echter zwaar en heeft soms moeite met talen waarvoor het niet specifiek is getraind.

De Verrassing: Voor veel van de talen in de studie werkte de simpele "Woordtelling"-methode (TF-IDF) eigenlijk beter dan de superintelligente "Diepe Begrip"-methode (Sentence-BERT). Het blijkt dat voor sommige talen het tellen van woorden betrouwbaarder is dan het proberen te raden van de diepe context.

Stap B: De rommel opruimen (Dimensionaliteitsreductie)

Soms raakt de computer overweldigd door te veel informatie. Stel je voor dat je een specifiek boek probeert te vinden in een bibliotheek waar elk enkel boek in een enorme, chaotische stapel is gestapeld.
Het team gebruikte een techniek genaamd PCA (Principal Component Analysis). Denk aan dit als een slimme bibliothecaris die snel boeken sorteert, duplicaten en de boeken die er niet toe doen weggooit, waardoor je een net en georganiseerd rek overhoudt.

• Het Resultaat: Dit maakte de computer niet noodzakelijkerwijs slimmer, maar wel veel sneller. Het verkortte de trainingstijd aanzienlijk, vooral voor de complexe modellen, zonder de nauwkeurigheid aan te tasten.

Stap C: De Eindrechter (Model Training)

Zodra de tekst in getallen was omgezet en schoongemaakt, had het team een "rechter" nodig om de emoties te beslissen. Ze probeerden verschillende rechters:

• De "Solo-act" (Decision Trees): Een eenvoudige rechter die snelle beslissingen neemt op basis van een stroomdiagram. Snel, maar mist soms de nuance.
• Het "Panel van Rechters" (Voting Classifier): Een groep verschillende rechters (zoals een Decision Tree, een Random Forest en een K-Nearest Neighbor) die stemmen over het antwoord. Dit is stabieler en betrouwbaarder dan een enkele rechter.
• De "Diepe Denker" (MLP): Een neuraal netwerk dat complexe patronen leert. Dit was de kampioen. Het was het beste in het opsporen van subtiele, gemengde emoties, hoewel het het langst nodig had om te "studeren" (trainen).

3. De Grote Uitdagingen die ze Vonden

• Het "Imbalans"-probleem: In hun data kwamen sommige emoties (zoals "niet boos") veel vaker voor dan andere (zoals "angst"). Het is als een klaslokaal waar 90% van de leerlingen stil is en slechts 10% schreeuwt. De computer werd heel goed in het identificeren van de stille leerlingen, maar had moeite met het herkennen van de schreeuwers. Dit leidde tot een hoge nauwkeurigheid voor veelvoorkomende emoties, maar een lage nauwkeurigheid voor zeldzame emoties.
• De "Onbekende Taal"-truc: Voor talen die de computer nog nooit had gezien (zoals Oromo), gebruikten ze een slimme hack. Ze vroegen een groot AI-model om een "verwant" taal te vinden die de computer wel kende, en gebruikten vervolgens het woordenboek van die verwante taal om de nieuwe taal te begrijpen. Het is alsof je een Spaans woordenboek gebruikt om de betekenis van een Portugees woord te raden, omdat de twee talen aan elkaar verwant zijn.

4. De Kernconclusie

Het PromotionGo-systeem bewees dat er geen "one-size-fits-all" oplossing is voor emotiedetectie.

• Voor sommige talen zijn de simpele, snelle tools (TF-IDF) de winnaars.
• Voor andere talen zijn de complexe, diepe tools (Sentence-BERT + MLP) noodzakelijk.
• Snelheid vs. Slimheid: Je moet kiezen. Als je directe resultaten nodig hebt, gebruik dan de simpele tools. Als je de hoogst mogelijke nauwkeurigheid wilt en even kunt wachten tot de computer "nadenkt", gebruik dan de deep learning-modellen.

Het framework van het team is als een Zwitsers zakmes: het vertrouwt niet op slechts één lemmet. In plaats daarvan kiest het dynamisch het juiste gereedschap (representatie), maakt de werkplek schoon (dimensionaliteitsreductie) en selecteert het beste oordeel (model) voor elke specifieke taal, waardoor het systeem goed werkt voor een divers, wereldwijd publiek.