SemEval-2026 Task 3: Dimensional Aspect-Based Sentiment Analysis (DimABSA)

Titel: SemEval-2026 Taak 3: Dimensionale Aspect-Based Sentiment Analyse (DimABSA)

1. Het Probleem

Traditionele Aspect-Based Sentiment Analyse (ABSA) en Stance Detection (houdingdetectie) gebruiken doorgaans categorische labels voor sentiment (bijv. positief, negatief, neutraal). Deze benadering is echter te grofkorrelig om de nuance van menselijke emoties en meningen volledig vast te leggen.

De auteurs stellen dat sentiment beter wordt weergegeven volgens psychologische theorieën (zoals die van Russell) langs twee continue dimensies:

• Valentie (Valence): De positieve of negatieve aard van de emotie (van extreem negatief tot extreem positief).
• Arousal: De intensiteit of opwinding van de emotie (van traag/luierig tot opgewonden/energiek).

Bestaande datasets zijn vaak beperkt tot Engelstalige consumentenreviews en missen deze dimensionale nuance. Er is behoefte aan een raamwerk dat sentiment analyseert op een continue schaal (1-9) voor zowel specifieke aspecten in reviews als bredere publieke kwesties (zoals politiek en klimaat).

2. Methodologie en Taakopzet

De auteurs introduceren een gedeelde taak (shared task) met twee tracks, gebaseerd op nieuwe, meertalige en multidomein datasets:

Track A: Dimensional Aspect-Based Sentiment Analysis (DimABSA)
Deze track breidt traditionele ABSA uit door sentiment te modelleren als regressie in de VA-ruimte. Er zijn drie subtaken:

1. DimASR (Dimensie Aspect Sentiment Regressie): Gegeven een zin en een aspect, voorspel de VA-scores.
2. DimASTE (Dimensie Aspect Sentiment Triplet Extractie): Extraheer aspecttermen en meningsuitingen (opinion terms) en voorspel hun VA-scores.
3. DimASQP (Dimensie Aspect Sentiment Quadruplet Extractie): Extraheer aspecten, categorieën, meningsuitingen en voorspel VA-scores.

Track B: Dimensional Stance Analysis (DimStance)
Deze track behandelt houdingdetectie als een vorm van aspectanalyse. In plaats van een categorische "voor/tegen/neutraal" label, moet het systeem de VA-scores voorspellen voor een specifiek doelwit (target) in een tekst (bijv. een politieke stelling of klimaatonderwerp).

Datasets:

• Track A: Dekking van 6 talen (Engels, Japans, Russisch, Tataars, Oekraïens, Chinees) en 4 domeinen (restaurant, laptop, hotel, financiën).
• Track B: Dekking van 5 talen (Engels, Duits, Chinees, Nigeriaans Pidgin, Swahili) en 2 domeinen (milieubescherming, politiek).
• De annotatie omvat continue scores voor Valence en Arousal (1-9 schaal), verkregen via meerdere menselijke annotators.

Evaluatiemetrics:

• Voor regressie-taken (DimASR, DimStance): RMSE (Root Mean Square Error) in de VA-ruimte.
• Voor extractie-taken (DimASTE, DimASQP): Een nieuwe cF1 (continuous F1) metric. Deze combineert de exacte overeenkomst van categorische elementen (aspect, categorie, mening) met de afstand in de VA-ruimte. Een voorspelling telt alleen als waar positief als de categorische elementen kloppen, maar de score wordt verlaagd op basis van de fout in de VA-schatting.

3. Belangrijkste Bijdragen

1. Paradigmaverschuiving: De eerste SemEval-taak die sentimentanalyse systematisch overzet van categorische labels naar continue dimensionale (Valence-Arousal) regressie.
2. Uitbreiding naar Publieke Discoursen: Door de introductie van DimStance wordt ABSA uitgebreid van consumentenreviews naar complexe publieke kwesties (politiek, klimaat) in meerdere talen.
3. Nieuwe Dataset: Het creëren van uitgebreide, meertalige datasets met continue VA-annotaties voor zowel aspecten als houdingdoelen.
4. Nieuwe Metric: De ontwikkeling van de cF1-metric, die een eerlijke evaluatie mogelijk maakt van hybride taken waarbij zowel categorische extractie als continue regressie nodig is.
5. Gemeenschapsinspanning: De taak trok meer dan 400 deelnemers aan, resulterend in 112 inzendingen en 42 systeembeschrijvingen, wat een aanzienlijke basis legt voor toekomstig onderzoek.

4. Resultaten

• Deelnemers: 42 teams leverden 112 inzendingen in. De meeste teams gebruikten voorgeprogrammeerde Transformers of Large Language Models (LLMs).
• Beste Systemen:
  • Track A: Teams zoals PAI, TeleAI en Takoyaki presteerden het best. PAI gebruikte een distributie-adaptatiemethode om voorspellingen af te stemmen op de trainingsverdeling. Takoyaki gebruikte retrieval-based in-context learning met LLM's.
  • Track B: LogSigma en YangS_team waren de toppers. LogSigma gebruikte uncertainty-weighted multitask learning om de balans tussen valentie en arousal te optimaliseren.
• Prestatieverschillen:
  • Systemen presteerden over het algemeen beter op Chinese en Japanse datasets (lagere RMSE) vergeleken met low-resource talen zoals Tataars en Swahili.
  • De extractie-taken (Triplet/Quadruplet) waren aanzienlijk moeilijker dan pure regressie, vooral in domeinen met veel aspectcategorieën (zoals laptops en hotels).
• Technische Trends:
  • Architecturen: De meeste systemen (91% in Track A) maakten gebruik van Transformer-architecturen of LLM's (zoals Qwen, Gemini, Llama).
  • Training: Fine-tuning (vaak met LoRA) was de standaard. Veel teams gebruikten ensemble-methoden, data-augmentatie en geavanceerde prompt-strategieën (few-shot, retrieval-augmented).

5. Betekenis en Toekomstperspectief

Deze taak markeert een belangrijke stap in de evolutie van sentimentanalyse. Door sentiment te modelleren als een continue dimensie in plaats van een discrete categorie, kunnen systemen nu:

• Nuance vangen: Subtielere verschillen in emotie (bijv. "boos" vs. "ontgoocheld") worden beter onderscheiden.
• Toepassingen verbreden: De techniek is toepasbaar op gevoelige domeinen zoals politieke analyse en klimaatdiscours, waar categorische labels vaak ontoereikend zijn.
• Multilinguaal onderzoek stimuleren: De datasets bieden een zeldzame kans om dimensionale sentimentanalyse te bestuderen in low-resource talen.

Beperkingen:
De auteurs wijzen op culturele verschillen in de interpretatie van valentie en arousal, wat de directe vergelijking tussen talen kan beïnvloeden. Daarnaast kan de onbalans in de data (bijv. meer positieve dan negatieve voorbeelden in sommige datasets) leiden tot bias in de modellen.

Concluderend biedt SemEval-2026 Task 3 een robuust raamwerk en een waardevolle dataset voor de gemeenschap om dimensionale sentimentanalyse verder te ontwikkelen, met name voor complexe, meertalige scenario's.