The Classics at SemEval-2026 Task 3: Combining Transformer Models and LLM-Generated Annotations for Dimensional Aspect-Based Sentiment Analysis

Technische Samenvatting: The Classics bij SemEval-2026 Taak 3

Probleemstelling
Dit artikel behandelt de uitdagingen van Dimensionale Aspect-Based Sentiment Analyse (DimABSA), een paradigmaverschuiving van traditionele categorische sentimentclassificatie (bijv. positief/negatief) naar het voorspellen van fijnmazige, continue reële scores. Specifiek pakken de auteurs SemEval-2026 Taak 3 aan, die vereist dat sentiment wordt gemapt op een tweedimensionale ruimte van valentie (positiviteit) en arousal (intensiteit). De taak is verdeeld in twee subtaken:

1. Subtaak 1 (Dimensionale Aspect Sentiment Regressie): Het voorspellen van valentie- en arousal-scores voor een gegeven tekst en een specifiek aspect.
2. Subtaak 3 (Dimensionale Aspect Sentiment Quad Voorspelling): Een end-to-end extractietaken die de gelijktijdige identificatie van aspecten, categorieën, opiniefrases en hun bijbehorende continue valentie/arousal-scores vereist.

De auteurs merken op dat traditionele modellen menselijke emoties vaak te veel versimpelen en een gebrek hebben aan de transparantie die nodig is voor genuanceerde besluitvorming, wat methoden noodzakelijk maakt die in staat zijn tot continue regressie en gestructureerde extractie.

Methodologie
De auteurs stellen twee verschillende pipelines voor die zijn afgestemd op de specifieke vereisten van elke subtaak:

• Subtaak 1: Discriminatieve Ensemble met LLM-augmentatie

  • Encoder Ensemble: De kernaanpak omvat het finetunen van een gewogen ensemble van transformer-gebaseerde encoder-modellen (RoBERTa-Base, RoBERTa-Large en DeBERTaV3-Large voor Engels; XLM-RoBERTa-Base en XLM-RoBERTa-Large voor Russisch). Een lineaire regressiekop wordt toegepast op de [CLS] token om de twee continue variabelen te produceren.
  • LLM-gebaseerde Augmentatie (Russische Track): Om de moeilijkheid van het extraheren van subtiele sentimentnuances in het Russisch aan te pakken, introduceren de auteurs een zero-shot data-augmentatietechniek. Een instructie-getunede Large Language Model (LLM) genereert synthetische beschrijvende rationales (gericht op aangenaamheid en intensiteit) voor elke trainingsinstantie. Deze rationales worden samengevoegd met de oorspronkelijke invoertekst om expliciete beschrijvende context te bieden aan de encoder-modellen.
  • Ensemble Strategie: Voorspellingen worden samengevoegd via een gewogen gemiddelde, waarbij de gewichten empirisch zijn geoptimaliseerd op basis van de prestaties op de ontwikkelset.

• Subtaak 3: Verenigd Generatief Framework

  • Decoder LLM: In plaats van een multi-step pipeline (die het risico op foutpropagatie met zich meebrengt), gebruiken de auteurs een verenigde generatieve aanpak. Een decoder-gebaseerde LLM (Llama-3.1-8B) wordt gefinetuned met behulp van Low-Rank Adaptation (LoRA) om gestructureerde voorspelling uit te voeren.
  • Gezamenlijke Schatting: Het model is getraind om de invoertekst te verwerken en direct een gestructureerde sequentie te genereren die de volledige kwartet bevat (Aspect, Categorie, Opinie, Valentie-Arousal) in één enkele forward pass. Dit stelt het model in staat om de relatie tussen beschrijvende tekstuele frases en hun bijbehorende emotionele intensiteit simultaan te leren.

Belangrijkste Resultaten

• Prestaties Subtaak 1:
  • Engelse Track: Het gewogen ensemble behaalde concurrerende resultaten, waarbij het uiteindelijke systeem de organisator-baselines (bijv. Kimi-K2 Thinking en Qwen-3 14B) overtrof in zowel het Restaurant- als het Laptop-domein. Bijvoorbeeld, in het Restaurant-domein behaalde het systeem een RMSE van 1,23 vergeleken met de RMSE van 2,14 van de baseline.
  • Russische Track: De LLM-gebaseerde augmentatie bleek effectief, waardoor de RMSE van XLM-RoBERTa-modellen werd teruggebracht van het bereik 1,43–1,45 naar 1,40–1,41.
• Prestaties Subtaak 3:
  • De end-to-end generatieve LLM-aanpak behaalde een Continuous F1-score (cF1) van 0,3072 op de Laptop-domein testset.
  • Ablatiebevindingen: Tegenover de initiële hypothese dat encoders superieur zijn voor numerieke regressie, presteerde de hybride pipeline (waarbij een encoder scores voorspelt voor door de LLM geëxtraheerde spans) minder goed (cF1 0,3024). Dit suggereert dat de decoder LLM succesvol de relatie tussen tekst en emotionele intensiteit kan vatten zonder een aparte regressiemodule.
  • Gevoeligheid: De studie benadrukte een hoge gevoeligheid voor de formulering van de prompt en leersnelheden; alternatieve prompts of hogere leersnelheden (2e-4) verslechterden de prestaties aanzienlijk.

Betekenis en Claims
Het artikel claimt dat de primaire bijdrage ligt in het aantonen van de effectiviteit van verenigde generatieve frameworks voor complexe sentimentextractietaken, wat de conventionele afhankelijkheid van gescheiden extractie- en regressiemodules uitdaagt.

• LLM-capaciteiten: De resultaten wijzen erop dat instructie-getunede decoders effectief kunnen omgaan met continue numerieke regressie wanneer ze gezamenlijk met extractietaken worden getraind, een bevinding die de aanname dat encoders strikt stabieler zijn voor regressie tegenspreekt.
• Contextuele Augmentatie: Het werk valideert dat het gebruik van LLM's om synthetische beschrijvende context te genereren, kleinere encoder-modellen aanzienlijk kan verbeteren, met name in talen met complexe sentimentnuances zoals het Russisch.
• Toekomstige Richtingen: De auteurs suggereren dat het uitbreiden van de puur generatieve aanpak naar standaard dimensionale regressie (Subtaak 1) een veelbelovende richting is, hoewel zij niet in staat waren dit volledig te verkennen binnen de tijdlijn van de gedeelde taak. Zij merken ook beperkingen op met betrekking tot de schaalbaarheid van hun methoden naar grotere modellen en de gevoeligheid van resultaten voor hyperparameter- en promptontwerp.

Het systeem behaalde de 7e plaats van de 18 in Subtaak 3 en plaatste zich in de top 16 over diverse domeinen in Subtaak 1, wat een concurrerende effectiviteit in fijnmazige sentimentanalyse aantoont.