QuadAI at SemEval-2026 Task 3: Ensemble Learning of Hybrid RoBERTa and LLMs for Dimensional Aspect-Based Sentiment Analysis

Dit paper presenteert QuadAI, een ensemble-systeem voor SemEval-2026 dat een hybride RoBERTa-encoder combineert met grote taalmodellen via voorspellingsniveau-ensemble learning om de prestaties bij dimensionele aspectgebaseerde sentimentanalyse aanzienlijk te verbeteren.

De kern

Hier is een uitleg van het onderzoek van QuadAI, vertaald naar simpel Nederlands met behulp van creatieve vergelijkingen.

De Missie: Het Meten van Gevoelens

Stel je voor dat je een enorme berg reviews leest over laptops en restaurants. Mensen schrijven niet alleen "goed" of "slecht", maar ze voelen zich ook op verschillende manieren. Soms zijn ze enthousiast en blij (hoge energie, positief), soms moe en verdrietig (lage energie, negatief).

De taak van dit team was om een computer te leren om deze gevoelens niet alleen te herkennen, maar ook precies te meten. Ze moesten twee dingen voorspellen:

1. Valentie: Hoe positief of negatief is het? (Van somber tot euforisch).
2. Arousal: Hoe intens is het gevoel? (Van rustig slapen tot wild springen van blijdschap).

Dit is lastig, want gevoelens zijn vaag. Een computer die alleen zegt "dit is goed" mist de nuance.

De Oplossing: Een "Super-Team" van Twee Helden

Het team van QuadAI (van de Universiteit Leiden) heeft geen enkele slimme computer gebruikt, maar een samenwerking van twee verschillende soorten experts.

1. De Grondige Analist (De Hybrid RoBERTa)

Stel je deze AI voor als een zeer ervaren, snelle accountant.

• Hoe werkt hij? Hij leest de tekst razendsnel en kijkt naar de structuur. Hij doet dit op twee manieren tegelijk:
  • Manier A (Regressie): Hij schat een getal, bijvoorbeeld "7,4 op een schaal van 10". Dit is een continue schatting.
  • Manier B (Classificatie): Hij verdeelt de gevoelens in vakjes (bijv. "niet blij", "een beetje blij", "heel blij") en kiest het beste vakje.
• Het slimme trucje: In plaats van te kiezen voor één manier, middelt hij beide uitkomsten. Het is alsof de accountant zegt: "Mijn schatting is 7,4, maar als ik naar de vakjes kijk, past het bij 7,5. Laten we 7,45 nemen." Dit maakt zijn voorspelling veel stabieler en betrouwbaarder.

2. De Creatieve Verteller (De LLM's)

De tweede expert is een grote taalmodel (zoals een zeer slimme schrijver of chatbot).

• Hoe werkt hij? Deze AI leest niet alleen, maar "voelt" de tekst. Hij kijkt naar voorbeelden van andere mensen die al iets soortgelijks hebben geschreven (in-context learning).
• De "Drie-jurys" methode: Om fouten te voorkomen, lieten ze drie verschillende AI's (gemini, claude, gpt) naar de voorbeelden kijken. Als alle drie het eens waren dat een voorbeeld raar of fout was, gooiden ze dat voorbeeld weg. Zo zorgden ze voor een schoon en betrouwbaar trainingsmateriaal.

De Finale: Het Ensemble (Het Teamwerk)

Nu hadden ze twee sterke spelers: de snelle accountant en de creatieve verteller. Maar wat als ze het oneens zijn?

Ze gebruikten een coach (Ensemble Learning) om de uitslagen te combineren.

• De Coach: Kijkt naar wat de accountant zegt en wat de verteller zegt.
• De Extra Hulp: Ze probeerden ook een simpele woordenlijst (VADER) toe te voegen, maar dat bleek meer ruis dan nut. De coach besloot die dus te negeren.
• Het Resultaat: De coach gaf de verteller (LLM) iets meer stemrecht dan de accountant, omdat de verteller iets beter presteerde op de testdata. Door hun antwoorden te middelen, kregen ze een perfecter antwoord dan als ze alleen hadden gewerkt.

Wat was het resultaat?

• Op de testdata (ontwikkelset): Het teamwerk werkte fantastisch. De fouten (RMSE) werden veel kleiner en de voorspellingen kwamen dichter bij de echte menselijke gevoelens.
• In de wedstrijd: Door tijdsdruk konden ze helaas niet het volledige super-team (met de LLM's) indienen voor de officiële wedstrijd. Ze moesten het doen met alleen de "accountant" (Hybrid RoBERTa).
• Toch goed: Zelfs zonder de hulp van de verteller, eindigde hun systeem in de top 15 tot top 20 van alle deelnemers. Dat is een enorme prestatie, zeker omdat hun systeem veel minder rekenkracht en geld kostte dan de dure systemen van de winnaars.

Conclusie

Het team heeft laten zien dat je de beste resultaten krijgt door verschillende soorten intelligentie te combineren:

1. De snelle, gestructureerde aanpak (RoBERTa) voor stabiliteit.
2. De creatieve, contextuele aanpak (LLM) voor nuance.

Het is alsof je een auto bouwt met een sterke motor én een slimme navigatie: samen komen ze sneller en veiliger op de bestemming dan met alleen de een of de ander.

De code en de kennis van dit team zijn nu openbaar beschikbaar, zodat andere onderzoekers hierop kunnen voortbouwen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "QuadAI at SemEval-2026 Task 3: Ensemble Learning of Hybrid RoBERTa and LLMs for Dimensional Aspect-Based Sentiment Analysis" in het Nederlands.

Probleemstelling

Het paper richt zich op Dimensional Aspect-Based Sentiment Analysis (DimABSA), een subtaak van Natural Language Processing (NLP). In tegenstelling tot traditionele sentimentanalyse die vaak alleen positief/negatief/neutral classificeert, gaat deze taak uit van een continu sentimentruimte. Specifiek voor Track-A1 ("Valence-Arousal Prediction") moet het model twee dimensionele scores voorspellen:

• Valence (Waarde): De mate van positiviteit of negativiteit.
• Arousal (Opwinding): De intensiteit van de emotie (van laag tot hoog).

De uitdagingen in dit domein omvatten data-schaarste, domeinspecifieke toepassingen en het modelleren van complexe relaties tussen aspecten en meningen. Het doel is het minimaliseren van de voorspellingsfout (RMSE) en het maximaliseren van de correlatie met menselijke annotaties.

Methodologie

Het team (QuadAI) ontwikkelde een hybride aanpak die bestaande encoder-modellen combineert met Large Language Models (LLMs) via ensemble learning. De methodologie bestaat uit drie hoofdblokken:

1. Hybride RoBERTa Encoder

In plaats van alleen regressie of alleen classificatie te gebruiken, combineert het model beide benaderingen in parallel:

• Architectuur: Een RoBERTa-encoder voert twee taken tegelijkertijd uit:
  1. Een regressie-head die de continue sentimentwaarde direct voorspelt.
  2. Een gediscretiseerde classificatie-head die de continuïteit opdeelt in $n$ bins (bijv. 31 bins). Deze head gebruikt cross-entropy loss en softmax.
• Fusie: De uiteindelijke voorspelling is een gewogen gemiddelde van de regressie-uitvoer en de verwachte waarde van de classificatie-bins.
• Motivatie: Discretisatie biedt een stabielere training dan pure regressie en uitdrukking van vertrouwen in specifieke bereiken, terwijl regressie de continuïteit behoudt.

2. Large Language Models (LLMs) en In-Context Learning

Het team onderzocht de prestaties van LLMs (zoals Gemini, Claude en GPT-5.2) via In-Context Learning (ICL):

• Data Cleaning: Een drietal LLMs werkte samen om "outliers" in de trainingsdata te identificeren en te verwijderen. Dit gebeurde door clusters te vormen op basis van Valence en Arousal (met HDB-Scan) en de LLMs te vragen om afwijkende voorbeelden te markeren.
• Prompting: Er werd geëxperimenteerd met zero-shot prompting versus few-shot prompting. Voor few-shot werden semantisch vergelijkbare voorbeelden geselecteerd op basis van sentence-embeddings.
• Resultaat: De beste LLM (Gemini) leverde betere resultaten dan de standalone RoBERTa-modellen.

3. Ensemble Learning (Voorspellingsniveau Fusie)

Om de sterktes van beide benaderingen te combineren, werd een prediction-level ensemble (late fusion) ontworpen:

• Combinatiemethoden:
  • Simpele averaging.
  • Gewogen averaging (via grid search).
  • Ridge-regression stacking: Een lineaire regressie die de voorspellingen van de basismodellen (Hybrid RoBERTa en LLM) en optionele externe features (VADER lexicon-scores) combineert.
• Feature Engineering: VADER-scores (compound, pos, neu, neg) werden toegevoegd als extra input voor de combiner, hoewel de resultaten aantoonden dat dit in dit specifieke geval geen verbetering bracht en mogelijk ruis toevoegde.

Kernresultaten

De experimenten werden uitgevoerd op de ontwikkelingssets (dev sets) van de SemEval-2026 Task 3, specifiek voor de domeinen "Laptop" en "Restaurant".

• Hybride vs. Single Models: De Hybride RoBERTa (gemiddelde van regressie en classificatie) presteerde significant beter dan alleen regressie of alleen classificatie.
  • Op de Laptop-dev set: MSE daalde van 0.6140 (alleen regressie) naar 0.5419 (hybride).
  • Op de Restaurant-dev set: De hybride MSE was bijna de helft van de regressie-only score (0.4919 vs 0.8176).
• LLM Prestaties: De LLM (met ICL) behaalde een lagere RMSE (0.695) dan de Hybride RoBERTa (0.7361) op de Laptop-set.
• Ensemble Prestaties: De combinatie van de Hybride RoBERTa en de LLM via ensemble learning leverde de beste resultaten op:
  • RMSE: Daalde naar 0.6344 (vergeleken met 0.7361 voor RoBERTa en 0.695 voor LLM alleen).
  • Correlatie: De gemiddelde Pearson-correlatie steeg naar 0.7773.
  • De Ridge-stacking bleek effectief te werken, waarbij de gewichten automatisch werden geleerd (ongeveer [0.3, 0.7] voor de twee modellen).

Bijdragen en Significantie

1. Hybride Architectuur: Het paper introduceert een effectieve methode om de stabiliteit van gediscretiseerde classificatie te combineren met de precisie van continue regressie binnen een RoBERTa-encoder.
2. Complementaire Sterktes: Het bewijst dat encoder-based modellen (RoBERTa) en generatieve LLMs complementaire sterke punten hebben voor dimensionele sentimentanalyse. Een ensemble van beide benaderingen overtreft individuele modellen aanzienlijk.
3. Data Kwaliteit: De voorgestelde workflow voor het automatisch filteren van slechte voorbeelden in de trainingsdata via multi-LLM consensus is een waardevolle bijdrage aan de kwaliteit van in-context learning.
4. Praktische Toepasbaarheid: Ondanks dat de volledige ensemble-methode niet kon worden ingediend voor de officiële testset (door onvoorziene omstandigheden), toonde de ingediende "lightweight" Hybride RoBERTa al een sterke prestatie (rank 16/30 op laptops en 22/33 op restaurants), wat de potentie van de methode aantoont met beperkte rekencapaciteit.

Conclusie en Toekomstperspectief

De studie concludeert dat ensemble learning van hybride encoders en LLMs een krachtige strategie is voor DimABSA. De auteurs plannen om in de toekomst:

• De systemen offline te testen op de testsets.
• De generaliseerbaarheid te onderzoeken op andere talen (bijv. Chinees).
• Geavanceerdere ensemble-methoden en automatische hyperparameter-tuning (bijv. met Optuna) toe te passen.
• De code en resources openbaar te maken voor open science.