💬 NLP

UKP_Psycontrol at SemEval-2026 Task 2: Modeling Valence and Arousal Dynamics from Text

Het UKP_Psycontrol-team behaalde de eerste plaats in SemEval-2026 Task 2 door een systeem te ontwikkelen dat tekstuele affectie en korte-termijn veranderingen modelleert via een combinatie van LLM-prompting, een MaxEnt-model en een neurale regressie, waarbij bleek dat recente numerieke trajecten de affectieve dynamiek beter verklaren dan de tekstuele semantiek.

Oorspronkelijke auteurs: Darya Hryhoryeva, Amaia Zurinaga, Hamidreza Jamalabadi, Iryna Gurevych

Gepubliceerd 2026-04-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Darya Hryhoryeva, Amaia Zurinaga, Hamidreza Jamalabadi, Iryna Gurevych

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een dagboek bijhoudt waarin je elke dag schrijft hoe je je voelt. Soms ben je super energiek en blij, soms ben je moe en somber. De onderzoekers van dit paper hebben een slimme computerprogramma gemaakt om precies te begrijpen wat er in dat dagboek staat, en zelfs om te voorspellen hoe je je de volgende dag gaat voelen.

Ze hebben meegedaan aan een grote wedstrijd voor kunstmatige intelligentie (SemEval-2026) en ze hebben gewonnen! Hier is hoe ze dat deden, vertaald in simpele taal:

De Drie "Superkrachten" van hun Computer

De onderzoekers gebruikten drie verschillende manieren om de gevoelens te analyseren. Je kunt ze zien als drie verschillende detectives:

1. De "Superlezer" (De LLM)
Stel je voor dat je een zeer ervaren psycholoog bent die miljoenen boeken heeft gelezen. Deze "Superlezer" (een grote taalcomputer) kijkt naar wat je schrijft en zegt: "Ah, als iemand dit schrijft, voelt hij zich waarschijnlijk 'blij' en 'rustig'."

Hoe het werkt: De computer leest je tekst en vergelijkt het met voorbeelden van andere mensen.
Het geheim: Het werkt het beste als de computer weet wie jij bent. Als hij weet dat jij altijd "moe" schrijft als je een lange dag hebt gehad, kan hij dat beter voorspellen dan als hij je niet kent.
Resultaat: Deze detective was heel goed in het begrijpen van wat je nu voelt op basis van je tekst.

2. De "Wiskundige Puzzelmeester" (Het MaxEnt-model)
Deze detective gelooft niet alleen in woorden, maar in patronen. Hij ziet je gevoelens als een landschap met heuvels en dalen.

De analogie: Stel je voor dat je gevoelens een bal zijn die over een landschap rolt. Soms rolt hij naar een "blij" dal, soms naar een "verdrietig" dal. Deze detective probeert te berekenen waar de bal waarschijnlijk naartoe rolt, gebaseerd op hoe de heuvels eruitzien.
Hoe het werkt: Hij kijkt naar de relatie tussen woorden en gevoelens als een ingewikkelde puzzel.
Resultaat: Hij was goed, maar niet zo slim als de "Superlezer" voor het lezen van tekst.

3. De "Voorspeller van de Toekomst" (Het Neuronale Model)
Deze detective is gespecialiseerd in het voorspellen van de verandering. Hij kijkt niet zozeer naar wat je schrijft, maar naar je cijferreeks.

De analogie: Stel je voor dat je een thermometer hebt. Als de temperatuur gisteren 20 graden was en vandaag 22, dan is de kans groot dat hij morgen 23 of 24 is. Het maakt niet uit of je schrijft "het is warm" of "ik zwet"; de trend in de cijfers is het belangrijkst.
Hoe het werkt: De computer kijkt naar je laatste paar cijfers (hoe je je de afgelopen dagen voelde) en zegt: "Op basis van die reeks, ga je morgen waarschijnlijk iets minder energiek zijn."
Resultaat: Voor het voorspellen van veranderingen (word je morgen blijer of somberder?) was deze methode de allerbeste.

Wat hebben ze ontdekt?

Het meest interessante is wat ze hebben geleerd over hoe mensen hun gevoelens beschrijven:

Woorden zijn goed voor het "nu": Als je wilt weten hoe iemand zich nu voelt, is het lezen van zijn tekst (met de "Superlezer") de beste manier. Woorden bevatten veel informatie over je stemming.
Cijfers zijn beter voor de "toekomst": Als je wilt weten hoe iemand zich morgen gaat voelen, helpt de tekst minder. Wat echt telt, is de recente geschiedenis van je cijfers. Als je de laatste drie dagen steeds iets minder energiek bent geweest, is de kans groot dat je morgen ook minder energiek bent, ongeacht wat je schrijft.

Waarom hebben ze gewonnen?

Ze hebben niet één methode gebruikt, maar een slimme combinatie.

Voor het begrijpen van de tekst gebruikten ze de Superlezer.
Voor het voorspellen van de toekomstige verandering gebruikten ze de Voorspeller die kijkt naar de cijferreeks.

Door deze twee krachten te combineren, konden ze beter presteren dan alle andere teams in de wedstrijd. Het is alsof ze een team hebben samengesteld met een expert in taal én een expert in cijferpatronen, en samen zijn ze onverslaanbaar.

Kortom: Om te weten hoe iemand zich voelt, moet je naar zijn woorden kijken. Maar om te weten hoe hij zich gaat voelen, moet je naar zijn recente geschiedenis kijken. En dat hebben deze onderzoekers perfect in de gaten!

Probleemstelling

Deze paper beschrijft de aanpak van het UKP Lab voor SemEval-2026 Task 2. De kernopdracht bestaat uit het modelleren van affectieve dynamiek in chronologisch geordende, door gebruikers gegenereerde teksten. Het doel is tweeledig:

Subtask 1 (Affectbeoordeling): Het voorspellen van de huidige valentie (positief/negatief) en arousal (opwinding/energie) voor elke tekst in een tijdreeks, voor zowel bekende als onbekende gebruikers.
Subtask 2A (Voorspelling van verandering): Het voorspellen van de korte-termijn verandering (delta) in valentie en arousal op basis van eerdere teksten en affectieve toestanden.

De dataset bestaat uit longitudinale zelfrapportages van Amerikaanse werknemers in de dienstensector, waarbij elke tekst gekoppeld is aan zelfgerapporteerde scores op een affectief circumplex (valentie 0-4, arousal 0-2). Een uitdaging is dat 92% van de gebruikers slechts data voor één periode van twee weken heeft, wat de modellering van lange-termijn dynamiek beperkt.

Methodologie

Het team heeft drie complementerende benaderingen ontwikkeld en geëvalueerd:

1. LLM-based Prompting (GPT-5 en GPT-OSS 120B)

User-aware vs. User-agnostic: Er werd onderscheid gemaakt tussen prompts die specifieke gebruikersgeschiedenis bevatten (user-aware) en prompts die willekeurige, label-gebalanceerde voorbeelden van verschillende gebruikers gebruiken (user-agnostic).
Outputformaten: Er werd getest of het model tekstuele emotielabels moet genereren (die later worden gemapt naar numerieke scores) of direct numerieke scores moet voorspellen. De resultaten toonden aan dat tekstuele labels gevolgd door mapping stabieler waren dan directe numerieke voorspelling.
Dynamische updates: Een "sliding-window" strategie werd toegepast waarbij de laatste $N=15$ voorbeelden per gebruiker in de prompt werden gebruikt. Echter, deze methode presteerde slechter dan vaste shot-prompting, waarschijnlijk door cumulatieve fouten wanneer modelvoorspellingen de context vullen.
Scheiding van input: Er werd getest of het scheiden van "feeling words" (woordenlijsten) en "essays" (vrije tekst) in aparte prompts de prestaties verbeterde, maar dit leverde geen consistente winst op.

2. MaxEnt-model met Ising-interacties

Dit is een probabilistisch grafisch model dat affectieve toestanden en semantische latent variabelen modelleert als een verdeling over binaire vectoren.
Het model gebruikt een Ising-achtige energie-functie om paarsgewijze interacties te capturen tussen affectieve staten (valentie/arousal) en semantische clusters.
Semantische informatie wordt verkregen door LLM's om tekst te clusteren in 10 emotie-categorieën, waarna deze worden gecomprimeerd via een autoencoder en binaire vectoren worden.
Voor inferentie wordt de verwachting (expectation) van de verdeling gebruikt om continue voorspellingen te genereren die aansluiten bij de evaluatiemetrics.

3. Neuraal Regressiemodel (Specifiek voor Subtask 2A)

Een lichtgewicht neuraal regressiemodel dat de verandering in affect ( $\Delta$ ) voorspelt.
Input: Bestaat uit embeddings van recente teksten (RoBERTa), huidige affectieve staten, vorige veranderingen en een trainable user embedding om individuele dynamiek vast te leggen.
Vindt: Het bleek dat modellen die alleen numerieke trajecten (vorige scores en veranderingen) en user-embeddings gebruikten, beter presteerden dan modellen die ook tekstuele features of semantische clusters toevoegden. Dit suggereert dat numerieke trends een schoner voorspellingssignaal zijn voor korte-termijn verandering dan tekstuele semantiek.

Belangrijkste Resultaten

Het systeem behaalde de eerste plaats in zowel Subtask 1 als Subtask 2A volgens de officiële leaderboard-metrics (Pearson-correlatie en MAE).

Subtask 1 (Affectbeoordeling):
- De LLM-benadering (GPT-5) presteerde het beste, met name voor arousal ( $r=0.554$ ) en valentie ( $r=0.667$ ).
- User-aware prompting presteerde marginaal beter dan user-agnostic, maar het verschil was klein, wat suggereert dat label-gebalanceerde voorbeelden veel van de voordelen van individuele geschiedenis benaderen.
- Het MaxEnt-model presteerde onder de LLM's, waarschijnlijk door verlies van affectieve nuance bij binaire representatie en gebrek aan expliciete temporele modellering.
Subtask 2A (Voorspelling van verandering):
- Het neuraal regressiemodel was de beste aanpak.
- De beste configuratie gebruikte een korte geschiedenis (1-4 eerdere entries) en leunde zwaar op numerieke trajecten en user-embeddings, zonder tekstuele features.
- Er was een asymmetrie: arousal voorspellingen profiteerden meer van enkel-taak training, terwijl valentie baat had bij gezamenlijke training (joint prediction).
- De LLM-benadering voor voorspelling van verandering presteerde slechter dan de regressiemodellen, wat aangeeft dat LLM's minder goed zijn in het modelleren van kleine, korte-termijn schommelingen dan statische staten.

Bijdragen en Significantie

State-of-the-art Prestaties: Het team behaalde de hoogste scores in de SemEval-2026 Task 2, wat de effectiviteit van hun hybride strategie (LLM voor statische analyse, regressie voor dynamiek) bevestigt.
Inzicht in Affectieve Dynamiek: Een cruciale bevinding is dat korte-termijn affectieve variatie in deze dataset sterker wordt verklaard door recente numerieke staten dan door tekstuele semantiek. Tekst is uitstekend voor het vastleggen van statische emoties, maar minder voorspellend voor de directe verandering daarvan.
Rol van LLM's: LLM's blijken zeer effectief in het vertalen van vrije tekst naar affectieve dimensies, vooral wanneer ze worden gestuurd met user-specifieke context of label-balanced voorbeelden. Ze overtreffen echter probabilistische modellen (zoals MaxEnt) in kleine datasets door hun rijke linguïstische representaties.
Beperkingen en Toekomst: De paper wijst op beperkingen, zoals de gevoeligheid van LLM's voor temperatuur-instellingen, het gebrek aan reproduceerbaarheid door het gebruik van proprietaire modellen (GPT-5), en de uitdaging om langere-termijn dynamiek (weken/maanden) te modelleren op basis van data die vaak beperkt is tot twee weken.

Samenvattend demonstreert dit werk dat een combinatie van LLM-gestuurde prompting voor het begrijpen van de huidige emotionele toestand en gespecialiseerde regressiemodellen voor het voorspellen van veranderingen, de meest effectieve route is voor longitudinale affectanalyse in ecologische momentane assessments.