💻 computer science

AttuneBench: A Conversation-Based Benchmark for LLM Emotional Intelligence

Het artikel introduceert AttuneBench, een nieuw benchmark gebaseerd op 200 echte meer-draaige mens-model-conversaties met draag-voor-draag annotaties, waaruit blijkt dat emotioneel intelligent gedrag uit gescheiden vaardigheden bestaat en dat voorkeursalignatie een effectievere maatstaf is voor modeldiscriminatie dan traditionele emotielabelnauwkeurigheid.

Oorspronkelijke auteurs: Kate M. Lubrano, Faisal Sayed, Ankita Rathod, Akshansh, Craver Corbyn Thomas-Smith, Mark E. Whiting, Karina Nguyen

Gepubliceerd 2026-05-22

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kate M. Lubrano, Faisal Sayed, Ankita Rathod, Akshansh, Craver Corbyn Thomas-Smith, Mark E. Whiting, Karina Nguyen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: De "Emotionele Radar" van AI Testen

Stel je voor dat je een diepgaand, meerdere uren durend gesprek voert met een vriend. Je praat niet alleen over het weer; je deelt zorgen, viert successen en je stemming schuift op van gefrustreerd naar hoopvol en weer terug.

Stel je nu voor dat een AI op die stoel zit. De grote vraag is niet alleen: "Wist de AI de feiten?" maar eerder: "Begreep de AI hoe ik me voelde, en zei het op het juiste moment het juiste ding?"

Dit is wat Emotionele Intelligentie (EI) is. Het artikel betoogt dat AI weliswaar steeds beter wordt in wiskunde en coderen, maar dat we geen goede manier hebben om te testen of het de rommelige, veranderende emoties van een echt menselijk gesprek aankan. Bestaande tests zijn als het geven van een meerkeuzetoets aan de AI over een triest filmscène; ze vertellen ons niet hoe de AI omgaat met een echt, live, 30 minuten durend gesprek waarin je misschien boos wordt, dan kalmeert en weer enthousiast raakt.

De Oplossing: AttuneBench (De "Live Concert"-test)

De onderzoekers bouwden AttuneBench, wat meer is als een "live concert"-test voor AI-emoties, dan een "studio-opname"-test.

Hoe het werkt:

De Opstelling: Ze verzamelden 11 verschillende AI-modellen (de "muzikanten") en 11 menselijke deelnemers (het "publiek").
De Optreden: De mensen chatte met een AI over ongeveer 50 verschillende onderwerpen (zoals geld, relaties of hobby's). Dit waren geen nep-scripts; het waren echte, meer-draaiende gesprekken.
Het Scorebord: Terwijl de mensen chatte, zeiden ze niet alleen aan het einde "goed gedaan". Ze deden als een live geluidstechnicus. Na elk bericht dat de AI stuurde, pauzeerde de mens en tagde:
- Hoe voelde ik me op dit moment? (bijv. "Ik voelde me gehoord" of "Ik voelde me geïrriteerd.")
- Wat wilde ik dat de AI als volgende zou zeggen?
- Heeft de AI eigenlijk gezegd wat ik wilde?
De Terugblik: Na de chat namen de onderzoekers hetzelfde gesprek en vroegen ze de andere 10 AI-modellen om "naar de opname te kijken" en te voorspellen wat de mens voelde en wat de mens liever had dat de AI zou zeggen.

De Grote Ontdekking: "Emotioneel Slim" Zijn is Eigenlijk Veel Verschillende Vaardigheden

De meest verrassende bevinding is dat goed zijn in één onderdeel van emotionele intelligentie niet betekent dat je goed bent in allemaal. Het is als een sportteam: een speler kan een geweldige doelpuntenmaker zijn maar slecht in verdedigen.

De onderzoekers ontdekten dat AI-modellen "specialisten" zijn, geen allrounders. Ze splitsten EI op in vier verschillende vaardigheden:

De Stemmingsvolger: Kan de AI zeggen of je verdrietig of boos wordt naarmate het gesprek vordert?
- Analogie: Dit is als een weerman die een storm voorspelt.
- Resultaat: Sommige AI's waren hier geweldig in; anderen waren vreselijk.
De Gedragsoordelaar: Kan de AI zeggen of het (of een andere AI) onbeleefd, afwijzend of behulpzaam is?
- Analogie: Dit is als een scheidsrechter die een wedstrijd bekijkt en overtredingen fluit.
- Resultaat: De meeste AI's waren vrij goed in het opsporen van slecht gedrag, maar niet altijd in het voorspellen van wat jij wilde.
De Voorkeursvoorspeller: Kan de AI precies raden wat jij als volgende wilt horen?
- Analogie: Dit is als een ober die weet dat je extra ketchup wilt zonder dat je het vraagt.
- Resultaat: Dit was de moeilijkste vaardigheid. De topmodellen hier waren volledig verschillend van de topmodellen bij "Stemmingsvolgen".
De Antwoordgenerator: Kan de AI daadwerkelijk een antwoord schrijven dat aanvoelt alsof het klopt?
- Analogie: Dit is de acteur die de tekst perfect brengt.

De "Samengestelde Score"-Valstrik:
Het artikel waarschuwt dat als je een AI gewoon een enkele "Emotionele Intelligentie-score" geeft (zoals een cijfer van 85/100), je jezelf liegt. Het is als zeggen dat een auto een "Rij-score" van 85 heeft, maar dat het geweldige remmen heeft en een slechte stuuring. Het artikel laat zien dat de best gerangschikte AI voor "raden wat je wilt" vaak de slechtste was in "slecht gedrag opsporen". Je moet kijken naar de specifieke vaardigheden, niet alleen naar de totaalscore.

De "Menselijke Baseline" (Kunnen Mensen Het Beter?)

De onderzoekers vroegen ook drie mensen om de rol van AI te spelen en te voorspellen wat de chatdeelnemers voelden.

Het Resultaat: Mensen waren eigenlijk vrij goed in het raden wat mensen wilden horen (beter dan de meeste AI's), maar ze waren verrassend slecht in het raden van de doelen van het gesprek.
De Leerervaring: Zelfs mensen worstelen om de emotionele behoeften van een ander mens in een chat perfect te voorspellen. Dit stelt een realistisch plafond: AI hoeft niet perfect te zijn, maar het moet dichter bij menselijke intuïtie komen.

De "Diagnose"-Twist

Het artikel vond iets interessants over met wie de AI het meest worstelde.

De Bevinding: De AI's waren aanzienlijk slechter in het volgen van de emoties van mensen die aangaven een mentale gezondheidsdiagnose te hebben (zoals angst of depressie) in vergelijking met diegenen zonder.
De Analogie: Stel je een vertaler voor die geweldig is in standaard Engels vertalen, maar in de war raakt als de spreker straattaal gebruikt of met een zware accent spreekt. De AI had moeite om de emotionele signalen van mensen met angst of depressie te "vertalen", en miste vaak de nuance of intensiteit van hun gevoelens.

Het "Romantische Relatie"-Probleem

De onderzoekers testten 50 verschillende onderwerpen. Ze ontdekten dat Romantische Relaties het moeilijkste onderwerp was voor bijna elke AI.

Waarom? Relaties zijn rommelig, dubbelzinnig en vol met onuitgesproken regels. De AI's presteerden hier vaak slecht, wat suggereert dat ze nog steeds worstelen met de hoge risico's en hoge dubbelzinnigheid van liefde en dating-gesprekken.

Samenvatting: Wat Dit Voor Jou Betekent

Het artikel concludeert dat we niet zomaar kunnen zeggen "AI is emotioneel intelligent" of "AI is dat niet". Het is te ingewikkeld.

Sommige AI's zijn geweldig in het opsporen van gevoelens, maar slecht in het raden wat je wilt.
Sommige zijn geweldig in het opsporen van slecht gedrag, maar vreselijk in het weten wanneer je verdrietig bent.
Sommige modellen zijn consequent beter in specifieke taken, maar er is geen enkel model dat de "perfecte therapeut" is.

AttuneBench is in wezen een nieuw, realistischer rapport. In plaats van een AI één cijfer te geven, geeft het een gedetailleerd transcript dat precies laat zien waar ze blinken en waar ze falen, waardoor ontwikkelaars de specifieke "emotionele spieren" kunnen versterken die zwak zijn.

Cruciale Opmerking uit het Artikel: De auteurs stellen expliciet dat deze benchmark alleen voor onderzoek en diagnose is. Het is geen hulpmiddel om te certificeren dat een AI veilig is om als therapeut te gebruiken, noch moet het worden gebruikt om beslissingen te nemen over het inzetten van AI in ziekenhuizen of crisiscentra. Het is een meetlat voor ontwikkelaars, geen keurmerk voor het publiek.

Technische Samenvatting: AttuneBench

Probleemstelling

Huidige benchmarks voor het beoordelen van de vooruitgang van Large Language Models (LLM's) op weg naar algemeen intelligentie, zoals MMLU, negeren grotendeels dimensies van sociale perceptie, de hoog-dimensionele structuur van emotie en contextueel gepast interpersoonlijk gedrag. Bestaande benchmarks voor Emotionele Intelligentie (EI) (bijv. EQ-Bench, EmpatheticDialogues, EmoBench) vertrouwen doorgaans op synthetische prompts, dialogen met één beurt, door het model gegenereerde labels of geïsoleerde psychometrische probes. Deze benaderingen falen in het rechtstreeks meten hoe modellen de emotionele toestand van een deelnemer afleiden en erop reageren in de loop van een echt, meer-beurtig gesprek. Aangezien gebruikers zich steeds vaker tot LLM's wenden voor emotionele ondersteuning en advies op het gebied van mentale gezondheid, blijft de kloof tussen systemen die goed presteren op traditionele metrieken en die welke bekwaam zijn in genuanceerd emotioneel bewustzijn onopgelost.

Methodologie

AttuneBench is een benchmark gebaseerd op 200 echte meer-beurtige mens-model-gesprekken die zijn ontworpen om EI te evalueren via waarneembaar conversatiegedrag. De pijplijn omvat drie fasen:

Dataverzameling: Menselijke Deelnemers (HP's) voeren vrij-vormige, meer-beurtige dialogen met een "Origineel Model" (OM) geselecteerd uit een pool van acht niet-openbaar gemaakte LLM's. Onderwerpen zijn ontleend aan een samengestelde lijst van 50 domeinen (bijv. Geld, Relaties, Hobbies).
Menselijke Annotatie: HP's leveren beurt-voor-beurt annotaties, waaronder:
- Stemmingsschift-tags: Real-time tagging van emotionele verschuivingen met behulp van de Positive and Negative Affect Schedule (PANAS) met intensiteitsbeoordelingen.
- Binaire Oordelen: Voor elke beurt beantwoorden HP's 36 binaire vragen over het waargenomen modelgedrag versus hun voorkeursgedrag, gecategoriseerd onder het Vier-Takkenmodel van Mayer-Salovey-Caruso (Emoties Waarnemen, Emoties Begrijpen, Denken Bevorderen, Emoties Beheren).
- Voorkeur Ranking: HP's vergelijken de originele reactie met een door een model gegenereerd alternatief en een door een mens bewerkte "gouden" reactie, selecteren voorkeuren en schrijven hun eigen ideale reactie op.
- Post-Gesprek Beoordeling: HP's vullen na het gesprek een PANAS-enquête in en beoordelen het OM op de vier takken-dimensies en doelen voor het hele gesprek.
Model Evaluatie: Geëvalueerde Modellen (EM's) worden gescoord tegen de door HP's onderbouwde annotaties. De EM verwerkt gesprekken beurt-voor-beurt (zonder toegang tot toekomstige beurten) om HP-annotaties te voorspellen, inclusief emotie-tags, binaire labels en reactievoorkeuren.

Metrieken: De benchmark hanteert een samengesteld scoresysteem (0–100) dat gewogen is over drie pijlers:

Emotie Tracking (24%): Emotie F1 (exacte tag-overeenkomst) en Emotie VA (continue valentie-arousal afstand).
Evaluatie Kwaliteit (49%): Binaire OM/HP Nauwkeurigheid (gedragsclassificatie) en Pairwise Nauwkeurigheid/Kendall $\tau$ (voorkeurranking).
Holistisch Begrip (27%): Vier-Takken MAE, PANAS-bias-gecorrigeerde voorspelling, en vragen over doelen/passendheid voor het hele gesprek.

Belangrijkste Bijdragen

Eerste Open Meer-beurtige EI Benchmark: AttuneBench is de eerste open benchmark gebaseerd op echte meer-beurtige mens-model-gesprekken, met 200 geannoteerde gesprekken met PANAS-trajecten, waargenomen-tegenover-voorkeurs-oordelen en paarwijze vergelijkingen.
Decompositie van EI-capaciteiten: De studie toont aan dat EI geen monolithische vaardigheid is, maar decomposeert in zwak gekoppelde capaciteiten: emotie-tracking, gedragsoordeel, reactievoorkeur en afgestemde generatie.
Identificatie van Interactie-niveau Falen: De benchmark onthult specifieke faalmodi, waaronder prestatiedrift over beurten heen, gevoeligheid voor onderwerp en deelnemersprofiel, en een significante kloof tussen het herkennen van gebruikersbehoeften en adequaat reageren.

Resultaten

Elf hedendaagse LLM's werden geëvalueerd, waaronder modellen van Anthropic, OpenAI, Google DeepMind, Mistral, xAI, Alibaba en Xiaomi.

Onafhankelijkheid van Metrieken: Rangschikkingen op emotieherkenning, gedragsclassificatie, voorkeurvoorspelling en beoordeelde reactiekwaliteit zijn grotendeels onafhankelijk. Hoge prestaties op het ene gebied voorspellen geen hoge prestaties op het andere.
Voorkeur versus Nauwkeurigheid: Voorkeursuitlijning en oordelen over reactiekwaliteit zijn aanzienlijk meer model-discriminerend dan emotielabel-nauwkeurigheid (Emotie F1).
Modelprestaties:
- Voorkeur Ranking: De Opus-familie (Opus 4.7, Opus 4.6) leidt in Pairwise Nauwkeurigheid en Kendall $\tau$ , terwijl modellen zoals GPT-5.4 en Qwen 2.5 72B een negatieve gemiddelde Kendall $\tau$ tonen, wat wijst op een anti-uitgelijnde voorkeursordening.
- Gedragsclassificatie: Mistral Large leidt in Binaire Nauwkeurigheid, terwijl de top Opus-modellen laatste scoren op Binaire HP-Nauwkeurigheid (perspectief van de eerste persoon), wat een dissociatie benadrukt tussen voorkeurranking en gedragsclassificatie.
- Gesprek-breed versus Beurt-niveau: Een distinctief capaciteitsprofiel komt naar voren. Modellen zoals Qwen 2.5 72B en Mistral Large excelleren in holistisch begrip (Vier-Takken-beoordelingen), maar hinken achter op beurt-niveau metrieken. Omgekeerd tonen Opus 4.7 en Opus 4.6 sterke prestaties op beurt-niveau, maar een zwakkere synthese voor het hele gesprek.
Deelnemersvariatie: Modellen presteren significant slechter bij het volgen van de affectieve toestanden van deelnemers met een diagnose op het gebied van mentale gezondheid (specifiek angst/depressie) in vergelijking met neurotypische deelnemers, ondanks het tonen van hogere nauwkeurigheid op gedragsclassificatie voor deze groepen.
Gespreksdynamiek: Prestaties verslechteren van vroege naar late beurten voor gedragsmetrieken (Binaire OM Nauwkeurigheid), terwijl affectieve inferentie relatief stabiel blijft.

Betekenis

AttuneBench biedt een kader voor het beoordelen van distincte EI-capaciteiten en het diagnosticeren van modelspecifieke sterktes en faalmodi in emotioneel geladen gesprekken. De resultaten geven aan dat emotioneel intelligent gedrag vereist dat men voorspelt welk type reactie een specifieke gebruiker in context wenst – een onderscheid dat door aggregerende scoring kan worden vertroebeld en dat door enkel-beurtige of synthetische formaten niet kan worden vastgelegd. De benchmark is bedoeld voor diagnostische evaluatie in onderzoek en ontwikkeling, niet voor het valideren van modellen voor klinische toepassingen op het gebied van mentale gezondheid. Door te onthullen dat EI decomposeert in scheidbare vaardigheden, suggereert AttuneBench dat het verbeteren van de emotionele intelligentie van LLM's gerichte ontwikkeling vereist in specifieke operationele capaciteiten, in plaats van alleen algemene schaling.