CEI: A Benchmark for Evaluating Pragmatic Reasoning in Language Models

Dit paper introduceert de CEI-benchmark, een dataset van 300 gevalideerde scenario's die wordt gebruikt om het vermogen van taalmodellen om pragmatisch redeneren en impliciete betekenissen te interpreteren in verschillende machtsdynamieken en sociale situaties te evalueren.

De kern

De "CEI": Een Test voor de Sociale Intelligentie van AI

Stel je voor dat je op een feestje bent. Iemand zegt tegen jou: "Oh, wat een geweldig idee, laten we nog een uur blijven."

Als je kijkt naar alleen de woorden, klinkt dit als enthousiasme. Maar als je kijkt naar de situatie (het is al laat, iedereen is moe) en de toon van de spreker (een zucht, een gefronste wenkbrauw), snap je dat deze persoon eigenlijk zegt: "Ik ben doodop en ik wil hier weg."

Dit noemen mensen pragmatisch redeneren: het begrijpen van wat iemand echt bedoelt, niet alleen wat ze letterlijk zeggen.

Dit is precies waar grote taalmodellen (zoals de AI's die we vandaag gebruiken) enorme moeite mee hebben. Ze zijn briljant in het samenvatten van nieuws of het schrijven van gedichten, maar ze zijn vaak slecht in het doorgronden van sociale nuances.

De auteurs van dit paper hebben daarom een nieuwe test ontwikkeld, genaamd CEI (Contextual Emotional Inference). Hier is hoe het werkt, vertaald naar begrijpelijke taal:

1. De Test: Een Spel van "Wat zit er achter de woorden?"

De onderzoekers hebben 300 korte scenario's bedacht. Elke situatie bevat:

• Een context: Bijvoorbeeld een werkkamer, een familiefeest of een winkel.
• Mensen met een verhouding: Een baas en een medewerker, of twee vrienden.
• Een zin die dubbelzinnig is: Iemand zegt iets dat letterlijk beleefd klinkt, maar misschien boos, sarcastisch of passief-agressief bedoeld is.

Het doel: De AI moet raden: Wat voelt deze persoon echt? Is hij boos? Verdrietig? Of is hij gewoon sarcastisch?

2. De Vijf "Trucjes" van Mensen

De test focust op vijf manieren waarop mensen hun ware gevoelens verbergen:

• Sarcastisch: "Ja, super dat je weer te laat bent." (Bedoeling: Ik ben boos).
• Gemengde signalen: "Ik ben wel oké," terwijl er tranen in de ogen staan.
• Strategische beleefdheid: "Dat is zeker een benadering." (Bedoeling: Dat is een stom idee).
• Passieve agressie: "Nee, nee, ik doe het wel zelf. Opnieuw." (Bedoeling: Ik ben gefrustreerd dat jij het niet doet).
• Afleiden: "Overigens, wat een mooi weer vandaag!" (Bedoeling: Ik wil niet over dit ongemakkelijke onderwerp praten).

3. De Menselijke "Gouden Standaard"

Om te weten of de AI het goed doet, hebben ze eerst 15 studenten laten meedoen. Ze moesten de gevoelens van de spreker raden.

• Het verrassende resultaat: Zelfs mensen waren het niet altijd eens! Soms dacht de één: "Hij is boos", en de ander: "Hij is verdrietig".
• Waarom is dat goed? Dit toont aan dat de test echt moeilijk is. Het is geen simpele quiz met één goed antwoord. Het laat zien dat sociale communicatie vaak vaag en dubbelzinnig is.

4. Hoe presteert de AI?

De onderzoekers lieten zeven verschillende AI-modellen de test doen. Het resultaat? Ze zakten erdoor.

• Mensen hadden ongeveer 54% van de tijd gelijk (als ze met elkaar overeenkwamen).
• De beste AI had slechts 25% van de tijd gelijk.

Dit is alsof je een kind vraagt om een volwassene te begrijpen, en het kind raadt het maar een kwart van de keren goed. De AI's konden de "toets" niet doorgronden. Ze zagen de woorden, maar misten de onderliggende emotie en de sociale dynamiek (wie heeft macht over wie?).

5. Waarom is dit belangrijk?

Stel je voor dat een AI gebruikt wordt in de gezondheidszorg of in het werk.

• Goed gebruik: Een chatbot voor mentale gezondheid die merkt dat een patiënt zegt: "Ik ben wel oké," maar eigenlijk wanhopig is. Of een HR-tool die passieve agressie in e-mails herkent voordat er ruzie ontstaat.
• Slecht gebruik: Een baas die een AI gebruikt om te controleren of werknemers "te negatief" klinken in hun berichten, of politieke manipulatie waarbij AI's precies weten hoe ze mensen moeten prikkelen zonder dat ze het merken.

Conclusie

De CEI-benchmark is als een "rijbewijstest" voor sociale intelligentie. Tot nu toe hebben de meeste AI's deze test nog niet gehaald. Ze zijn nog te letterlijk en missen het vermogen om de ongeschreven regels van menselijke interactie te begrijpen.

De auteurs zeggen eigenlijk: "We hebben een spiegel opgehangen. De AI's kijken erin en zien dat ze nog veel moeten leren over wat het betekent om menselijk te zijn."

Dit onderzoek helpt ons niet alleen om betere AI te bouwen, maar ook om te begrijpen waar de grenzen liggen van machines in onze sociale wereld.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "CEI: A Benchmark for Evaluating Pragmatic Reasoning in Language Models" in het Nederlands.

Titel: CEI: Een Benchmark voor het Evalueren van Pragmatisch Redeneren in Taalmodellen

Publicatie: Journal of Data-centric Machine Learning Research (2026)
Auteurs: Jon Chun et al. (Kenyon College, USA)

---

1. Het Probleem

Grote Taalmodellen (LLMs) zijn uitstekend in het analyseren van letterlijke betekenis (semantiek), maar worstelen met pragmatisch redeneren: het infereren van de beoogde betekenis die afwijkt van wat er letterlijk wordt gezegd. In menselijke communicatie hangt de betekenis van een uitspraak sterk af van context, sociale rollen en machtsdynamieken (bijv. is "Natuurlijk, ik regel het dit weekend" oprecht of passief-agressief?).

Bestaande benchmarks richten zich vaak op specifieke fenomenen (zoals sarcasmedetectie) of missen de nuance van sociale context en machtsverhoudingen. Er is een gebrek aan datasets die LLMs testen op het vermogen om pragmatisch complexe uitspraken te ontcijferen over meerdere sociale contexten en communicatiestijlen heen, waarbij de emotionele intentie van de spreker centraal staat.

2. Methodologie: De CEI Benchmark

De auteurs introduceren de Contextual Emotional Inference (CEI) Benchmark, een dataset van 300 menselijk gevalideerde scenario's.

• Dataset-structuur: Elk scenario bestaat uit vier componenten:
  1. Context: 2-4 zinnen die de sociale situatie schetsen.
  2. Rol: Spreker en luisteraar met een expliciete machtsrelatie (gelijkgestelden, hoger→lager, lager→hoger).
  3. Uitspraak: Een pragmatisch ambigu gezegde.
  4. Annotatie-taak: Het infereren van de primaire emotie van de spreker.
• Pragmatische Subtypen: De dataset dekt vijf categorieën van indirecte spraak:
  1. Sarcasme/Ironie
  2. Gemengde signalen
  3. Strategische beleefdheid
  4. Passieve agressie
  5. Afleiding/Verwarring (Deflection)
• Annotatie-proces:
  • Annotators: 15 getrainde studenten (onderzoeksassistenten) labelden elk scenario onafhankelijk.
  • Labels: Per scenario werden drie types data verzameld:
    • Categorieel: Eén van de 8 basisemoties volgens Plutchik's wiel.
    • Dimensionaal: VAD-schalen (Valence, Arousal, Dominance) op een 7-puntsschaal.
    • Zelfvertrouwen: Een rating van het zelfvertrouwen van de annotator.
  • Kwaliteitscontrole: Een 4-traps pipeline (Schema-validatie, Statistische consistentie, Akkoord-analyse, Expert-adjudicatie) filterde fouten, maar behield menselijke meningsverschillen als waardevolle data.
• Menselijke prestatie: De inter-annotator overeenstemming is laag (Fleiss' κ = 0,06–0,25 per subtype), wat de auteurs interpreteren als een teken van de inherente moeilijkheid en subjectiviteit van pragmatisch redeneren, niet als slechte datakwaliteit. Mensen bereiken een meerderheidsovereenstemming van slechts 54%.

3. Belangrijkste Bijdragen

1. De CEI Dataset: Een dataset van 300 scenario's met drie onafhankelijke annotaties per item, gedekt over vijf pragmatische subtypen en drie machtsrelaties, inclusief zowel categorische als dimensionele emotielabels.
2. Kwaliteitscontrole-pipeline: Een herbruikbaar framework dat automatisch statistische checks combineert met expert-adjudicatie om hoge kwaliteit te garanderen, zelfs bij lage menselijke overeenstemming.
3. Standaardisatie van Evaluatie: Een protocol voor het evalueren van 7 LLMs (4 commercieel, 3 open-weight) in drie prompt-modi (zero-shot, Chain-of-Thought, few-shot), wat aantoont dat huidige modellen significant tekortschieten.

4. Resultaten

De evaluatie van zeven LLMs (waaronder GPT-5-mini, Llama-3.1-70B, Claude Sonnet 4.5) leverde de volgende bevindingen op:

• Lage Prestaties: De beste modellen behaalden slechts 25% nauwkeurigheid (exacte match), vergeleken met 54% menselijke meerderheidsovereenstemming. Dit is slechts ongeveer het dubbele van een willekeurige gok (12,5%).
• Prompting werkt niet: Chain-of-Thought (CoT) en few-shot prompting verbeterden de prestaties niet significant (respectievelijk 20,2% en 18,9% gemiddeld). Dit suggereert dat het probleem fundamenteel ligt in het gebrek aan pragmatisch competentie, niet in de prompt-structuur.
• Subtype-variatie:
  • Modellen presteerden het slechtst op sarcasme/ironie (15,2%), ondanks dat dit voor mensen het makkelijkste subtype is (hoogste menselijke overeenstemming).
  • Modellen presteerden relatief beter op strategische beleefdheid (25,5%).
  • Afleiding (Deflection) was het moeilijkst voor mensen (κ = 0,06), maar modellen presteerden hier gemiddeld (21,2%), wat aangeeft dat modellen en mensen verschillende fouten maken.
• Foutpatronen: Modellen neigen ertoe om bij onzekerheid te defaulten naar frequente negatieve emoties (woede, verdriet), terwijl menselijke onenigheid meer verspreid is over het emotiewiel.

5. Betekenis en Toekomstperspectief

De CEI benchmark blootst een kwalitatief gat in de huidige AI-capaciteiten. Het feit dat modellen worstelen met pragmatisch redeneren, zelfs met geavanceerde prompting, impliceert dat ze sociale nuance en machtsdynamieken niet echt "begrijpen", maar eerder oppervlakkige patronen volgen.

• Toepassingen: Verbeterde pragmatische inferentie is cruciaal voor toepassingen zoals mentale gezondheidszorg (het detecteren van nood in indirecte taal), toegankelijkheid (hulp bij autisme bij het interpreteren van sarcasme) en conflictbemiddeling.
• Risico's: Dezelfde capaciteiten kunnen worden misbruikt voor werkplek-surveillance, politieke manipulatie of het creëren van bedrieglijke chatbots die machtsdynamieken exploiteren.
• Toekomstig Onderzoek: De dataset ondersteunt onderzoek naar soft-label training, cross-culturele validatie (momenteel alleen Engels) en het analyseren van interne modelrepresentaties om te zien of pragmatische features wel worden gecodeerd, zelfs als de output fout is.

Conclusie: CEI is een diagnostisch instrument dat aantoont dat pragmatisch redeneren een van de grootste uitdagingen blijft voor taalmodellen, waarbij de menselijke onenigheid over de "juiste" betekenis een waardevolle eigenschap is in plaats van ruis.