💬 NLP

Evaluating Communicative Belief Updates in Large Language Models via Implicature Recognition and Cancellation

Dit artikel introduceert de eerste door experts geannoteerde dataset voor implicatuur-annulering om het vermogen van grote taalmodellen om niet-uitgesproken overtuigingen te herkennen en bij te werken te evalueren, wat onthult dat huidige LLM's achterblijven bij menselijke prestaties in deze pragmatische redeneertaken.

Oorspronkelijke auteurs: Cesare Spinoso-Di Piano, Verna Dankers, Marius Mosbach, Jackie Chi Kit Cheung

Gepubliceerd 2026-07-29

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Cesare Spinoso-Di Piano, Verna Dankers, Marius Mosbach, Jackie Chi Kit Cheung

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een spelletje charades speelt, maar in plaats van woorden uit te beelden, voer je een gesprek waarbij de belangrijkste onderdelen de dingen zijn die je niet zegt. In de wereld van de menselijke taal onderhandelen we voortdurend over een gedeelde realiteit, een "common ground" waar we het beiden over eens zijn wat waar is. Dat doen we niet alleen door feiten te benoemen, maar door hints te geven, of implicaturen. Als ik zeg: "Sommige van de koekjes zijn op," dan hint ik (zonder het direct te zeggen) dat niet alle koekjes op zijn. Je begrijpt dit onmiddellijk omdat je brein een meester is in het lezen tussen de regels door. Maar soms kan ik van gedachten veranderen en zeggen: "Eigenlijk denk ik dat ze allemaal op zijn." Dat wordt cancellation genoemd, waarbij ik de hint die ik net gaf, weer intrek. Dit vermogen om onze gedeelde overtuigingen onmiddellijk bij te stellen op basis van subtiele, onuitgesproken signalen, is de lijm die de menselijke conversatie bij elkaar houdt.

Stel je nu voor dat je een superintelligente robot leert om dit spelletje te spelen. We hebben enorme AI-modellen gebouwd, genaamd Large Language Models (LLM's), die poëzie kunnen schrijven, wiskundige problemen kunnen oplossen en kunnen chatten als mensen. Maar begrijpen zij werkelijk de onzichtbare dans van hints en intrekkingen? Begrijpen ze het wanneer een gesprek verschuift, of gokken ze alleen maar op basis van wat ze eerder hebben gezien? Dit is de grote vraag die onderzoekers zich stellen. Als AI deze kleine, onuitgesproken updates niet kan verwerken, zal het moeite hebben om een echte, vloeiende conversatie met ons te voeren, waarbij het vaak de kern mist of in de war raakt wanneer we van gedachten veranderen.

In dit artikel besloten de onderzoekers de AI-modellen op de proef te stellen. Ze creëerden een gloednieuwe speeltuin genaamd IMPLICATUREX, een dataset van 271 zorgvuldig vervaardigde gesprekssnippets. Denk aan een reeks mini-films waarin een personage een hint geeft, en die vervolgens onmiddellijk weer intrekt. Ze vroegen zowel menselijke vrijwilligers als diverse AI-modellen om deze clips te bekijken en antwoord te geven op: "Vond de hint plaats? Werkte de intrekking? Veranderde de overtuiging van het personage?"

De resultaten waren een beetje een reality check voor de AI. Hoewel de slimste AI-modellen verrassend goed waren in het herkennen van eenvoudige, tekstboekachtige hints (zoals het "sommige versus alle" koekjesvoorbeeld), struikelden ze hard wanneer het gesprek rommelig en echt werd. Wanneer de hints voortkwamen uit natuurlijke, alledaagse gesprekken — zoals twee vrienden die praten over een feestje of een hobby — faalden de AI-modellen vaak in het begrijpen van de hint zelf, of ze misten de intrekking volledig. Sterker nog, in de meest natuurlijke scenario's was de prestatie van de AI nauwelijks beter dan willekeurig gokken.

De onderzoekers voerden ook een sluipmoordenaar-experiment uit om erachter te komen waarom de AI moeite had. Ze ontdekten dat wanneer de AI een hint goed begreep, dit niet altijd kwam doordat het de conversatie begreep; soms vertrouwde het simpelweg op een "voorafgaande overtuiging" (prior belief), zoals een student die het antwoordmodel uit het hoofd heeft geleerd zonder de vraag te lezen. Bijvoorbeeld, als de AI het woord "sommige" zag, nam het automatisch aan "niet alle" zonder naar de rest van de zin te luisteren. Bovendien, wanneer de AI werd gevraagd om zijn overtuigingen bij te stellen na een intrekking, was het veel beter in het vasthouden aan zijn oorspronkelijke gok dan in het veranderen van gedachten. Het is alsojd de AI koppig is en de voorkeur geeft aan het negeren van de nieuwe informatie boven de mentale gymnastiek die nodig is om zijn begrip bij te stellen.

Uiteindelijk suggereert de studie dat hoewel onze AI-modellen steeds beter worden in het nabootsen van menselijke spraak, ze de kunst van het menselijk denken in een gesprek nog niet echt beheersen. Ze kunnen het script volgen, maar ze blijven achter bij ons als het gaat om de onuitgesproken, verschuivende overtuigingen die echte communicatie mogelijk maken. Het artikel beweert niet dat de AI kapot is, maar het suggereert dat totdat deze modellen de nuance van het annuleren van een hint in een natuurlijke chat kunnen hanteren, ze nog niet klaar zijn om echte gesprekspartners te zijn.

Technische Samenvatting: Evaluatie van Communicatieve Geloofsoverdrachten in Large Language Models via Implicatuurherkenning en -annulering

Probleemstelling

Menselijke communicatie steunt zwaar op de onderhandeling van onuitgesproken overtuigingen en hun dynamische updates binnen een "common ground" (gemeenschappelijke grondslag). Deze updates vinden vaak impliciet plaats via implicaturen (geïmpliceerde betekenissen) en implicatuurannuleringen (het verzwakken of ontkennen van die geïmpliceerde betekenissen). Hoewel Large Language Models (LLM's) vaardigheid hebben getoond in wereldkennis en logisch redeneren, blijft hun vermogen om deze subtiele, pragmatische geloofsoverdrachten in een communicatieve context te beheren onderbelicht. Specifiek is het onduidelijk of LLM's onuitgesproken overtuigingen kunnen herkennen die worden getriggerd door implicaturen en vervolgens die overtuigingen kunnen bijwerken of annuleren wanneer ze worden geconfronteerd met tegenstrijdige informatie, een fundamentele vereiste voor succesvolle mens-AI-interactie.

Methodologie

Dataset Constructie: IMPLICATUREX

Om het gebrek aan evaluatiedata aan te pakken, hebben de auteurs IMPLICATUREX geconstrueerd, de eerste door experts geannoteerde dataset van implicatuurannuleringen. De dataset bestaat uit 271 items gecategoriseerd in drie typen:

Scalaire Implicaturen (46 items): Afgeleid van het Switchboard Corpus, gericht op de pragmatische relatie tussen termen zoals "sommige" en "alle" (bijv. "Sommige plaatsen pakken ze aan voor belasting" wat impliceert "Niet alle...").
Discursieve Implicaturen (31 items): Geëxtraheerd uit Wall Street Journal-artikelen met behulp van impliciete causale discursieve relaties uit de Penn Discourse Tree Bank (PDTB).
Conversationele Implicaturen (194 items):
- Synthetisch (144 items): Tweeledige dialogen geconstrueerd uit bestaande datasets waarbij een triggerende uiting een overtuiging introduceert en een annulerende uiting deze ontkent.
- Natuurlijk voorkomend (50 items): Werkelijke uitwisselingen uit het Switchboard Corpus waar annuleringen natuurlijk binnen de dialoog voorkomen.

Annotatieproces:

Expert-annotatie: Twee professioneel getrainde taalkundigen annoteerden de items op de plausibiliteit van de implicatuur en de correctheid van de annulering. Items met een lage overeenstemming of implausibele interpretaties werden vervangen of verwijderd, wat resulteerde in de definitieve set van 271 items.
Crowdsourcing: 90 deelnemers gaven waarschijnlijkheidsbeoordelingen op een 7-punts Likert-schaal voor elk item (zowel met als zonder de annulerende uiting) om een menselijke baseline voor de nauwkeurigheid van de geloofsoverdracht vast te stellen.

Experimentele Opzet

De studie evalueerde LLM's op drie specifieke taken met behulp van een multiple-choice prompt-template om de waarschijnlijkheid van een overtuiging $b$ te schatten gegeven een context $c$ en een uitingsequentie $u$ :

Implicatuurherkenning: Bepalen of het model de geïmpliceerde overtuiging bevoordeelt boven de ontkenning ervan na de triggerende uiting.
Annuleringsherkenning: Bepalen of het model de waarschijnlijkheid van de overtuiging verlaagt na het observeren van de annulerende uiting.
Geloofsoverdracht (Belief Update): Een gezamenlijke taak die vereist dat het model eerst de implicatuur herkent en vervolgens succesvol die overtuiging bijwerkt (annuleert).

Geëvalueerde Modellen:
De studie testte een reeks open-weight modellen (Gemma 3, Llama 3.1/3.2/3.3, Qwen 2.5/3) en closed-source modellen (GPT-5.2/5.4), inclus_ief varianten met en zonder "redeneer"-capaciteiten.

Controlexperimenten:

Prior Common Ground: Mat de prestaties van het model zonder de triggerende uiting om de afhankelijkheid van voorafgaande biases te isoleren.
Vormcontrole (IMPLICATURE⊥): Verving natuurlijke annuleringen door expliciete ontkenningen (bijv. "Ik zeg niet X") om te testen of falen voortkomt uit pragmatisch redeneren of de interpretatie van ontkenning.
Update Type Controle: Testte de reacties van modellen op versterkende uitingen ( $u^+$ ) en onveranderende uitingen ( $u^\approx$ ) om te zien of modellen specif eigenlijk moeite hebben met het veranderen van overtuigingen versus het behouden ervan.

Belangrijkste Resultaten

1. Implicatuurherkenning

Scalaire en Discursieve Implicaturen: Topmodellen (bijv. Gemma 3 27B, Llama 3.3 70B) kwamen overeen met of overtroffen zelfs de menselijke prestaties (nauwkeurigheid ~0.90–1.0).
Conversationele Implicaturen: Modellen hadden aanzienlijke problemen, vooral met natuurlijk voorkomende voorbeelden. Het beste model (GPT-5.4 Thinking) behaalde 0.81 op synthetische voorbeelden maar slechts 0.60 op natuurlijk voorkomende voorbeelden. Veel modellen presteerden slechter dan een willekeurige gok op natuurlijk voorkomende conversationele implicaturen.
Prior Bias: Controlexperimenten toonden aan dat modellen vaak sterke priors bezitten voor bepaalde implicaturen (bijv. "sommige" impliceert "niet alle") zelfs zonder de context te zien, wat suggereert dat hoge herkenningsscores eerder reflecties zijn van gememoriseerde patronen dan van werkelijk pragmatisch redeneren.

2. Annuleringsherkenning

Modellen presteerden over het algemeen dichter bij het menselijke niveau op annuleringherkenning voor scalaire en discursieve implicaturen.
Echter, de prestaties daalden aanzienlijk voor natuurlijk voorkomende conversationele annuleringen. Het beste model (Qwen 3 32B Thinking) behaalde een nauwkeurigheid van 0.84 vergeleken met menselijke 0.92.
Expliciete Ontkenning: Zelfs wanneer annuleringen expliciet werden gemaakt (bijv. "Ik zeg niet X"), bereikten modellen geen perfecte nauwkeurigheid, wat aangeeft dat de problemen verder gaan dan eenvoudige ontkenninginterpretatie naar bredere pragmatische competentie.

3. Geloofsoverdracht (Belief Updates)

Complexiteit van de Gezamenlijke Taak: Wanneer zowel herkenning als annulering werd vereist, daalde de prestatie van de modellen scherp. Voor natuurlijk voorkomende conversationele implicaturen bereikte het beste model slechts 0.40 nauwkeurigheid in geloofsoverdracht, vergeleken met 0.72 voor mensen.
Behoud versus Verandering: Modellen vertoonden een sterke bias naar het behouden van bestaande overtuigingen. Ze presteerden goed wanneer ze werden geconfronteerd met irrelevante vervolguitingen (onveranderend), maar hadden grote moeite wanneer ze vereist werden om overtuigingen te updaten (annuleren) of te versterken. Bijvoorbeeld, GPT-5.4 behield overtuigingen met 0.96 nauwkeurigheid op natuurlijk voorkomende voorbeelden, maar daalde naar 0.32 wanneer gevraagd werd deze te updaten.

Betekenis en Claims

Het artikel claimt dat huidige LLM's nog niet het menselijke niveau van begrip hebben bereikt van onuitgesproken overtuigingen en de dynamische geloofsoverdrachten die inherent zijn aan menselijke communicatie.

Kloof in Pragmatisch Redeneren: Terwijl modellen uitblinken in statische kennisretrieval en logische deductie, lopen ze achter op het gebied van de "onderhandeling" van betekenis. Ze hebben moeite met het updaten van overtuigingen in realistische, natuurlijk voorkomende scenario's, waarbij ze vaak vertrouwen op voorafgaande biases in plaats van contextuele bewijzen.
Beperkingen van Huidige Architecturen: Het onvermogen om implicaturen consistent te annuleren, zelfs wanneer ze expliciet worden ontkend, suggereert dat LLM's mogelijk niet beschikken over een robuust mechanisme voor het herzien van de common ground. Ze lijken beter in staat om een staat van overtuiging te behouden dan om deze te herzien.
Bijdrage van de Dataset: De introductie van IMPLICATUREX biedt een noodzakelijke benchmark voor het evalueren van de "communicatieve competentie" van LLM's voorbij standaard NLP-taken, en benadrukt een kritiek gebied waar huidige modellen tekortschieten ten opzichte van menselijke interactiestandaarden.

De auteurs concluderen dat hoewel LLM's veelbelovend zijn in het herkennen van eenvoudige pragmatische inferenties, hun vermogen om de vloeiende, onuitgesproken onderhandelingen van overtuigingen te beheren die nodig zijn voor succesvolle mens-AI-dialoog, beperkt blijft.