💬 NLP

Social Meaning in Large Language Models: Structure, Magnitude, and Pragmatic Prompting

Deze studie toont aan dat grote taalmodellen de kwalitatieve structuur van menselijke sociale inferenties nabootsen maar vaak afwijken in de sterkte daarvan, waarbij prompt-strategieën gebaseerd op pragmatische theorie de kalibratie kunnen verbeteren, hoewel dit niet volledig oplost.

Oorspronkelijke auteurs: Roland Mühlenbernd

Gepubliceerd 2026-04-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Roland Mühlenbernd

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: Kunnen AI's echt "menselijk" denken? Een onderzoek naar sociale nuances en de "grootte" van hun oordeel.

Stel je voor dat je een robot hebt die zo slim is dat hij bijna alles begrijpt wat je zegt. Hij kan grappen maken, beleefdheid herkennen en zelfs inschatten of iemand slim of aardig is. Maar is deze robot echt menselijk in zijn oordelen, of doet hij er alleen maar een beetje op?

Dit is precies wat Roland Mühlenbernd onderzocht in zijn nieuwe paper. Hij kijkt naar de "grote taalmodellen" (zoals de slimme AI's die we vandaag de dag gebruiken) en stelt twee belangrijke vragen:

Begrijpen ze de richting? (Zeggen ze "ja" als wij "ja" zeggen, en "nee" als wij "nee" zeggen?)
Begrijpen ze de kracht? (Is hun "ja" even enthousiast als onze "ja", of zeggen ze het alsof ze een bom hebben laten ontploffen?)

Hier is de samenvatting, vertaald naar alledaags Nederlands met een paar handige metaforen.

1. De Proef: De "Fietsverzekering"

Om dit te testen, gebruikte de auteur een experiment met een simpele situatie: iemand die een fiets heeft gekocht.

Situatie A (Strakke context): Je doet een verzekeringsclaim. Je zegt: "De fiets kostte $500." (Precies).
Situatie B (Lekke context): Je praat met een vriendje. Je zegt: "De fiets kostte ongeveer $500." (Benaderend).

Mensen reageren hier heel subtiel op. Als je een verzekeraar iets onnauwkeurigs vertelt, vinden ze je minder betrouwbaar. Als je met een vriendje praat, vinden ze "ongeveer" juist aardig en niet pedant.

De AI's kregen deze situaties voorgelegd en moesten de persoon beoordelen op eigenschappen zoals "competent" of "vriendelijk".

2. Het Grote Ontdekking: De "Richting" is goed, de "Volume-knop" staat verkeerd

De resultaten waren verrassend en een beetje teleurstellend:

De Richting (Structuur): Alle AI's waren perfect. Ze wisten precies welke kant op ze moesten gaan. Als mensen vonden dat de precieze spreker beter was, vonden de AI's dat ook. Ze hadden de "sociale kaart" van de mens in hun hoofd.
De Kracht (Kalibratie): Hier ging het mis. De AI's waren vaak te extreem.
- Stel, mensen vinden de precieze spreker ietsje beter (een verschil van 0,5 punten op een schaal van 1 tot 7).
- De AI's vonden dat verschil soms 2 of 3 keer zo groot! Ze reageerden alsof het leven of dood was, terwijl het voor mensen maar een klein detail was.

De Metafoor:
Stel je voor dat je een thermostaat hebt die de temperatuur regelt.

De mens zegt: "Het is een beetje koud, zet hem op 20 graden."
De AI zegt: "Het is koud!" en zet de thermostaat direct op 10 graden, of juist op 30 graden.
De AI weet dat het koud is (de richting klopt), maar hij heeft geen gevoel voor hoe koud het precies is (de grootte klopt niet). Ze zijn als een drummer die het ritme perfect treft, maar de drums te hard of te zacht slaat.

3. De Oplossing: De "Prompt" (De instructie)

De auteur probeerde de AI's te helpen door hun instructies (prompts) te geven die gebaseerd waren op menselijke communicatietheorie. Hij dacht: "Als we de AI vertellen om na te denken over waarom iemand iets zegt, wordt hij dan menselijker?"

Hij gebruikte twee strategieën:

De "Alternatieven"-strategie: "Denk na over wat de persoon had kunnen zeggen."
De "Motieven"-strategie: "Denk na over wat de persoon weet en wat hij wil bereiken."

Wat bleek?

De "Motieven"-strategie werkte het beste. Als je de AI vroeg om na te denken over de kennis en bedoelingen van de spreker, werden hun oordelen veel menselijker. Ze kalmeerden hun extreme reacties.
De "Alternatieven"-strategie werkte soms averechts. Als je de AI alleen vroeg om na te denken over alternatieven, werden sommige AI's juist extremer. Ze begonnen te overdrijven in plaats van te kalibreren.
De "Combinatie" (Allebei): Dit was de enige manier die bij alle geteste AI's (GPT, Claude, Gemini) op zijn minst een beetje verbetering bracht. Maar zelfs dan waren ze niet perfect.

4. Waarom is dit belangrijk?

Deze studie laat zien dat AI's geweldige "imitatoren" zijn van de structuur van menselijk denken, maar nog niet van de nuance. Ze kunnen de regels van het spel leren, maar ze voelen de spanning van het spel niet echt.

Voor de wetenschap: We moeten stoppen met alleen te kijken of AI's het "goed" hebben (ja/nee). We moeten ook kijken of ze het "even goed" hebben als mensen. De auteur introduceerde hiervoor nieuwe meetinstrumenten (ESR en CDS) om deze "volume-knop" te meten.
Voor de toekomst: Als we AI's willen gebruiken om menselijk gedrag te simuleren (bijvoorbeeld in sociale studies), moeten we ze niet alleen vragen om te antwoorden, maar ze ook instructies geven om na te denken over de mens achter de woorden.

Conclusie in één zin

De AI's hebben de "sociale kompasnaald" van de mens in hun hoofd, maar hun "thermostaat" staat nog vaak op te hoog of te laag; door ze te vragen na te denken over de menselijke bedoelingen, kunnen we die thermostaat iets beter afstellen, maar we zijn nog niet helemaal thuis.

Probleemstelling

Grote Taalmodellen (LLMs) vertonen steeds meer menselijke patronen in pragmatisch en sociaal redeneren (bijv. het afleiden van implicaturen). Echter, de huidige evaluatiemethoden focussen voornamelijk op kwalitatieve overeenstemming: of een model de juiste richting van een inferentie kiest of alternatieven correct rangschikt.

Het paper identificeert een kritieke lacune: LLMs reproduceren vaak de richting van sociale inferenties correct, maar vertonen systematische afwijkingen in de grootte (magnitude) van deze effecten. Menselijke sociale evaluaties zijn van nature getransformeerd (graded), waarbij de sterkte van een eigenschap (bijv. competentie) afhangt van subtiele interacties tussen taalvorm en context. LLMs neigen echter tot het overdrijven of verzwakken van deze effecten (bijv. een factor 2-10 afwijking), wat leidt tot een dissociatie tussen structurele fideliteit en kalibratie. Bestaande evaluaties missen principes om deze grootte-afwijkingen kwantitatief te meten.

Methodologie

1. Experimenteel Ontwerp:
Het onderzoek baseert zich op een case study over numerieke (on)precisie, gebaseerd op experimenten van Solt et al. (2025).

Stimuli: Deelnemers (en modellen) beoordeelden sprekers op sociale eigenschappen (competentie, kennis, vriendelijkheid, etc.) op basis van zinnen die ofwel precies ($500) ofwel benaderend (ongeveer $500) waren.
Contexten: Twee scenario's met verschillende pragmatische eisen:
- Hoge precisie (HP): Een verzekeringsclaim (vereist exactheid).
- Lage precisie (LP): Een informeel gesprek met een vriend.
Doel: Het meten van hoe de sociale "kost" van onnauwkeurigheid varieert afhankelijk van de context.

2. Geëvalueerde Modellen:
Drie state-of-the-art LLMs via API:

GPT-4o-mini
Claude-sonnet-4-20250514
Gemini-2.5-pro

3. Prompting Strategieën (Interventies):
Om te testen of pragmatische theorie de kalibratie kan verbeteren, werden vier prompt-condities ontwikkeld:

Minimal (MIN): Baseline, identiek aan menselijke instructies.
Alternative-Aware (ALT): Moedigt expliciet redeneren over taalkundige alternatieven aan (Griceaanse principes).
Knowledge-and-Motives-Aware (KMA): Moedigt redeneren aan over de kennisstatus en communicatieve motieven van de spreker.
Combined (COM): Integreert zowel alternatieven als sprekerstoestanden/motieven.

4. Nieuwe Evaluatiemetrics:
Het paper introduceert twee nieuwe metrics om de dissociatie tussen structuur en grootte te operationaliseren:

Effect Size Ratio (ESR): Vergelijkt de grootte van het effect in het model ( $\Delta_M$ ) met die van mensen ( $\Delta_H$ ). Een ESR van 1 is perfect; >1 betekent overdrijving, <1 betekent verzwakking.
Calibration Deviation Score (CDS): Een samenvattende metric die de gemiddelde absolute afwijking van de ESR van 1 meet over alle significante effecten. Een lagere score betekent betere kalibratie.
Aanvullende metrics: Spearman $\rho$ (rangorde), CCC (overeenstemming), en RMSE (absolute afwijking).

Belangrijkste Bijdragen

Conceptuele Kader: Het onderscheid tussen structurele fideliteit (richting van inferenties) en magnitude kalibratie (sterkte van inferenties).
Nieuwe Metrics: Introductie van ESR en CDS als gestandaardiseerde tools om de kwantitatieve afwijkingen van LLMs in sociale inferenties te meten.
Pragmatische Prompting: Een empirisch geteste methode om LLM-gedrag te sturen door expliciete instructies te geven die gebaseerd zijn op pragmatische theorie (RSA-framework: Rational Speech Acts).

Resultaten

1. Universele Structuur, Variabele Kalibratie:

Alle modellen behaalden een perfecte structurele alignatie (DAS en ISS = 1.0). Ze herkenden correct welke richting de effecten opgingen (bijv. precieze taal wordt in HP-contexten positiever beoordeeld).
Er was echter een systematische mis-calibratie in de grootte van de effecten. De CCC-waarden lagen consistent lager dan de Spearman $\rho$ , wat bevestigt dat modellen de rangorde behouden maar de schaal vervormen.

2. Architectuur-afhankelijke Verschillen:

GPT: Toonde de beste algehele kalibratie (laagste CDS en RMSE), met effecten die dicht bij menselijke waarden lagen.
Claude: Toonde matige maar ongelijke mis-calibratie, sterk afhankelijk van de prompting.
Gemini: Toonde de ernstigste mis-calibratie, met systematische overdrevenheid (inflatie) van effecten, soms met een factor 2-3 ten opzichte van mensen.

3. Effect van Prompting:

KMA (Knowledge & Motives): Dit was de meest consistente interventie om overdrijving te verminderen. Voor zowel Claude als Gemini leidde KMA tot een significante daling van de CDS (bijv. Gemini daalde van 1.48 naar 0.85). Het richt de aandacht op epistemische onzekerheid, wat de neiging tot extreme oordelen dempt.
ALT (Alternatives): Had gemengde tot negatieve effecten. Bij Gemini verergerde het de overdrijving aanzienlijk. Het lijkt dat het expliciet benadrukken van alternatieven zonder de context van sprekerstoestanden, contrasteffecten versterkt in plaats van dempt.
Combined (COM): Was de enige conditie die alle kalibratie-gevoelige metrics verbeterde ten opzichte van de baseline voor alle modellen. Echter, voor modellen die tot overdrijving neigen (Gemini), presteerde COM slechter dan KMA alleen, wat suggereert dat de "Chain-of-Thought" exemplaren van ALT de instructies over onzekerheid kunnen verstoren.

Betekenis en Conclusie

Het paper concludeert dat LLMs de inferentiële structuur van menselijke sociale betekenis betrouwbaar hebben geleerd, maar de inferentiële sterkte variabel en vaak onnauwkeurig reproduceren.

Theoretische Implicatie: Menselijk pragmatisch redeneren vereist waarschijnlijk gelijktijdige verwerking van alternatieven én sprekerstoestanden (zoals voorgesteld in het RSA-framework). Het isoleren van deze componenten in prompts leidt niet tot lineaire verbetering.
Praktische Implicatie: Het gebruik van pragmatisch geïnformeerde prompting (vooral gericht op kennis en motieven) kan de kwantitatieve alignatie verbeteren, maar lost het probleem niet volledig op. De "grootte-kalibratie" blijft een uitdaging die mogelijk trainingsdoelstellingen vereist in plaats van alleen inference-time interventies.
Metodologische Implicatie: Toekomstige evaluaties van sociale redenering in AI moeten noodzakelijkerwijs onderscheid maken tussen of een model wel de juiste conclusie trekt en of het de sterkte van die conclusie correct inschat. De geïntroduceerde ESR en CDS metrics bieden hiervoor de nodige instrumenten.

Kortom, LLMs zijn uitstekende imitatoren van de richting van sociale oordelen, maar hun intensiteit is vaak vertekend, en pragmatische theorie biedt een nuttig, maar onvolledig, hulpmiddel om deze vertekening te corrigeren.