Focus particles and scalar inferences across humans and language models

Technische Samenvatting: Focuspartikels en Scalaire Inferenties bij Mensen en Taalmodellen

Probleem en Motivatie
De studie behandelt een centrale vraag in de cognitieve wetenschap en natuurlijke taalverwerking: hoe mensen en kunstmatige systemen gestructureerde betekenis interpreteren, specifiek met betrekking tot focusgevoelige partikels zoals zelfs (even) en alleen (only). Deze partikels modificeren de geïnferteerde betekenis van een zin door verwachtingen over alternatieven te introduceren (bijv. zelfs benadrukt alternatieven met een lage waarschijnlijkheid, terwijl alleen exclusiviteit introduceert) zonder de kern van de propositionele inhoud te veranderen.

Een belangrijk theoretisch debat betreft het mechanisme dat ten grondslag ligt aan scalaire oordelen die geassocieerd worden met deze partikels. Eén account stelt dat oordelen gebaseerd zijn op ruimtelijke codering, waarbij abstracte grootheden worden toegewezen aan ruimtelijke dimensies (bijv. links-rechts of boven-onder), wat impliceert dat de oriëntatie van de responschaal de oordelen systematisch zou moeten beïnvloeden (Dehaene et al., 1993). Een alternatief account, gebaseerd op het polariteitscorrespondentieprincipe, suggereert dat oordelen worden gedreven door evaluatieve en linguïstische structuren, wat betekent dat verschillen tussen partikels stabiel zouden blijven, ongeacht de ruimtelijke configuratie (Proctor & Cho, 2006).

Met recente bewijzen dat Large Language Models (LLM's) gestructureerde interne representaties van linguïstische informatie ontwikkelen (Kryvosheieva et al., 2025), onderzoeken de auteurs of LLM's menselijke patronen van scalaire oordelen vertonen. Cruciaal is dat, in tegenstelling tot mensen wiens ruimtelijke representaties gevormd worden door belichaamde interactie, transformer-gebaseerde modellen tokens simultaan verwerken via bidirectionele aandacht (Vaswani et al., 2017). Deze studie test of vergelijkbare scalaire oordelen voortkomen uit gedeelde representatieve principes of uit verschillende onderliggende mechanismen.

Methodologie
De onderzoekers voerden een vergelijkende studie uit met menselijke participanten en een LLM over vier configuraties van de responschaal.

• Stimuli: 60 zinnen die taken beschrijven die relevant zijn voor bekwaamheid (bijv. "Mike kan een taart bakken"). Dertig items bevatten het partikel zelfs en dertig bevatten alleen.
• Menselijke Participanten: $N = 108$ participanten voltooiden één van vier Qualtrics-studies.
• Experimentele Manipulaties: De ruimtelijke configuratie van de responschaal werd gemanipuleerd langs twee dimensies:
  1. Ruimtelijk Formaat: Horizontaal versus Verticaal.
  2. Label Mapping: Standaard (lage bekwaamheid links/onder, hoge rechts/boven) versus Omgekeerd (labels omgedraaid).
     Dit resulteerde in vier condities: horizontaal-standaard, horizontaal-omgekeerd, verticaal-standaard en verticaal-omgekeerd.
• Procedure: Participanten beoordeelden de bekwaamheid van het individu in de zin op een 5-punts Likert-schaal.
• LLM Dataverzameling: Data werd verzameld met behulp van Llama 3.3 70B via de Groq API. Elke stimulus werd gepresenteerd in een prompt die de structuur van de menselijke enquête weerspiegelde. Het model kreeg de instructie om een enkel integer (1–5) te produceren. Om te samplen uit de responsdistributie van het model, werd elke prompt 20 keer uitgevoerd met een temperatuur van 1.0, wat resulteerde in 4.800 observaties (60 zinnen $\times$ 4 condities $\times$ 20 samples).

Resultaten
Beoordelingen werden geanalyseerd met een lineair mixed-effects model met Particle, Source (Mens vs. LLM), Format en Mapping als vaste effecten.

• Partikel-effecten: Er werd een significant hoofdeffect van Particle gevonden ($\beta= 2.20, p < .001$). Zowel mensen als de LLM gaven lagere scores aan zelfs-zinnen en hogere scores aan alleen-zinnen.
• Verschillen in Bron: Er werd een significante Particle $\times$ Source interactie gevonden ($\beta= 1.38, p < .001$), die aantoonde dat de LLM extremere oordelen produceerde.
  • Mensen: Gemiddelden waren 2.07 voor zelfs en 4.31 voor alleen (Verschil: 2.20).
  • LLM: Gemiddelden waren 1.41 voor zelfs en 5.00 voor alleen (Verschil: 3.58).
  • Opvallend genoeg gaf de LLM voor alleen-zinnen in 100% van de observaties de maximale score (5) toe, ongeacht de conditie.
• Ruimtelijke Effecten: Het veranderen van de oriëntatie of de label mapping van de responschaal elimineerde of draaide het patroon van oordelen niet om voor geen van beide groepen. Dit suggereert dat scalaire oordelen worden gedreven door semantische en evaluatieve inhoud in plaats van de ruimtelijke ordening.
• Variabiliteit: De LLM vertoonde aanzienlijk minder responsvariabiliteit dan mensen. Zelfs met een sampling temperatuur van 1.0 produceerde herhaaldelijk samplen zeer consistente reacties. Een vervolgonderzoek met een temperatuur-sweep (0.0 tot 2.0) bevestigde dat de reacties van het model stabiel bleven, wat aangeeft dat het verhogen van de temperatuur alleen onvoldoende was om menselijke variabiliteit te genereren.

Belangrijkste Bijdragen

1. Mechanisme van Scalaire Oordeelsvorming: De studie levert empirische steun voor een evaluatief account van scalaire oordelen boven een ruimtelijk coderingsaccount. De stabiliteit van oordelen over ruimtelijke configuraties heen suggereert dat de semantische structuur van zelfs en alleen de interpretatie sterker stuurt dan de ruimtelijke organisatie van de responsopties.
2. LLM vs. Menselijke Cognitie: Het artikel toont aan dat hoewel LLM's in staat zijn om geaggregeerde menselijke gedragspatronen te reproduceren (kwalitatieve trends), ze significant afwijken in responsvariabiliteit. De neiging van de LLM naar categorische, extreme oordelen contrasteert met de gegradeerde, variabele reacties van mensen.
3. Beperkingen van Sampling: De bevindingen dagen de aanname uit dat herhaaldelijk samplen bij hoge temperaturen menselijke individuele verschillen kan simuleren. De auteurs stellen dat variabiliteit tussen modelruns reflectie is van ruis rond een vast oordeel, terwijl menselijke variabiliteit een reflectie is van werkelijke individuele verschillen in interpretatie.

Betekenis en Claims
De auteurs concluderen dat het gebrek aan responsvariabiliteit in de LLM vragen oproept over de geschiktheid van huidige LLM's als modellen van menselijke cognitie, gezien het feit dat individuele verschillen een definiërend kenmerk zijn van menselijk gedrag. Het artikel sluit aan bij recente bevindingen (Qiu et al., 2025; Rodriguez et al., 2026) dat hedendaagse LLM's er niet in slagen de breedte van de variabiliteit te reproduceren die in menselijke populaties wordt waargenomen, zelfs wanneer de gemiddelde taakprestatie goed overeenkomt. De studie suggereert bescheiden dat hoewel LLM's de structurele logica van scalaire inferenties vatten, ze de stochastische aard van menselijke oordeelsvorming nog niet modelleren.