Evaluating Pragmatic Reasoning in Large Language Models: Evidence from Scalar Diversity

Technische Samenvatting: Evaluatie van Pragmatisch Redeneren in Groot Taalmodellen: Bewijs uit Scalar Diversiteit

Probleemstelling
Het evalueren van pragmatisch redeneren in Groot Taalmodellen (LLMs) blijft een aanzienlijke uitdaging vanwege de variabiliteit van modelgedrag over verschillende evaluatiemethoden. Eerdere onderzoek suggereert een divergentie tussen oordelen gebaseerd op prompts en de interne waarschijnlijkheidsverdelingen van een model, wat de vraag oproept of waargenomen pragmatische competentie onderliggende taalkennis weerspiegelt of slechts een artefact is van taak-geïnduceerd gedrag. Hoewel scalair implicatuur (de inferentie dat een zwakker term, bijvoorbeeld "sommige", de ontkenning impliceert van een sterker alternatief, bijvoorbeeld "niet alle") een standaard diagnostiek is voor pragmatisch vermogen, vertrouwen eerdere studies vaak op enkele scalaire paren of enkele evaluatieparadigma's. Deze studie adresseert de noodzaak om evaluatiemethoden systematisch te vergelijken om te bepalen of LLMs stabiele pragmatische competentie bezitten of of hun prestaties afhankelijk zijn van specifieke prompting- en taakstructuren.

Methodologie
De studie hanteert het competentie–prestatie-kader (Chomsky, 1965), dat onderscheid maakt tussen geïnternaliseerde kennis (competentie) en taalgebruik onder specifieke omstandigheden (prestatie). Het maakt gebruik van scalar diversiteit—het fenomeen waarbij de sterkte van scalair implicatuur varieert over verschillende lexische schalen (bijvoorbeeld <sommige, alle> versus <warm, heet>)—als een gefaseerd diagnostisch instrument.

• Modellen: De studie evalueert twee verschillende model-families om architecturale effecten te vergelijken:
  • Flan-T5: Een instructie-geoptimaliseerde encoder-decoder-familie (Small, Base, Large).
  • Qwen2: Een decoder-only instructie-geoptimaliseerde familie (0.5B, 1.5B, 7B parameters).
• Materialen: De dataset is aangepast van Ronai en Xiang (2024) en uitgebreid met GPT-4o om 60 lexische scalaire paren te bevatten, resulterend in 6.000 distincte items. Elk item bestaat uit een ankerzin en twee kandidaat-interpretaties: een "Ja-doel" (pragmatische inferentie) en een "Nee-doel" (logische interpretatie).
• Evaluatieparadigma's: Twee primaire methoden werden vergeleken:
  1. Directe Waarschijnlijkheidsmeting: Het berekenen van conditionele kansen $P(\text{kandidaat} | \text{anker})$ om de interne voorkeur van het model te bepalen zonder expliciete instructie.
  2. Metalinguïstische Prompting: Drie prompt-variaties (MetaSimple, MetaInstruct, MetaComplex) waarbij het model expliciet wordt gevraagd om de geldige inferentie te beoordelen of te selecteren.
• Experimentele Voorwaarden:
  • Experiment A (Zinsbeoordeling): Het model evalueert een enkele kandidaat-zin tegen het anker (Ja/Nee).
  • Experiment B (Zinsvergelijking): Het model kiest gelijktijdig tussen twee kandidaat-zinnen.

Belangrijkste Resultaten
De resultaten geven aan dat geen enkele evaluatiemethode consistent beter presteert dan de andere, en dat pragmatisch gedrag sterk gevoelig is voor modelarchitectuur, grootte en taakstructuur.

• Divergentie van Methoden: Directe waarschijnlijkheidsmetingen en metalinguïstische prompting produceerden slechts zwak gecorreleerde resultaten ($r \approx .10 - .25$). In veel gevallen waren correlaties dicht bij nul of negatief, wat suggereert dat de twee methoden fundamenteel verschillende aspecten van modelgedrag vangen.
• Verschillen in Nauwkeurigheid:
  • Qwen-modellen: Vertoonden een gepolariseerd patroon. Directe waarschijnlijkheidsschattingen waren consequent zeer laag, terwijl metalinguïstische prompting extreem hoge nauwkeurigheid opleverde (vaak dicht bij het plafond in Experiment B).
  • Flan-T5-modellen: Toonden meer gematigde patronen, waarbij directe waarschijnlijkheidsschattingen relatief hoger bleven en soms specifieke metalinguïstische prompts overtroffen.
• Gradiënten van Scalar Diversiteit: De studie analyseerde nauwkeurigheid op item-niveau om gradiënten over de 60 scalaire paren te detecteren.
  • Flan-T5: Toonde over het algemeen duidelijkere gradiënten (hellingwaarden tussen -1 en -2) onder metalinguïstische prompting, vooral bij grotere modellen, wat wijst op gevoeligheid voor de variërende sterkte van implicaturen.
  • Qwen: Toonde inconsistente patronen. Hoewel sommige voorwaarden in Experiment A sterke gradiënten vertoonden, produceerden veel voorwaarden in Experiment B bijna vlakke curves (helling $\approx 0$), wat suggereert dat het model uniforme interpretaties toekende ongeacht de scalar sterkte.
• Taakstructuur: Experiment B (vergelijkingsgebaseerd) leverde consequent hogere nauwkeurigheid op dan Experiment A (enkele beoordeling) over bijna alle modellen, wat suggereert dat vergelijkende taken sterkere aanwijzingen bieden voor pragmatische verrijking.
• Schalingseffecten: Schalingseffecten waren niet uniform. Flan-T5 toonde een positieve trend waarbij grotere modellen beter presteerden. Qwen-modellen toonden geen consistente schalingstrend; grotere modellen presteerden niet systematisch beter dan kleinere en presteerden soms slechter.

Belangrijkste Bijdragen

1. Systematische Vergelijking: De studie biedt een directe vergelijking van directe waarschijnlijkheid en metalinguïstische prompting binnen dezelfde modellen voor pragmatisch redeneren, en breidt het competentie–prestatie-kader uit tot buiten lokale taalfenomenen.
2. Scalar Diversiteit als Diagnostiek: Door gebruik te maken van een breed scala aan scalaire paren in plaats van één paar (bijvoorbeeld <sommige, alle>), biedt de studie een fijnmazigere beoordeling van pragmatische competentie, wat aantoont dat modellen de gefaseerde aard van scalair implicatuur niet uniform vangen.
3. Architecturale en Taakgevoeligheid: De bevindingen benadrukken dat pragmatisch redeneren in LLMs geen stabiele, monolithische capaciteit is, maar een interactie tussen interne probabilistische representaties en externe taakkadering.

Betekenis en Aanspraken
Het artikel concludeert dat pragmatisch redeneren in LLMs niet kan worden toegeschreven aan één enkel evaluatieparadigma. Noch directe waarschijnlijkheidsmeting, noch metalinguïstische prompting vangen consistent de "ware" pragmatische competentie van een model. In plaats daarvan weerspiegelt waargenomen pragmatisch gedrag een interactie tussen interne probabilistische representaties en prompt-geïnduceerde reacties.

De auteurs betogen dat de aanwezigheid of afwezigheid van gradiënten van scalar diversiteit sterk afhankelijk is van de specifieke combinatie van modelarchitectuur, prompting-strategie en experimenteel ontwerp. Bijgevolg vereist het interpreteren van de pragmatische vaardigheden van LLMs zorgvuldige overweging van het evaluatieontwerp, aangezien een model competent kan lijken onder één voorwaarde (bijvoorbeeld specifieke prompts) terwijl het de onderliggende gevoeligheid voor scalar diversiteit mist in een andere (bijvoorbeeld directe waarschijnlijkheid). Dit daagt het idee uit van één enkele, stabiele maatstaf voor pragmatische competentie in LLMs.