Presupposition and Reasoning in Conditionals: A Theory-Based Study of Humans and LLMs

Technische Samenvatting: Presuppositie en Redenering in Conditionals: Een Theorie-gebaseerde Studie van Mensen en LLM's

Probleemstelling
Het artikel adresseert een kritieke lacune in de evaluatie van Large Language Models (LLM's) met betrekking tot hun pragmatische competentie, specifiek op het gebied van presuppositieprojectie binnen conditionele zinnen. Hoewel theorieën over betekenis en pragmatica al lang de "proviso-problematiek" debatteren—hoe presupposities die worden getriggerd in het consequens van een conditional (bijvoorbeeld: "Als John een duiker is, zal hij zijn wetsuit meenemen") worden geïnterpreteerd als ofwel onvoorwaardelijk ofwel voorwaardelijk afhankelijk van het antecedens—blijft dit fenomeen grotendeels ongeëvalueerd bij LLM's. Bestaande benchmarks vertrouwen vaak op eenvoudige entailment-redenering of classificatietaken die de complexe interactie tussen semantiek, discourscontext, probabilistische redenering en wereldkennis niet vatten die nodig is om deze projecties op te lossen. De auteurs betogen dat huidige evaluaties niet voldoende onderscheid maken tussen modellen die pragmatische beperkingen werkelijk begrijpen en die welke vertrouwen op oppervlakkige patroonmatching.

Methodologie
De studie hanteert een parallelle behaviorale opzet die menselijke oordelen vergelijkt met vier LLM's (GPT-5, Gemini-2.5-flash, Llama-3.1-8B-Instruct en Qwen2.5-7B-Instruct) met behulp van een genormeerde dataset van 90 conditionele zinnen.

1. Dataconstructie: De auteurs construeerden een dataset gebaseerd op 30 basisproposities (bijvoorbeeld: een wetsuit hebben, een zus hebben) die werden geïnstancierd in drie varianten die de logische en probabilistische relatie tussen het antecedens ($A$) en de presuppositie ($p$) manipuleerden. Een normeringsstudie met 30 moedertaalsprekers van het Engels vestigde gestructureerde niveaus van $A$-$p$ relevantie (hoog, midden, laag) en propositieswaarschijnlijkheid.
2. Experimentele Condities: Zowel mensen ($N=120$) als LLM's beoordeelden de waarschijnlijkheid dat de presuppositie waar was op een 0–7 Likert-schaal onder twee condities:
   • Zonder Context: Minimale framing.
   • Met Context: Toegevoegde identificerende achtergrondinformatie (bijvoorbeeld: "De persoon komt uit Toronto") om te testen hoe minimale context de betrouwbareheid van bewijs en relevantieredenering moduleert.
3. LLM-as-a-Judge Framework: Om voorbij te gaan aan nauwkeurigheidsmetrieken, ontwikkelden de auteurs een theorie-informeerde checklist die is geworteld in formele semantiek (bijvoorbeeld Dynamische Semantiek, Griceaanse Pragmatica, Accommodatietheorie). Een judge-model (Claude-haiku-4) evalueerde de Chain-of-Thought (CoT) redeneersporen van de doelmodellen tegen 52–59 binaire criteria die dimensies bestrijken zoals Nauwkeurigheid, Contextintegratie, Pragmatische Criteria, Presuppositiebehandeling en Coherentie.
4. Validatie: Een subset van de evaluaties van de judge werd gevalideerd door menselijke taalkundige experts, waarbij 89% inter-annotator overeenstemming en 79,46% overeenstemming met het judge-model werd bereikt.

Belangrijkste Resultaten

• Menselijk Gedrag: Menselijke oordelen integreren probabilistische en pragmatische cues niet-additief. Wanneer het antecedens irrelevant is voor de presuppositie, vertrouwen mensen sterk op de voorafgaande waarschijnlijkheid (wereldkennis). Echter, zelfs gedeeltelijke relevantie fungeert als een drempel die de waarschijnlijkheidsbeoordelingen significant verhoogt, wat wijst op een gevoeligheid voor relevantie die in specifieke contexten de basisraten overstemt. Contextuele informatie verfijnde deze integratie, wat leidde tot meer gestructureerde onderscheidingen tussen relevantieniveaus.
• Mens-LLM Alignering: LLM's vertoonden variabele alignering met menselijke patronen.
  • Qwen2.5-7B-IT en Llama-3.1-8B-Instruct vertoonden de sterkste correlatie met menselijke Likert-beoordelingen (Spearman $\rho \approx 0,30\text{--}0,38$) en de laagste Mean Absolute Error (MAE).
  • GPT-5 en Gemini-2.5-flash vertoonden zwakkere of inconsistente alignering, waarbij GPT-5 geen significante correlatie liet zien in enige conditie.
• Redenering versus Prestatie (De Dissociatie): Een cruciale bevinding is de dissociatie tussen behaviorale alignering en kwaliteit van redenering.
  • Modellen met de hoogste behaviorale alignering met mensen (bijvoorbeeld Qwen2.5-7B-IT) vertoonden vaak de laagste conformiteit met de theorie-informeerde checklist. Hun redenering leunde vaak op oppervlakkige lexische associaties in plaats van formele pragmatische beperkingen.
  • Omgekeerd genereerden grotere, propriëtaire modellen (GPT-5, Gemini) redeneersporen die consistenter waren met theoretische verwachtingen (hogere checklist-scores), maar produceerden uiteindelijke waarschijnlijkheidsbeoordelingen die significant afweken van menselijke patronen.
• Contexteffecten: Het verstrekken van minimale context verbeterde over het algemeen de checklist-conformiteit voor kleinere modellen, maar introduceerde voor sommige "redeneerruis", wat leidde tot verminderde coherentie in hun verklaringen.

Belangrijkste Bijdragen

1. Theorie-gedreven Benchmark: Het artikel introduceert een gecontroleerde dataset en experimentele opzet die specifiek gericht is op de proviso-problematiek in conditionals, waardoor een gat wordt gedicht in bestaande NLI- en presuppositie-benchmarks die vaak pragmatische diepgang missen.
2. LLM-as-a-Judge voor Pragmatica: Het stelt een checklist-gebaseerd evaluatiekader voor en valideert dit dat pragmatische competentie decomposeert in interpreteerbare, theorie-gegronde criteria, waardoor een genuanceerder beeld van modelredenering wordt geboden dan nauwkeurigheidscores alleen.
3. Empirisch Bewijs van Competentielacunes: De studie levert empirisch bewijs dat hoge behaviorale alignering bij LLM's het gevolg kan zijn van probabilistische patroonmatching op trainingsdata in plaats van stabiele pragmatische competentie, zoals blijkt uit het gebrek aan samenhang tussen mensachtige beoordelingen en theorie-consistente redenering.

Betekenis en Claims
De auteurs claimen dat hun bevindingen de beperkingen van huidige LLM's bij het hanteren van complexe pragmatische fenomenen benadrukken. Het artikel betoogt dat prestaties op taken zoals presuppositieprojectie "oppervlakkige patroonmatching" kunnen weerspiegelen in plaats van oprechte pragmatisch begrip. Door aan te tonen dat modellen die menselijke oordelen het beste nabootsen vaak geen coherent pragmatisch redeneren, suggereert de studie dat huidige benchmarks die uitsluitend gebaseerd zijn op outputnauwkeurigheid ontoereikend zijn voor het evalueren van semantische en pragmatische competentie. De auteurs concluderen dat benchmarks die zijn geworteld in taalkundige theorie essentieel zijn om onderscheid te maken tussen oppervlakkige statistische alignering en ware redeneervermogens, en dat toekomstig werk de dissociatie tussen behaviorale gelijkenis en theoretische validiteit moet aanpakken.