Graded strength of comparative illusions is explained by Bayesian inference

Technische Samenvatting: Verklaring van de Gegradueerde Sterkte van Comparatieve Illusies via Bayesiaanse Inferentie

Probleem
Comparatieve illusies (CI's) zijn linguïstische fenomenen waarbij begrijpers systematisch semantisch anomale zinnen als acceptabel ervaren (bijv. More students have been to Russia than I have). Hoewel de zin betekenisloos is omdat de dan-clausule geen vergelijkbare graad biedt, beoordelen begrijpers dergelijke zinnen vaak als natuurlijk. Eerder onderzoek heeft voorgesteld dat CI's het resultaat zijn van "noisy-channel" inferentie, waarbij begrijpers Bayesiaanse redenering gebruiken om de beoogde betekenis van een spreker ($s_i$) te infereren uit een gecorrumpeerd signaal ($s_p$). De posterieure waarschijnlijkheid $p(s_i|s_p)$ is proportioneel aan de prior waarschijnlijkheid van de beoogde betekenis $p(s_i)$ en de waarschijnlijkheid van corruptie $p(s_p|s_i)$.

Echter, eerdere empirische steun voor deze theorie (bijv. Zhang et al., 2025) had significante beperkingen:

1. Het modelleerde de volledige posterieure distributie niet kwantitatief, waardoor het de prior waarschijnlijkheden ($p(s_i)$) niet kon verklaren.
2. Het richtte zich primair op de meest illusionaire CI-typen (pronominale subjecten) en kon de gegradeerde sterkte van illusies bij andere CI-typen (bijv. die met volledige naamwoordelijke subjecten) niet verklaren.
3. Het miste een verenigd kwantitatief kader om te voorspellen hoe variaties in morfosyntaxis (bijv. voornaamwoord versus naamwoordgroep, enkelvoud versus meervoud) de kracht van de illusie beïnvloeden.

Methodologie
De auteurs voerden twee experimenten en een statistische modelleringsfase uit om de noisy-channel hypothese kwantitatief te testen.

• Experiment 1 (Acceptabiliteitsbeoordeling):

  • Deelnemers: 494 moedertaalsprekers van het Engels (een tienvoudige toename ten opzichte van eerdere studies).
  • Design: Een 2x2 binnen-proefpersoon manipulatie van het subject van de dan-clausule: Vorm (Voornaamwoord versus Naamwoordgroep) en Getal (Enkelvoud versus Meervoud).
  • Taak: Deelnemers beoordeelden de natuurlijkheid van 30 kritische CI-zinnen en controlezinnen op een 7-punts Likert-schaal.
  • Doel: Om een gedragsmandaat van de gegradeerde illusionaire sterkte over verschillende CI-typen vast te stellen.

• Experiment 2 (Zinscorrectie):

  • Deelnemers: 199 moedertaalsprekers van het Engels.
  • Taak: Deelnemers traden op als redacteuren en brachten de minimaal mogelijke wijzigingen aan om de anomale CI-zinnen uit Experiment 1 te transformeren naar plausibele, betekenisvolle zinnen.
  • Analyse:
    • Kwalitatief: Gecorrigeerde zinnen werden gecategoriseerd in interpretatietypen (bijv. "event comparison", "individual comparison", "event negation").
    • Kwantitatief: De Damerau-Levenshtein afstand (DLD) tussen de oorspronkelijke anomale zin en de gecorrigeerde zin werd berekend om te dienen als een proxy voor de ruis-waarschijnlijkheid $p(s_p|s_i)$.

• Statistische Modellering:

  • Posterieure Approximatie: De auteurs construeerden een kwantitatieve benadering van de noisy-channel posterieure $p(s_i|s_p)$ met behulp van de regel van Bayes:
    $$\hat{p}(s_i|s_p) = \frac{\hat{p}(s_i)\hat{p}(s_p|s_i)}{\hat{p}(s_p)}$$
    • Priors ($\hat{p}(s_i)$) en Evidence ($\hat{p}(s_p)$): Geschat met zinswaarschijnlijkheden uit twee statistische taalmodellen (GPT-2 Small en OPT).
    • Likelihood ($\hat{p}(s_p|s_i)$): Geschat als proportioneel aan $e^{-\text{DLD}}$, gebaseerd op de edit-afstanden uit Experiment 2.
  • Linkingfuncties: Er werden twee hypothesen getest over hoe de posterieure waarschijnlijkheid de acceptabiliteit beïnvloedt:
    • Max Link ($f_{max}$): Acceptabiliteit wordt gedreven door de meest waarschijnlijke enkele interpretatie.
    • Mean Link ($f_{mean}$): Acceptabiliteit wordt gedreven door de gemiddelde waarschijnlijkheid van meerdere plausibele interpretaties.
  • Regressie: Bayesian multilevel cumulative ordinal regressiemodellen werden gebruikt om de acceptabiliteitsbeoordelingen uit Experiment 1 te voorspellen. De modellen bevatten de noisy-channel posterieure schattingen als voorspellers, waarbij gecontroleerd werd voor de Syntactic Log-Odds Ratio (SLOR), volgorde van proeven en de baseline acceptabiliteit van controlezinnen.

Belangrijkste Bijdragen

1. Replicatie en Expansie: De studie repliceert de kernbevinding dat CI's als zeer acceptabel worden beoordeeld als welftelente controlezinnen, maar breidt de scope aanzienlijk uit door de gegradeerde illusionaire sterkte aan te tonen. Specifiek produceren enkelvoudige pronominale subjecten de sterkste illusie, terwijl meervoudige naamwoordgroepen zwakkere illusies produceren.
2. Kwantitatieve Modellering van de Posterieure Waarschijnlijkheid: De auteurs bieden de eerste kwantitatieve benadering van de volledige noisy-channel posterieure distributie voor CI's, waarbij zij statistische taalmodel-waarschijnlijkheden integreren met menselijke gedragsdata van edits.
3. Voorspelling van Gegradeerde Effecten: Het kwantitatieve model voorspelt succesvol de variabiliteit in illusionaire sterkte over verschillende morfosyntactische condities, een fenomeen dat door eerdere theorieën onverklaard bleef.
4. Mechanisme van Integratie: De studie identificeert dat de mean linking function (het aggregeren van meerdere plausibele interpretaties) beter presteert dan de max linking function (het vertrouwen op de meest waarschijnlijke enkele interpretatie) bij het voorspellen van menselijke acceptabiliteitsbeoordelingen.

Resultaten

• Gedragsvindingen: Experiment 1 bevestigde dat enkelvoudige pronominale CI's ononderscheidbaar zijn van controles qua acceptabiliteit, terwijl meervoudige pronominale en naamwoordgroep-condities een meetbare, gegradeerde afname in acceptabiliteit vertonen.
• Correctiepatronen: Experiment 2 onthulde dat ~80% van de correcties "plausibel" waren, waarbij "event comparison" en "individual comparison" de dominante interpretaties waren.
• Modelprestaties:
  • De noisy-channel posterieure schattingen voorspelden de CI-acceptabiliteitsbeoordelingen significant, bovenop sterke controles (SLOR, volgorde, baseline).
  • De mean linking function ($f_{mean}$) bood de beste fit, wat aangeeft dat acceptabiliteit wordt beïnvloed door de geaggregeerde waarschijnlijkheid van meerdere plausibele interpretaties, en niet slechts door de meest waarschijnlijke enkele interpretatie.
  • Dit resultaat hield stand bij twee verschillende taalmodellen (GPT-2 Small en OPT) en twee datasets (de huidige studie en een publieke dataset van Zhang et al., 2025).
  • De max linking function ($f_{max}$) vertoonde zwakkere voorspellende kracht en leverde, wanneer deze samen met de mean functie werd opgenomen, vaak een negatieve coëfficiënt op, wat suggereert dat de "beste" enkele interpretatie onvoldoende is om de data te verklaren.

Betekenis en Claims
Het artikel claimt dat deze bevindingen sterke empirische steun bieden voor noisy-channel inferentie als een verenigde computationele theorie van taalbegrip. Specifiek:

• Rationaliteit van Illusies: De studie betoogt dat CI's niet louter falen van verwerking zijn (bijv. "good-enough" verwerking of oppervlakkige heuristieken), maar reflecties zijn van een Bayes-optimale zininterpretatie. De hersenen van de begrijper functioneren correct door ruisgevoelige sensorische input te integreren met top-down priors.
• Verenigde Theorie: De resultaten convergeren met bewijs uit andere linguïstische illusies en niet-illusionaire contexten, wat suggereert dat noisy-channel inferentie een algemeen mechanisme is voor diverse taalverwerkingsfenomenen.
• Methodologische Vooruitgang: Het werk demonstreert dat acceptabiliteitsbeoordelingen een rijke ruimte van probabilistische zinverwerking vatten, wat verder gaat dan binaire grammatica-oordelen. Het valideert het gebruik van statistische taalmodellen in combinatie met gedragsdata om menselijke inferentiële processen te benaderen.
• Onderscheid van "Good-Enough" Verwerking: Hoewel erkend wordt dat "good-enough" verwerking (algoritmisch niveau) en noisy-channel inferentie (computationeel niveau) compatibel kunnen zijn, benadrukken de auteurs dat de gegradeerde aard van CI-effecten het best verklaard kan worden door de wiskundige structuur van Bayesiaanse inferentie (de posterieure waarschijnlijkheidsdistributie) in plaats van door beperkingen op cognitieve inspanning alleen.

De auteurs blijven bescheiden over het specifieke ruismodel (gebaseerd op DLD) en de exacte temporele dynamiek van interpretatie, waarbij zij opmerken dat toekomstig werk nodig is om de ruis-likelihood term en de linkingfuncties tussen posterieure waarschijnlijkheden en gedragsmatige metingen te verfijnen. Zij stellen echter dat de kernbevinding — dat de gegradeerde illusionaire sterkte de kwantitatieve posterieure waarschijnlijkheid van plausibele alternatieven volgt — een robuuste bevestiging is van de noisy-channel theorie.