Do Language Models Know What Not to Say? Causal Evidence for Statistical Preemption in LLMs

Technische Samenvatting: Causaal Bewijs voor Statistische Preemptie in LLM's

Probleemstelling
Het artikel behandelt "Baker's Paradox", een fundamenteel raadsel in taalverwerving: hoe verwerven leerlingen kennis van wat onaanvaardbaar is (negatief bewijs) zonder ooit expliciet te worden verteld dat bepaalde zinnen fout zijn. In de context van Constructiegrammatica proberen twee concurrerende hypothesen deze "terugtrekking uit overgeneralisatie" te verklaren:

1. Statistische Preemptie: Leerlingen verwerven negatieve kennis door de frequentie van specifieke, conventionele concurrerende vormen bij te houden (bijvoorbeeld: het vaak horen van "donated the books to the library" preemteert het niet-getestte "*donated the library the books").
2. Verankering: Leerlingen weerstaan nieuwe constructies simpelweg omdat het werkwoord vaak voorkomt in elke constructie, wat de bereidheid vermindert om het in nieuwe kaders te gebruiken.

Hoewel gedragsstudies deze mechanismen hebben besproken, stelt het artikel dat Groot Taalmodellen (LLM's), die puur op distributieve statistieken zijn getraind zonder expliciete grammaticale instructie, een gecontroleerde omgeving bieden om te testen of distributief leren alleen voldoende is om deze negatieve kennis te verwerven.

Methodologie
De auteurs voerden vier experimenten uit over 120 Engelse werkwoord-constructieparen, verdeeld over drie alternatietypes: datief, causatief en locatief. Ze evalueerden 14 modellen uit vier families (GPT-2, Pythia, LLaMA-2, OLMo) variërend van 124M tot 70B parameters.

• Koppelhypothese: Het onderzoek gebruikt woordniveau surprisal ($S(w_t) = -\log_2 P(w_t | w_{<t})$) als proxy voor menselijke aanvaardbaarheid. De belangrijkste maatstaf is het surprisalverschil ($\Delta S$) tussen een "onconventionele" (gepreempteerde) vorm en een "conventionele" vorm.
• Experiment 1 (Correlatief): Getest of LLM $\Delta S$-patronen correleren met menselijke aanvaardbaarheidsbeoordelingen uit drie onafhankelijke datasets (DAIS, Robenalt & Goldberg, Tachihara & Goldberg).
• Experiment 2 (Dissociatie): Gebruik van een +Competing/−Competing-ontwerp (geadaptieerd van Winkler et al., 2015) om preemptie te dissociëren van verankering. Werkwoorden waren gematcht op totale frequentie, maar verschilden in of een specifieke concurrerende conventionele vorm bestond. Het onderzoek gebruikte niet-circulaire partiële correlaties tegen menselijke data om ervoor te zorgen dat de resultaten geen artefacten waren van gedeelde corpusstatistieken.
• Experiment 3 (Schaling): Geanalyseerde preemtiesensitiviteit over modelgroottes heen (160M tot 12B parameters in Pythia) om te bepalen of het effect schaalt als een machtswet.
• Experiment 4 (Causale Interventie): Uitgevoerde gecontroleerde fine-tuning op GPT-2 124M met gemanipuleerde frequenties. Drie condities werden getest:
  • Versterkt: Verhoogde frequentie van de conventionele vorm.
  • Verzwakt: Gelijkgestelde frequenties van beide vormen.
  • Omgekeerd: Verhoogde frequentie van de onconventionele vorm (een controle om eenvoudige frequentiegevoeligheid uit te sluiten).
  • Het experiment werd gerepliceerd over vijf willekeurige zaden.

Belangrijkste Resultaten

1. Mens-LLM Uitlijning: LLM-surprisalpatronen correleren sterk met menselijke aanvaardbaarheidsbeoordelingen ($r = 0,79$ voor LLaMA-2 7B tegen de DAIS-benchmark), gevalideerd over drie onafhankelijke gedragsdatasets.
2. Preemptie versus Verankering: De waargenomen effecten worden gedreven door de frequentie van de concurrerende vorm, niet de totale werkwoordfrequentie. In het +Competing/−Competing-ontwerp vertoonden werkwoorden met een concurrerende conventionele vorm significant hogere $\Delta S$ dan frequentie-gematchte werkwoorden zonder zo'n concurrent. Partiële correlaties bevestigden dat preemptie variantie in menselijke data verklaart ($r_{partial} = 0,58$), terwijl verankering dat niet doet.
3. Schaling: Preemtiesensitiviteit schaalt als een machtswet met modelgrootte ($r(N) = a \cdot N^b + c$), met een exponent $b \approx 0,092$, wat afnemende meeropbrengsten aangeeft maar geen plotselinge faseovergangen.
4. Causaal Bewijs: Fine-tuning-interventies hebben causaal de preemtiegedragspatronen verschoven. Het verhogen van de frequentie van de conventionele vorm versterkte preemptie ($\Delta \Delta S = +0,73$), terwijl het verhogen van de frequentie van de onconventionele vorm een significant zwakker effect had ($\Delta \Delta S = -0,29$). Deze asymmetrie ondersteunt de theorie dat preemptie werkt via de remmende kracht van gevestigde alternatieven, in plaats van eenvoudige frequentiegevoeligheid.

Betekenis en Aanspraken
Het artikel claimt de eerste computationele studie te zijn die statistische preemptie direct dissociëert van verankering binnen één convergerend ontwerp met behulp van LLM's. De belangrijkste bijdragen zijn:

• Mechanistische Validatie: Het toont aan dat neurale taalmodellen negatieve taalkennis verwerven door distributieve competitie, wat het kernmechanisme van Constructiegrammatica ondersteunt.
• Causaal Bewijs: Door gecontroleerde fine-tuning en controles in omgekeerde richting biedt het causaal bewijs dat het manipuleren van frequenties van concurrerende vormen het modelgedrag in de richting verschuift die door de preemptietheorie wordt voorspeld.
• Methodologische Strenge: Het adresseert bezwaren rond circulariteit in eerdere werken door niet-circulaire partiële correlaties tegen menselijke data te gebruiken en een controle in omgekeerde richting toe te passen om tautologische frequentiegevoeligheidsverklaringen uit te sluiten.
• Generaliseerbaarheid: De bevindingen gelden voor meerdere constructietypes (datief, causatief, locatief) en modelarchitecturen.

De auteurs positioneren hun werk als een aanvulling op bestaande causale studies (bijvoorbeeld Yao et al., 2025; Misra en Mahowald, 2024), met de opmerking dat hoewel ze geen unieke prioriteit claimen voor "causaal" bewijs, hun specifieke combinatie van preemptie-verankering dissociatie, niet-circulaire validatie en controles voor asymmetrie in omgekeerde richting een robuuste, convergerende lijn van bewijs biedt. Het onderzoek concludeert dat voor het Engels Baker's Paradox een antwoord heeft in distributief leren: modellen ontwikkelen preemtiesensitiviteit die wordt gevormd door de frequentie van conventionele concurrenten, wat de menselijke verwerving nabootst.