Beyond Memorization: Assessing Semantic Generalization in Large Language Models Using Phrasal Constructions

Technische Samenvatting: Voorbij Memorisatie: Het Beoordelen van Semantische Generalisatie in Large Language Models via Phrasale Constructies

Probleemstelling
De pretraining van Large Language Models (LLM's) op web-schaal data presenteert een kritieke evaluatieuitdaging: het onderscheid maken tussen werkelijke linguïstische competentie en het louter memoriseren van frequente patronen. Hoewel modellen vaak goed presteren op taken met data die goed vertegenwoordigd is in hun trainingssets, blijft hun vermogen om te generaliseren naar out-of-domain, creatieve of minder voorkomende taalinstanties onduidelijk. Specifiek is het moeilijk te bepalen of modellen werkelijk de abstracte semantiek van syntactische structuren begrijpen of dat ze vertrouwen op statistische correlaties afgeleid van hoogfrequente lexicale items. Bestaande evaluatiemethoden worstelen vaak met het waarborgen van testonafhankelijkheid van de pretraining-data of falen in het isoleren van specifieke linguïstische fenomenen zoals constructionele semantiek.

Methodologie
Om deze uitdagingen aan te pakken, construeren de auteurs een diagnostisch evaluatiekader geworteld in de Construction Grammar (CxG). CxG stelt dat taal wordt geleerd door gebruik, waarbij sprekers abstraheren over syntactische slots om nieuwe instanties van constructies te interpreteren en te produceren, zelfs met onbekende lexicale items. De auteurs maken gebruik van dit kader om twee experimenten te ontwerpen met Natural Language Inference (NLI) als een proxy voor begrip:

1. Experiment 1 (CxNLI): Dit experiment test het vermogen van het model om constructionele semantiek te generaliseren naar creatieve, minder frequente instanties van veelvoorkomende phrale constructies. De dataset bestaat uit 435 NLI-triples afgeleid van 8 hoogfrequente Engelse constructies (bijv. Resultative, Caused-Motion, Let-Alone). De premissen maken gebruik van "ingesleten" (entrenched) constructionele templates, maar worden geïnstantieerd met atypische werkwoorden of lexicale items die onwaarschijnlijk in die specifieke structuur zouden voorkomen binnen de pretraining-data. De taak vereist dat het model bepaalt of een hypothese (afgeleid van de abstracte betekenis van de constructie) de premisse impliceert, tegenspreekt of neutraal is aan de premisse.
2. Experiment 2 (CxNLI-Distinction): Dit experiment test het vermogen van het model om onderscheid te maken tussen syntactisch identieke constructies die uiteenlopende semantische betekenissen bezitten. De dataset bevat 99 NLI-triples met constructies (bijv. Depictive vs. Resultative) die dezelfde oppervlaktesyntaxis delen (bijv. NP V NP ADJ), maar verschillen in betekenis (bijv. een staat resulterend uit een actie versus een staat die tijdens een actie bestaat). Het doel is om te beoordelen of modellen kunnen voorkomen dat ze de semantiek van sterk ingesleten constructies overgeneraliseren naar minder ingesleten, syntactisch identieke distractoren.

De evaluatie omvat het testen van state-of-the-art modellen, waaronder GPT-4o, GPT-o1, GPT-3.5 en Llama 3 (8B en 70B), in zero-shot en in-context learning (ICL) settings. De ICL-settings maken gebruik van voorbeelden uit de eigen dataset van de auteurs (CxNLI) en de standaard Stanford NLI (SNLI) dataset om de afhankelijkheid van modellen van specifieke constructionele kennis versus algemene NLI-capaciteiten te onderzoeken.

Belangrijkste Bijdragen

1. Nieuwe Diagnostische Dataset: De auteurs introduceren een handmatig gevalideerde dataset van 534 NLI-triples die specifiek zijn ontworpen om constructionele generalisatie en distinctie te testen, waarbij zij verder gaan dan metalinguïstische identificatietaken om de onderliggende semantische het begrip te evalueren.
2. CxG-gebaseerd Evaluatiekader: In tegen tegenstelling tot eerdere werken die zich richten op enkelvoudige constructies of metalinguïstische taken, gebruikt deze studie de goed gevestigde NLI-taak om het functionele begrip van constructionele betekenis te onderzoeken, waarbij zowel creatieve instantie als syntactische ambiguïteit wordt getest.
3. Brede Model Evaluatie: De studie evalueert een reeks modellen, inclusief de grootste momenteel beschikbare (GPT-o1, Llama 3 70B), wat een uitgebreid beeld geeft van de huidige staat van constructionele generalisatie in LLM's.
4. Open Bronnen: De dataset, prompts en modelresponsen worden publiekelijk beschikbaar gesteld om verder onderzoek naar de linguïstische generalisatie van LLM's te faciliteren.

Resultaten
De experimenten onthullen een aanzienlijk verschil tussen menselijke en modelprestaties, met name in het vermogen om syntactisch identieke constructies te onderscheiden:

• Experiment 1 (Generalisatie): Modellen, met name GPT-4o en GPT-o1, vertoonden een hoge nauwkeurigheid (tot 90%) in het generaliseren van constructionele semantiek naar creatieve instanties. De prestaties verbeterden met in-context learning met behulp van constructie-specifieke voorbeelden, wat suggereet dat modellen de abstracte mapping kunnen leren wanneer relevante aanwijzingen worden gegeven.
• Experiment 2 (Distinctie): Er trad een scherpe prestatiedaling op wanneer modellen de taak kregen om syntactisch identieke constructies te onderscheiden. Zelfs de meest geavanceerde modellen (GPT-o1, GPT-4o) zagen hun nauwkeurigheid met meer dan 40% dalen vergeleken met Experiment 1. Zo daalde de nauwkeurigheid van GPT-o1 van 90% in Exp. 1 naar 46% in Exp. 2.
• Statistische Significantie: Bayesian A/B-testen bevestigden dat de prestatiedaling in Experiment 2 statistisch significant is en veel uitgesprokener is voor LLM's dan voor mensen. Terwijl de menselijke prestaties robuust bleven (IAA van 83%), hadden modellen moeite om de semantiek van sterk ingesleten constructies te verwerpen wanneer ze werden gepresenteerd met minder ingesleten, syntactisch identieke distractoren.
• Foutanalyse: Modellen faalden vaak in het onderscheiden tussen constructies zoals de Resultative (actie veroorzaakt staat) en de Depictive (staat bestaat tijdens actie), waarbij ze vaak de causale relatie verkeerd interpreteerden. Dit suggereert een tekortkoming in causaal redeneren en een overmatige afhankelijkheid van de meest frequente lexicaal-semantische associaties.

Betekenis en Claims
De auteurs beweren dat hun bevindingen een fundamentele beperking in huidige LLM-architecturen belichten: hoewel modellen constructionele semantiek tot op zekere hoogte kunnen verwerken, falen ze in het generaliseren van dit begrip naar nieuwe instanties wanneer syntactische ambiguïteit wordt geïntroduceerd. De resultaten dagen het "meer data is beter"-paradigma uit, en suggereren dat het schalen van web-tekst data eerder biases naar frequente constructionele betekenissen kan versterken dan echt abstract redeneren te bevorderen.

Het artikel betoogt dat het onvermogen om onderscheid te maken tussen syntactisch identieke constructies een falen van causaal redeneren vertegenwoordigt met potentiële veiligheidsimplicaties, aangezien het verkeerd begrijpen van het verschil tussen een samenhangende staat en een veroorzaakte uitkomst kan leiden tot catastrofale fouten in AI-agenten. Bovendien benadrukt de studie de noodzaak van diagnostische, contrastieve benchmarks om de linguïstische competentie accuraat te beoordelen, aangezien brede benchmarks de werkelijke capaciteiten van een model kunnen overschatten. De auteurs concluderen dat hoewel huidige modellen robuustheid vertonen in het afhandelen van ingesleten constructies, hun vermogen om constructionele betekenis te generaliseren naar onderscheidende, syntactisch identieke vormen substantieel achterblijft bij de menselijke linguïstische kennis.