Surprisal and Metaphor Novelty Judgments: Moderate Correlations and Divergent Scaling Effects Revealed by Corpus-Based and Synthetic Datasets

Technische Samenvatting: Surprisal en Metafoor-nieuwigheidsoordelen

Probleemstelling
Het artikel behandelt de uitdaging van het kwantificeren van linguïstische creativiteit, specifiek het onderscheid tussen conventionele en nieuwe metaforen, met behulp van Large Language Models (LM's). Hoewel metafoorbegrip complexe semantische processen en cross-domein mapping omvat, blijft het scheiden van nieuwe metaforen van conventionele metaforen moeilijk voor menselijke annotatoren en wordt dit zelden meegenomen in computationele metafooranalyse. De auteurs onderzoeken of surprisal—een probabilistische maatstaf voor voorspelbaarheid gedefinieerd als de negatieve logaritme van de waarschijnlijkheid van een woord in context ($-\log p(w_i | w_{<i})$)—als een betrouwbare metriek voor metafoor-nieuwigheid kan dienen. Ze beogen te bepalen of de LM-surprisal correleert met menselijke annotaties van nieuwigheid en hoe modelgrootte, type dataset (corpus-gebaseerd versus synthetisch) en contextmodellering de correlatie beïnvloeden.

Methodologie
De studie maakt gebruik van een systematisch experimenteel ontwerp bestaande uit vier datasets en 16 causale LM-varianten:

1. Datasets:

   • Corpus-gebaseerd: Twee subsets van de VU Amsterdam Metaphor Corpus (VUAMC).
     • VUA-ratings: Bevat continue nieuwigheidsscores (-1 tot +1) afgeleid van crowd-sourced best-worst scaling.
     • VUA-dictionary: Bevat binaire nieuwigheid-labels gebaseerd op een woordenboek-gebaseerde methode waarbij een metafoor nieuw is als de contextuele betekenis afwezig is in de woordenboekvermeldingen.
   • Synthetisch: Twee gecontroleerde datasets.
     • Lai2009: Psycholinguïstische stimuli met vaste structuren die letterlijk, conventioneel, nieuw en anomalisch gebruik van specifieke woorden bevatten.
     • GPT-4o-metaphors: Een toy-dataset gegenereerd door GPT-4o te instrueren om zinnen te maken met conventionele en nieuwe betekenissen van specifieke werkwoorden en zelfstandige naamwoorden.

2. Modellen:

   • Drie families van decoder-only causale LM's: GPT-2 (4 groottes), Llama 3 (3 groottes) en Qwen2.5 (3 groottes).
   • Zowel base- als instruction-tuned varianten werden geëvalueerd om de impact van alignment op surprisal te beoordelen.

3. Surprisal-berekening:

   • Direct-surprisal: Standaard links-naar-rechts surprisal berekend op het doelwoord gegeven de voorafgaande context.
   • Cloze-surprisal: Een nieuwe methode voorgesteld door de auteurs om recht-context te incorporeren. Het doelwoord wordt vervangen door een gat, de volledige zin (inclusief het doelwoord) wordt toegevoegd als de voltooiing, en de surprisal wordt gemeten voor het doelwoord in de tweede instantie. Dit conditioneert de waarschijnlijkheid op de volledige zin-context.

4. Evaluatie:

   • Correlatiemetrieken (Pearson's $r$, Spearman's $\rho$, Rank-biserial $r_b$ en AUC) werden berekend tussen surprisal-scores en nieuwigheid-annotaties.
   • Analyses werden uitgevoerd over verschillende modelgroottes, datasettypes en genre-splits (fictie, nieuws, academisch, conversatie).

Belangrijkste Resultaten

• Matige Correlaties: LM-surprisal levert significante, positieve, maar matige correlaties op met metafoor-nieuwigheid-annotaties over alle datasets. De sterkste resultaten werden waargenomen met GPT2-base op VUA-ratings ($r = .419$, $r_b = .638$).
• Divergerende Schalings-effecten: De relatie tussen modelgrootte en correlatiestärke hangt af van het type dataset:
  • Corpus-gebaseerde data: Vertoont een invers schalingseffect. De correlatiestärke neemt af naarmate de modelgrootte toeneemt. De auteurs schrijven dit toe aan het feit dat grotere modellen verwachtingen toekennen aan zeldzame woorden die niet menselijk zijn, wat vaak correleert met nieuwigheid in natuurlijke corpora.
  • Synthetische data: Vertoont een kwaliteit-kracht-hypothese (positieve schaling). De correlatiestärke neemt toe met de modelgrootte, waarschijnlijk omdat synthetische datasets de lexicale frequentie en identiteit controleren, waardoor de nieuwheidsdimensie effectiever wordt geïsoleerd.
• Cloze-surprisal: De door de auteurs voorgestelde cloze-surprisal methode verbetert over het algemeen de correlaties, met name voor GPT-2 modellen op corpus-gebaseerde data (bijv. het verhogen van $r_b$ naar .687 op VUA-ratings). Het verschuift de distributie van surprisal-waarden weg van nul, waardoor de volledige context die nodig is voor metafoorverwerking beter wordt gevangen. Het verslechtert echter incidenteel de prestaties op synthetische datasets.
• Instruction-tuning: Instruction-tuning verbetert de correlatie tussen surprisal en nieuwigheid niet consistent. In veel gevallen, met name voor Qwen-modellen en op synthetische datasets, verminderde instruction-tuning de correlatie vergeleken met base-modellen.
• Genre-effecten: De correlatiestärke varieert per genre, wat een relatie laat zien met metafoordichtheid en model-perplexity. Bijvoorbeeld, het genre conversatie vertoonde een hoge perplexiteit maar een sterke correlatie met woordenboek-gebaseerde nieuwigheid-labels.

Betekenis en Claims
Het artikel concludeert dat hoewel surprisal gedeeltelijk kan verklaren welke annotaties van metafoor-nieuwigheid, het op zichzelf een beperkte metriek blijft voor linguïstische creativiteit. De auteurs stellen dat het interpreteren van metaforen semantische integratie en cross-domein mapping omvat, wat verder gaat dan eenvoudige voorspelbaarheid.

De primaire bijdrage van de studie ligt in het onthullen van divergerende schalingspatronen op basis van de aard van de dataset. Het suggereert dat de "inverse scaling" waargenomen in leestijdstudies op corpus-data mogelijk wordt gedreven door lexicale frequentie-confounds, terwijl synthetische data die deze factoren controleert een positieve schaling laat zien. De auteurs pleiten voor nieuwe maten en datasets die systematische annotaties van metafoor-nieuwigheid bieden over genres en settings heen, waarbij zij opmerken dat huidige hoogwaardige annotaties schaars zijn. Zij positioneren surpral als een veelbelovend maar incompleet instrument, dat het beste gebruikt kan worden in combinatie met andere metrieken die direct mikken op nieuwe interpretaties en domein-mappings.