The Frequency Confound in Language-Model Surprisal and Metaphor Novelty

Technische Samenvatting: De Frequentie-Confounding in Taalmodel-Surprisal en Metafoor-Nieuwheid

Probleemstelling
Taalmodel (LM) surprisal wordt frequent gebruikt als proxy voor contextuele voorspelbaarheid en is gemeld te correleren met menselijke oordelen over metafoor-nieuwheid. Recent onderzoek suggereert een "inverse schalingseffect", waarbij kleinere LM's of modellen in eerdere trainingsstadia sterkere correlaties vertonen tussen surprisal en menselijk gedragsdata (zoals leestijden of nieuwheidsbeoordelingen) dan grotere, volledig getrainde modellen. Een kritieke verstorende factor blijft echter onduidelijk: de nauwe onderlinge afhankelijkheid tussen surprisal en lexicaal frequentie. Het is onzeker of de waargenomen correlaties echte contextuele voorspelbaarheid weerspiegelen of slechts artefacten zijn van lexicaal frequentie, waarvan bekend is dat het zowel verwerkingsmoeilijkheid als nieuwheidsbeoordelingen sterk beïnvloedt. Dit artikel onderzoekt of de "optimale" surprisal-instellingen (kleine modellen, vroege training) menselijke contextuele voorspelling werkelijk vangen of of ze simpelweg nauwer aansluiten bij lexicaal frequentie.

Methodologie
De auteurs voerden een uitgebreide analyse uit met behulp van het VU Amsterdam Metaphor Corpus (VUAMC), dat 15.155 metaforische inhoudsworden bevat met bijbehorende menselijke nieuwheidsbeoordelingen (geschaald van -1 voor conventioneel tot +1 voor nieuw).

• Modelset: Het onderzoek gebruikte de Pythia-modelfamilie (Biderman et al., 2023), bestaande uit acht modelgroottes variërend van 70M tot 12B parameters. Alle modellen werden getraind op hetzelfde corpus van 300B tokens (The Pile).
• Trainingsdynamiek: Om de voortgang van de pretraining te analyseren, onderzochten de auteurs 154 tussentijdse checkpoints voor het Pythia-70M-model, waardoor de evolutie van het model van vroege training (1 stap) tot volledige pretraining (300B tokens) in beeld werd gebracht.
• Maten:
  • Surprisal: Berekend als $-\log p(w_i | w_{<i})$ voor doelmetaforische woorden binnen hun zinscontext, met correcties voor tokenisatie en voorafgaande witruimte.
  • Lexicaal Frequentie: Twee distincte maten werden ingezet om woordfrequentie te schatten:
    1. NLF-Mens: Negatieve log-frequentie afgeleid van wordfreq, die een aggregaat van algemeen taalgebruik vertegenwoordigt (benaderend een "gemiddelde Engelstalige spreker").
    2. NLF-LM: Negatieve log-frequentie berekend specifiek uit de subtoken-sequenties waargenomen in de Pythia-pretrainingsdata tot elk specifiek checkpoint.
• Analyse: Het onderzoek kwantificeerde associaties met behulp van Spearman's ($\rho$) en Pearson's ($r$) correlatiecoëfficiënten, evenals het Area Under the ROC Curve (AUC) voor het classificeren van nieuwe metaforen. De analyse richtte zich op de relaties tussen: (1) Surprisal en Nieuwheid, (2) Frequentie en Nieuwheid, en (3) Surprisal en Frequentie.

Belangrijkste Resultaten

1. Frequentie als Sterkere Predictor: Over alle modelgroottes en trainingsstadia heen vertoonde lexicaal frequentie (zowel NLF-Mens als NLF-LM) consistent een sterkere associatie met metafoor-nieuwheidsbeoordelingen dan LM-surprisal. NLF-Mens leverde de hoogste correlaties op ($\rho \approx 0,66$, AUC $\approx 0,90$).
2. Inverse Schaling en Trainingsdynamiek:
   • Modelgrootte: De correlatie tussen surprisal en nieuwheid nam af naarmate de modelgrootte toenam. Kleinere modellen (70M) vertoonden de sterkste surprisal–nieuwheidsassociatie.
   • Trainingsvoortgang: Voor Pythia-70M was de surprisal–nieuwheidsassociatie aanvankelijk zwak, steeg scherp na 64 trainingsstappen en piekte bij 128 stappen (ongeveer 268M tokens gezien), waarbij $\rho \approx 0,62$ werd bereikt. Voorbij dit punt nam de associatie af.
3. De Frequentie-Confounding: Cruciaal is dat de trends in de surprisal–nieuwheidsassociatie de trends in de surprisal–frequentieassociatie weerspiegelden.
   • In het vroege trainingsstadium (128 stappen) waar surprisal het sterkst correleerde met nieuwheid, correleerde het ook het sterkst met frequentie ($\rho \approx 0,95$ met NLF-LM).
   • Naarmate modellen groter werden of de training verder vorderde, verzwakte de correlatie tussen surprisal en frequentie, wat parallel liep aan de daling in de surprisal–nieuwheidscorrelatie.
4. Aansluiting: De configuraties waarbij surprisal het "beste" presteerde (kleine modellen, vroege training) waren precies die waarin surprisal het nauwst aansloot bij lexicaal frequentie.

Betekenis en Beweringen
Het artikel betoogt dat de vaak gerapporteerde optimale instellingen voor LM-surprisal (kleine modellen of vroege trainingsstadia) mogelijk geen rechtstreeks bewijs leveren voor op surprisal gebaseerde verklaringen van metafoor-nieuwheid of verwerkingsmoeilijkheid. In plaats daarvan weerspiegelen de sterke correlaties die in deze instellingen worden waargenomen waarschijnlijk de afhankelijkheid van het model van lexicaal frequentie in plaats van echte contextuele voorspelbaarheid.

De auteurs concluderen dat:

• Lexicaal frequentie een belangrijke onderliggende factor is in metafoor-nieuwheidsbeoordelingen, vaak fungerend als een sterkere predictor dan contextuele surprisal.
• Het "inverse schalingseffect" dat wordt waargenomen in surprisal–nieuwheidscorrelaties een bijproduct kan zijn van de veranderende relatie tussen surprisal en frequentie over modelgroottes en trainingsstadia heen.
• Onderzoekers voorzichtig moeten zijn bij het interpreteren van sterke vroege-trainings- of kleine-model surprisal–nieuwheidsassociaties als directe ondersteuning voor theorieën van verwerkingsmoeilijkheid gebaseerd op contextuele voorspelbaarheid.
• Verdere vooruitgang op dit gebied een duidelijkere theoretische en methodologische scheiding vereist tussen contextuele voorspelbaarheid en lexicaal-frequentie-effecten.

Het artikel claimt niet dat grotere modellen "slechte" schattingen van voorspelbaarheid produceren, maar eerder dat de specifieke voorwaarden waaronder surprisal aansluit bij menselijke nieuwheidsbeoordelingen verward worden door frequentie. De auteurs roepen op tot verdere ontwikkeling van menselijke beoordelingen die theorieën van nieuwheid en originaliteit beter weerspiegelen, onderscheiden van eenvoudige frequentie-effecten.