The Frequency Confound in Language-Model Surprisal and Metaphor Novelty

Sintesi Tecnica: La Confusione della Frequenza nel Sorpresa dei Modelli Linguistici e nella Novità delle Metafore

Enunciato del Problema
Il sorpresa (surprisal) dei modelli linguistici (LM) è frequentemente utilizzato come proxy per la prevedibilità contestuale ed è stato riportato correlare con i giudizi umani sulla novità delle metafore. Studi recenti suggeriscono un "effetto di scalatura inversa", in cui LM più piccoli o modelli nelle fasi iniziali dell'addestramento mostrano correlazioni più forti tra sorpresa e dati comportamentali umani (come i tempi di lettura o le valutazioni di novità) rispetto a modelli più grandi e completamente addestrati. Tuttavia, un fattore confondente critico rimane poco chiaro: la stretta interdipendenza tra sorpresa e frequenza lessicale. Non è certo se le correlazioni osservate riflettano una genuina prevedibilità contestuale o siano semplicemente artefatti della frequenza lessicale, che è nota influenzare fortemente sia la difficoltà di elaborazione sia i giudizi di novità. Questo articolo indaga se le impostazioni "ottimali" di sorpresa (modelli piccoli, addestramento iniziale) catturino genuinamente una predizione contestuale simile a quella umana o se si allineino semplicemente più da vicino alla frequenza lessicale.

Metodologia
Gli autori hanno condotto un'analisi completa utilizzando il Corpus di Metafore VU Amsterdam (VUAMC), che contiene 15.155 parole di contenuto metaforiche con relative valutazioni umane di novità (scalate da -1 per convenzionali a +1 per nuove).

• Suite di Modelli: Lo studio ha utilizzato la famiglia di modelli Pythia (Biderman et al., 2023), composta da otto dimensioni di modello che variano da 70M a 12B parametri. Tutti i modelli sono stati addestrati sullo stesso corpus di 300B token (The Pile).
• Dinamiche di Addestramento: Per analizzare i progressi del pre-addestramento, gli autori hanno esaminato 154 checkpoint intermedi per il modello Pythia-70M, catturando l'evoluzione del modello dalla fase iniziale di addestramento (1 step) al pre-addestramento completo (300B token).
• Metriche:
  • Sorpresa: Calcolata come $-\log p(w_i | w_{<i})$ per le parole metaforiche target all'interno del loro contesto frasale, con correzioni per la tokenizzazione e gli spazi bianchi iniziali.
  • Frequenza Lessicale: Sono state impiegate due misure distinte per stimare la frequenza delle parole:
    1. NLF-Umano: Logaritmo negativo della frequenza derivato da wordfreq, rappresentante un aggregato dell'uso generale della lingua (approssimando un "parlante inglese medio").
    2. NLF-LM: Logaritmo negativo della frequenza calcolato specificamente dalle sequenze di subtoken osservate nei dati di pre-addestramento di Pythia fino a ciascun checkpoint specifico.
• Analisi: Lo studio ha quantificato le associazioni utilizzando i coefficienti di correlazione di Spearman ($\rho$) e di Pearson ($r$), nonché l'Area sotto la curva ROC (AUC) per la classificazione delle metafore nuove. L'analisi si è concentrata sulle relazioni tra: (1) Sorpresa e Novità, (2) Frequenza e Novità, e (3) Sorpresa e Frequenza.

Risultati Chiave

1. Frequenza come Predittore Più Forte: In tutte le dimensioni dei modelli e nelle fasi di addestramento, la frequenza lessicale (sia NLF-Umano che NLF-LM) ha dimostrato costantemente un'associazione più forte con le valutazioni di novità delle metafore rispetto alla sorpresa del LM. NLF-Umano ha prodotto le correlazioni più alte ($\rho \approx 0,66$, AUC $\approx 0,90$).
2. Scalatura Inversa e Dinamiche di Addestramento:
   • Scala del Modello: La correlazione tra sorpresa e novità è diminuita all'aumentare della dimensione del modello. I modelli più piccoli (70M) hanno mostrato la più forte associazione sorpresa-novità.
   • Progresso dell'Addestramento: Per Pythia-70M, l'associazione sorpresa-novità era inizialmente debole, è aumentata bruscamente dopo 64 step di addestramento e ha raggiunto il picco a 128 step (circa 268M token osservati), raggiungendo $\rho \approx 0,62$. Oltre questo picco, l'associazione è diminuita.
3. La Confusione della Frequenza: Crucialmente, le tendenze nell'associazione sorpresa-novità hanno rispecchiato le tendenze nell'associazione sorpresa-frequenza.
   • Nella fase iniziale di addestramento (128 step) in cui la sorpresa si correlava più fortemente con la novità, si correlava anche più fortemente con la frequenza ($\rho \approx 0,95$ con NLF-LM).
   • Man mano che i modelli crescevano di dimensioni o l'addestramento procedeva ulteriormente, la correlazione tra sorpresa e frequenza si indeboliva, parallelamente al declino della correlazione sorpresa-novità.
4. Allineamento: Le configurazioni in cui la sorpresa ha funzionato "meglio" (modelli piccoli, addestramento iniziale) erano esattamente quelle in cui la sorpresa era più strettamente allineata alla frequenza lessicale.

Significato e Affermazioni
L'articolo sostiene che le impostazioni ottimali spesso riportate per la sorpresa del LM (modelli piccoli o fasi iniziali di addestramento) potrebbero non fornire prove dirette per spiegazioni basate sulla sorpresa della novità delle metafore o della difficoltà di elaborazione. Invece, le forti correlazioni osservate in queste impostazioni riflettono probabilmente la dipendenza del modello dalla frequenza lessicale piuttosto che una genuina prevedibilità contestuale.

Gli autori concludono che:

• La frequenza lessicale è un fattore sottostante maggiore nei giudizi di novità delle metafore, agendo spesso come predittore più forte della sorpresa contestuale.
• L'"effetto di scalatura inversa" osservato nelle correlazioni sorpresa-novità potrebbe essere un sottoprodotto della relazione mutevole tra sorpresa e frequenza attraverso le scale dei modelli e le fasi di addestramento.
• I ricercatori dovrebbero esercitare cautela nell'interpretare le forti associazioni sorpresa-novità di modelli piccoli o di addestramento iniziale come supporto diretto per teorie della difficoltà di elaborazione basate sulla prevedibilità contestuale.
• I progressi futuri in questo campo richiedono una separazione teorica e metodologica più chiara tra prevedibilità contestuale ed effetti della frequenza lessicale.

L'articolo non afferma che i modelli più grandi producano stime "scarse" di prevedibilità, ma piuttosto che le condizioni specifiche in cui la sorpresa si allinea con le valutazioni umane di novità sono confuse dalla frequenza. Gli autori chiedono un ulteriore sviluppo di valutazioni umane che riflettano meglio le teorie di novità e originalità, distinte dai semplici effetti di frequenza.