💬 NLP

Surprisal and Metaphor Novelty Judgments: Moderate Correlations and Divergent Scaling Effects Revealed by Corpus-Based and Synthetic Datasets

Questo studio dimostra che, sebbene la surprisal dei modelli linguistici mostri correlazioni moderate con le annotazioni sulla novità delle metafore, essa esibisce comportamenti di scaling divergenti — diminuendo in potere predittivo con modelli più grandi su dati basati su corpora ma aumentando su dati sintetici — evidenziando i suoi limiti come metrica esaustiva per la creatività linguistica.

Autori originali: Omar Momen, Emilie Sitter, Berenike Herrmann, Sina Zarrieß

Pubblicato 2026-01-27

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Omar Momen, Emilie Sitter, Berenike Herrmann, Sina Zarrieß

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di indovinare la parola successiva in una frase. Se la frase è "Il gatto si è seduto sul...", il tuo cervello (e un programma per computer) può facilmente indovinare "tappeto". Era facile da prevedere, quindi non era molto sorprendente. Ma se la frase è "Il gatto si è seduto sulla... medusa", il tuo cervello fa un doppio controllo. Quella parola era difficile da prevedere, quindi ha un alto livello di "sorpresa" (surprisal).

Questo articolo si pone una domanda semplice: Il senso di "sorpresa" può aiutarci a distinguere tra una metafora vecchia e noiosa e una fresca e creativa?

L'idea centrale: Prevedibilità vs. Creatività

Le metafore sono come ponti mentali. A volte il ponte è un sentiero ben battuto che tutti conoscono, come dire "Ho attaccato il suo argomento". Tutti sanno che non si usa un'arma contro un discorso; è una frase standard. Questa è una metafora convenzionale.

Altre volte, il ponte è nuovo e traballante, come dire "L'acqua arrestata". Devi fermarti a pensare: Come può l'acqua essere arrestata? Non è nel dizionario. Questa è una metafora nuova.

I ricercatori volevano vedere se i programmi per computer (chiamati Modelli Linguistici) potessero usare il loro "metro della sorpresa" per individuare questi nuovi e creativi ponti. La teoria era: Se una parola è difficile da prevedere, forse è una metafora creativa.

L'esperimento: Due mondi diversi

Il team ha testato questa idea usando due tipi di dati molto diversi, e i risultati sono stati come un racconto di due città:

1. La città del "Mondo Reale" (Dati basati su Corpus)
Hanno esaminato frasi reali prese da libri, notizie e conversazioni.

Il Risultato: Qui, il "metro della sorpresa" funzionava abbastanza bene, ma con un colpo di scena. Modelli per computer più piccoli e semplici erano in realtà più bravi a individuare le metafore creative rispetto ai modelli giganti e super intelligenti.
L'Analogia: Immagina un piccolo detective locale che conosce bene il quartiere. Nota le cose strane e nuove perché non sta sopravvalutando le cose. Il grande detective (il grande IA) ha visto così tanti dati che inizia ad aspettarsi cose strane ovunque, diventando meno sensibile a ciò che è effettivamente "nuovo" in una specifica frase. Più il modello diventava grande, peggio diventava in questo compito specifico.

2. La città della "Fabbrica di Giocattoli" (Dati Sintetici)
Hanno anche usato frasi costruite accuratamente in laboratorio (o da un'altra IA) dove l'unica differenza era se la metafora fosse vecchia o nuova.

Il Il Risultato: Qui, le regole si sono invertite. I modelli più grandi e intelligenti sono diventati molto più bravi a individuare le metafore creative.
L'Analogia: In una fabbrica di giocattoli controllata, il grande detective brilla. Poiché i giocattoli sono perfetti e le regole sono rigide, il cervello enorme può usare la sua enorme potenza per vedere le sottili differenze che il piccolo detective perde.

Il trucco del "Cloze": Guardare in entrambe le direzioni

I ricercatori hanno anche provato un nuovo trucco. La "sorpresa" standard guarda solo le parole prima della parola bersaglio (come leggere una frase da sinistra a destra). Ma per capire una metafora, spesso è necessario vedere anche cosa viene dopo di essa.

Hanno creato un metodo "Cloze" (come un gioco di riempimento degli spazi vuoti). Hanno nascosto la parola metaforica, mostrato al modello l'intera frase (incluso il finale) e chiesto: "Quale parola va qui?"

Il Risultato: Questo approccio di "guardare in entrambe le direzioni" generalmente rendeva il computer più intelligente nell'individuare le metafore. Era come dare al detective una mappa di tutta la strada invece di solo l'angolo dove si trovava. Tuttavia, questo trucco funzionava meglio per le frasi del "Mondo Reale" e a volte confondeva i modelli nelle frasi della "Fabbrica di Giocattoli".

E quanto riguarda l'insegnare all'IA a parlare come un essere umano?

Il team ha anche provato a usare modelli "Instruction-Tuned" (IA che sono state istruite per seguire le istruzioni umane e chiacchierare gentilmente).

Il Risultato: Sorprendentemente, rendere l'IA capace di parlare più come un essere umano non l'ha resa più brava a individuare metafore creative. In realtà, per alcuni modelli, l'ha resa peggio in questo specifico problema matematico. Essere "chiacchieroni" non le ha aiutate a essere "creative".

Il punto fondamentale

L'articolo conclude che la "sorpresa" (quanto una parola sia inaspettata) è uno strumento discreto per trovare metafore creative, ma non è una bacchetta magica.

Funziona moderatamente bene (circa il 40-50% di correlazione), il che significa che è utile ma tutt'altro che perfetta.
Il contesto conta: Che l'IA stia guardando testi disordinati del mondo reale o testi puliti e di laboratorio, tutto cambia.
La dimensione conta: Più grande non è sempre meglio; a volte un modello più piccolo è più acuto, a seconda dei dati.

In breve, sebbene i computer possano ottenere un indizio della creatività umana misurando quanto sono "sorpresi", essi faticano ancora a comprendere appieno la magia di una metafora veramente nuova. Hanno bisogno di qualcosa di più di un semplice metro della sorpresa per comprendere l'arte del linguaggio.

Sintesi Tecnica: Sorpresa e Giudizi di Novità delle Metafore

Problema
Il documento affronta la sfida di quantificare la creatività linguistica, specificamente la distinzione tra metafore convenzionali e nuove, utilizzando i Large Language Models (LM). Sebbene la comprensione della metafora comporti processi semantici complessi e mappature cross-dominio, separare le metafore nuove da quelle convenzionali rimane difficile per gli annotatori umani ed è raramente considerato nell'analisi computazionale delle metafore. Gli autori indagano se la sorpresa (surprisal) — una misura probabilistica di prevedibilità definita come il logaritmo negativo della probabilità di una parola nel contesto ( $-\log p(w_i | w_{<i})$ ) — possa servire come metrica affidabile per la novità della metafora. Mirano a determinare se la sorpresa degli LM correli con le annotazioni umane di novità e a comprendere come la dimensione del modello, il tipo di dataset (basato su corpus o sintetico) e la modellazione del contesto influenzino tale correlazione.

Metodologia
Lo studio impiega un design sperimentale sistematico che coinvolge quattro dataset e 16 varianti di LM causali:

Dataset:
- Basati su corpus: Due sottoinsiemi del VU Amsterdam Metaphor Corpus (VUAMC).
  - VUA-ratings: Contiene punteggi di novità continui (da -1 a +1) derivati da un metodo di best-worst scaling tramite crowdsourcing.
  - VUA-dictionary: Contiene etichette di novità binarie basate su un metodo basato su dizionario, dove una metafora è considerata nuova se il suo significato contestuale è assente dalle voci del dizionario.
- Sintetici: Due dataset controllati.
  - Lai2009: Stimoli psicolinguistici con strutture fisse contenenti usi letterali, convenzionali, nuovi e anomali di parole specifiche.
  - GPT-4o-metaphors: Un dataset "toy" generato tramite prompting di GPT-4o per creare frasi con sensi convenzionali e nuovi di specifici verbi e nomi.
Modelli:
- Tre famiglie di LM causali decoder-only: GPT-2 (4 dimensioni), Llama 3 (3 dimensioni) e Qwen2.5 (3 dimensioni).
- Sono state valutate sia le varianti base che quelle instruction-tuned per valutare l'impatto dell'allineamento sulla sorpresa.
Calcolo della Sorpresa:
- Sorpresa diretta (Direct-surprisal): Sorpresa standard da sinistra a destra calcolata sulla parola target dato il contesto precedente.
- Sorpresa Cloze (Cloze-surprisal): Un metodo innovativo proposto dagli autori per incorporare il contesto a destra. La parola target viene sostituita da un vuoto, la frase completa (inclusa la target) viene apposta come completamento, e la sorpresa viene misurata per la parola target nella seconda occorrenza. Questo condiziona la probabilità sul contesto dell'intera frase.
Valutazione:
- Sono state calcolate metriche di correlazione (Pearson's $r$ , Spearman's $\rho$ , Rank-biserial $r_b$ e AUC) tra i punteggi di sorpresa e le annotazioni di novità.
- Le analisi sono state condotte attraverso diverse dimensioni di modelli, tipi di dataset e split di genere (fiction, news, academic, conversation).

Risultati Chiave

Correlazioni Moderate: La sorpresa degli LM produce correlazioni significative, positive ma moderate con le annotazioni di novità delle metafore in tutti i dataset. I risultati più forti sono stati osservati con GPT-2-base su VUA-ratings ( $r = .419$ , $r_b = .638$ ).
Effetti di Scaling Divergenti: La relazione tra la dimensione del modello e la forza della correlazione dipende dal tipo di dataset:
- Dati basati su corpus: Mostrano un effetto di scaling inverso. La forza della correlazione diminuisce all'aumentare della dimensione del modello. Gli autori attribuiscono ciò al fatto che i modelli più grandi assegnano aspettative non umane a parole rare, che spesso correlano con la novità nei corpora naturali.
- Dati sintetici: Mostrano un'ipotesi di "qualità-potenza" (quality-power hypothesis, scaling positivo). La forza della correlazione aumenta con la dimensione del modello, probabilmente perché i dataset sintetici controllano la frequenza e l'identità lessicale, isolando più efficacemente la dimensione della novità.
Sorpresa Cloze: Il metodo della sorpresa cloze proposto dagli autori migliora generalmente le correlazioni, in particolare per i modelli GPT-2 su dati basati su corpus (ad esempio, portando $r_b$ a .687 su VUA-ratings). Esso sposta la distribuzione dei valori di sorpresa lontano dallo zero, catturando meglio il contesto completo necessario per l'elaborazione delle metafore. Tuttavia, occasionalmente peggiora le prestazioni sui dataset sintetici.
Instruction-tuning: L'instruction-tuning non migliora costantemente la correlazione tra sorpresa e novità. In molti casi, in particolare per i modelli Qwen e sui dataset sintetici, l'instruction-tuning ha ridotto la correlazione rispetto ai modelli base.
Effetti di Genere: La forza della correlazione varia per genere, mostrando una relazione con la densità metaforica e la perplessità del modello. Ad esempio, il genere "conversation" ha mostrato un'alta perplessità ma una forte correlazione con le etichette di novità basate sul dizionario.

Significatività e Affermazioni
Il documento conclude che, sebbene la sorpresa possa spiegare parzialmente le annotazioni della novità delle metafore, essa rimane una metrica limitata per la creatività linguistica se presa singolarmente. Gli autori sostengono che l'interpretazione delle metafore comporta l'integrazione semantica e la mappatura cross-dominio, che vanno oltre la semplice prevedibilità.

Il contributo primario dello studio risiede nella rivelazione di pattern di scaling divergenti in base alla natura del dataset. Suggerisce che lo "scaling inverso" osservato negli studi sui tempi di lettura su dati di corpus possa essere guidato da confondimenti di frequenza lessicale, mentre i dati sintetici, che controllano questi fattori, rivelano un effetto di scaling positivo. Gli autori sollecitano nuove misure e dataset che forniscano annotazioni sistematiche della novità delle metafore attraverso generi e contesti, notando che le attuali annotazioni di alta qualità sono scarse. Posizionano la sorpresa come uno strumento promettente ma incompleto, da utilizzare meglio in combinazione con altre metriche che mirano direttamente alle interpretazioni innovative e alle mappature di dominio.