💻 computer science

Can LLMs interpret figurative language as humans do?: surface-level vs representational similarity

Sebbene i grandi modelli linguistici si allineino agli esseri umani sull'interpretazione superficiale del dialogo, essi divergono significativamente a livello rappresentazionale, in particolare quando elaborano il linguaggio figurato contestuale e socio-pragmatico come idiomi, slang e sarcasmo, con GPT-4 che dimostra l'approssimazione più vicina ai modelli umani tra i modelli testati.

Autori originali: Samhita Bollepally, Aurora Sloman-Moll, Takashi Yamauchi

Pubblicato 2026-01-15

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Samhita Bollepally, Aurora Sloman-Moll, Takashi Yamauchi

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot come comprendere le battute, il sarcasmo e lo slang umano. Gli mostri una frase come "Questo cibo è gas" (ovvero, è fantastico) e gli chiedi: "È divertente?" o "È positivo?".

Un nuovo studio condotto dai ricercatori della Texas A&M University pone una domanda complicata: quando il robot dà la stessa risposta di un essere umano, sta davvero pensando nello stesso modo di un essere umano?

Ecco la scomposizione delle loro scoperte, utilizzando alcune analogie quotidiane.

L'esperimento: Il "Test del Gusto"

I ricercatori hanno allestito un enorme test del gusto, ma invece del gelato, hanno usato 240 frasi diverse. Queste frasi coprivano sei "gusti" del linguaggio:

Convenzionale: Frasi normali (es. "Il cane è fuori").
Idiomatico: Espressioni in cui le parole non significano ciò che dicono (es. "Addio ai sensi" o "Mordersi la lingua").
Emotivo: Frasi piene di sentimenti.
Divertente: Battute e giochi di parole.
Sarcastico: Dire l'opposto di ciò che si intende.
Slang della Gen Z: Linguaggio moderno di internet (es. "Questo cibo è gas").

Hanno chiesto a 211 esseri umani e a quattro diversi modelli di IA (inclusi GPT-4, Llama e Mistral) di valutare ogni frase su 40 diverse domande, come "È positivo?" o "È preoccupante?", su una scala da 1 a 10.

I due modi per confrontare: Il "Punteggio" vs La "Mappa"

I ricercatori hanno analizzato i risultati in due modi molto diversi:

1. Somiglianza superficiale (Il Tabellone dei punteggi)
Questo è come guardare il punteggio finale di una partita di calcio. Se l'IA dice "8/10" per una battuta e un essere umano dice "8/10", sembrano essere d'accordo.

La scoperta: Su questo livello, i modelli di IA, specialmente il più intelligente (GPT-4), sembravano molto simili agli umani. Davano punteggi simili a quelli degli umani per la maggior parte delle frasi. Sembrava che fossero nella stessa squadra.

2. Somiglianza rappresentazionale (La Mappa)
Questa è la parte più profonda. Immagina che tu e un tuo amico stiate entrambi disegnando la mappa di una città.

Mappa Umana: Tu sai che la "Pizzeria" si trova proprio accanto al "Parco", e che la "Scuola" è lontana dal "Cimitero". La tua mappa ha una struttura specifica basata su come comprendi il mondo.
Mappa dell'IA: L'IA potrebbe anche mettere la "Pizzeria" e il "Parco" vicini, ma per i motivi sbagliati. Magari pensa che siano vicini perché entrambi contengono la parola "posto", non per come funzionano nella vita reale.

I ricercatori hanno utilizzato uno strumento matematico chiamato Analisi della Somiglianza Rappresentazionale (RSA) per confrontare la struttura di queste mappe. Non si sono limitati a controllare se i punteggi corrispondevano; hanno controllato se le relazioni tra le frasi erano le stesse.

La Grande Rivelazione: L'effetto "Impostore"

Ecco cosa hanno scoperto:

La superficie è ingannevole: I modelli di IA erano bravissimi a imitare i punteggi umani. Se chiedevi "È sarcastico?", l'IA spesso rispondeva "Sì", proprio come farebbe un essere umano.
La Mappa è diversa: Quando i ricercatori hanno guardato le "mappe" sottostanti, l'IA e gli esseri umani erano in realtà piuttosto distanti. L'IA organizzava il significato delle frasi in modo diverso rispetto agli umani.

L'analogia:
Pensa all'IA come a un molto talentuoso pappagallo.

Se chiedi al pappagallo "Questa frase è divertente?", può rispondere "Sì" perfettamente, proprio come un essere umano.
Ma il pappagallo non capisce davvero la battuta. Sa solo che quando gli umani sentono questo specifico schema di parole, di solito dicono "Sì".
L'essere umano, invece, capisce la battuta perché comprende il contesto sociale, il tono e il significato nascosto.

I Risultati per "Gusto"

Lo studio ha scoperto che le "capacità da pappagallo" dell'IA funzionavano meglio per alcuni tipi di linguaggio rispetto ad altri:

Frasi Emotive e Convenzionali: La mappa dell'IA era in qualche modo simile alla mappa umana. È più facile indovinare che "Sono triste" sia negativo rispetto a indovinare che "Sono così eccitato che mi sono bagnato le piante" sia divertente.
Idiomi, Sarcasmo e Slang: È qui che l'IA è fallita nel "Test della Mappa".
- Idiomi: Quando gli umani sentono "Break a leg" (In bocca al lupo), sanno che significa "Buona fortuna". L'IA spesso ha difficoltà a mappare correttamente questo concetto verso l'idea di "buona fortuna" senza confondersi con le parole letterali "rompere" e "gamba".
- Sarcasmo e Slang: Questi dipendono fortemente dal contesto sociale e dalle esperienze umane condivise (come lo slang della Gen Z). La mappa interna dell'IA per questi elementi era molto diversa dalla mappa umana. Era come se l'IA stesse parlando una lingua diversa, anche se le parole sembravano le stesse.

Il "Grande Cervello" vs Il "Piccolo Cervello"

Lo studio ha confrontato diversi modelli di IA:

GPT-4: Questo era il "grande cervello". Aveva la mappa più simile a quella umana, ma non era comunque un match perfetto. Era la cosa più vicina a un essere umano, ma presentava comunque delle lacune.
Modelli più piccoli (Llama, Mistral): Erano più distanti. Le loro mappe erano molto diverse da quelle umane, specialmente per quanto riguarda le cose complicate come il sarcasmo e lo slang.

Il Punto Fondamentale

Il documento conclude che solo perché un'IA dà la stessa risposta di un essere umano, non significa che comprenda il linguaggio nello stesso modo.

L'IA è eccellente nel riconoscimento di pattern (imitare il tabellone dei punteggi), ma manca del profondo "ancoraggio" sociale e contestuale che hanno gli esseri umani. Organizza il significato in un modo unico, che funziona bene per compiti semplici, ma che cade a pezzi quando il linguaggio diventa complicato, emotivo o culturalmente specifico.

In breve: L'IA è un attore molto bravo che può recitare le parti giuste, ma non necessariamente prova le emozioni che ci sono dietro.

Riepilogo Tecnico: Gli LLM interpretano il linguaggio figurato come gli esseri umani?

Definizione del Problema

Sebbene i Large Language Models (LLM) generino testi che somigliano all'output umano, rimane incerto il grado in cui essi si allineino ai giudizi umani nell'interpretazione del linguaggio figurato e socialmente radicato. La letteratura esistente suggerisce che gli LLM possano eguagliare gli umani nei giudizi di superficie (ad es., precisione grammaticale o sentimento di base), ma divergano nei processi interpretativi più profondi che coinvolgono pragmatica, contesto ed esperienza soggettiva. Nello specifico, non è chiaro se gli LLM possiedano il radicamento cognitivo necessario per organizzare il significato in uno spazio semantico condiviso con gli esseri umani, particolarmente per tratti linguistici complessi come idiomi, sarcasmo, umorismo, tono emotivo e lo slang della Generazione Z. La ricerca attuale si basa spesso sull'accordo aggregato (somiglianza a livello di superficie), il che può mascherare i fallimenti nel catturare le distinzioni fini richieste dai fenomeni pragmatici sfumati.

Metodologia

Per affrontare questo problema, gli autori hanno condotto uno studio confrontando partecipanti umani e quattro LLM istruiti tramite istruzioni (GPT-4, Gemma-2-9B, Llama-3.2 e Mistral-7B) utilizzando l'Analisi della Similarità Rappresentazionale (RSA).

Dati e Stimoli

Stimoli: È stato compilato un dataset di 240 frasi basate su dialoghi, suddiviso in 120 frasi "sensate" (contenenti un tratto linguistico specifico) e 120 frasi "non sensate" (strutturalmente simili ma prive del tratto chiave).
Categorie: Le frasi sono state classificate in sei tratti linguistici: Convenzionale, Idiomatico, Emotivo, Divertente, Sarcastico e Slang della Gen Z.
Valutazione: Ogni frase è stata accoppiata a 40 domande interpretative (ad es., "È sarcastico?", "È rilevante per te?") progettate per valutare significato, tono e qualità espressiva.
Scala: Sia gli umani che i modelli hanno valutato le frasi su una scala Likert a 10 punti, risultando in 9.600 coppie frase-domanda.

Partecipanti

Umani: 211 studenti universitari della Texas A&M University.
Modelli: Quattro LLM decoder-only, istruiti tramite istruzioni, accessibili tramite API o Hugging Face.
Condizioni: Sono stati condotti due studi. Lo Studio 1 ha utilizzato un prompt zero-shot standard. Lo Studio 2 ha introdotto vincoli raffinati (limiti rigorosi di valutazione da 1 a 10 e giustificazioni a singola frase) per valutare la sensibilità al prompt.

Framework Analitico

Lo studio ha distinto tra due livelli di allineamento:

Similarità a Livello di Superficie (SLS): Calcolata tramite coefficienti di correlazione di Pearson tra le valutazioni umane e quelle del modello per specifiche categorie di frasi. Questo misura l'accordo al livello dell'output.
Similarità Rappresentazionale (RSA): Questo metodo esamina la struttura interna dell'interpretazione.
- Sono state calcolate le distanze euclidee a coppie tra tutte le coppie di frasi basate sui vettori di valutazione a 40 dimensioni, creando una Matrice di Dissimilarità Rappresentazionale (RDM) sia per gli umani che per ogni modello.
- L'RSA ha quantificato l'allineamento correlando le voci della parte superiore della matrice RDM umana con le matrici RDM dei modelli.
- Significato: Un'alta correlazione RSA indica che gli umani e i modelli organizzano le frasi in modi strutturalmente simili all'interno dei loro spazi semantici, anche se i valori assoluti delle valutazioni differiscono. Una bassa correlazione RSA suggerisce geometrie rappresentazionali interne divergenti.

Risultati Chiave

Similarità a Livello di Superficie (SLS)

Allineamento Generale: I modelli, in particolare GPT-4, hanno mostrato un forte allineamento a livello di superficie con gli umani (correlazioni $r \approx 0.60–0.90$ per le frasi sensate).
Gerarchia dei Modelli: GPT-4 ha costantemente superato gli altri modelli. Gemma e Mistral hanno mostrato un allineamento moderato, mentre Llama-3.2 ha presentato l'allineamento più debole, specialmente per le categorie figurative.
Differenze di Categoria: Le frasi convenzionali ed emotive hanno prodotto correlazioni più elevate rispetto a umorismo, sarcasmo e slang.
Sensibilità al Prompt: Lo Studio 2 (prompt raffinati) ha mostrato modesti miglioramenti nell'SLS tra i modelli, ma le frasi non sensate sono rimaste problematiche.

Similarità Rappresentazionale (RSA)

Divergenza: Nonostante l'alto accordo a livello di superficie, l'RSA ha rivelato una divergenza sistematica tra gli spazi rappresentazionali dei modelli e degli umani.
Linguaggio Figurato: L'allineamento era significativamente più debole per le categorie pragmaticamente ricche (idiomi, sarcasmo, slang della Gen Z) rispetto alle categorie convenzionali o emotive.
- GPT-4 ha mostrato l'allineamento rappresentazionale più forte ( $r \approx 0.50–0.85$ per le frasi sensate), ma è rimasto comunque al di sotto della coerenza umano-umano ( $r \approx 0.75–0.85$ ).
- I modelli più piccoli (Llama, Mistral) hanno mostrato un allineamento rappresentazionale molto basso ( $r \approx 0.10–0.35$ ) per le categorie figurative.
Frasi Non Sensate: I modelli hanno faticato a distinguere le varianti sensate da quelle non sensate nelle loro rappresentazioni interne, con correlazioni che sono diminuite significativamente rispetto ai baseline umani.
Impatto del Prompt: Sebbene i prompt raffinati abbiano migliorato le valutazioni a livello di superficie, non hanno sostanzialmente ristrutturato l'organizzazione semantica interna dei modelli, in particolare per Llama.

Contributi Principali

Distinzione Metodologica: Lo studio separa esplicitamente l'accordo comportamentale a livello di superficie dall'allineamento strutturale rappresentazionale, dimostrando che un'alta correlazione nelle valutazioni non garantisce un'organizzazione semantica interna condivisa.
Evidenza Empirica di Divergenza: Fornisce prove del fatto che gli LLM, anche i modelli allo stato dell'arte come GPT-4, non riescono a replicare pienamente le geometrie rappresentazionali simili a quelle umane per il linguaggio figurato, in particolare per tratti dipendenti dal contesto come il sarcasmo e lo slang.
Gerarchia dei Modelli: Stabilisce una gerarchia costante in cui GPT-4 approssima i modelli rappresentazionali umani più da vicino rispetto ai modelli più piccoli, pur non raggiungendo la affidabilità umano-umana.
Intuizioni sui Meccanismi: I risultati suggeriscono che gli attuali obiettivi di addestramento (predizione del prossimo token) siano insufficienti a vincolare l'organizzazione interna del significato per l'inferenza pragmatica, portando i modelli a fare affidamento su euristiche di superficie piuttosto che su un radicamento semantico stabile.

Significato e Rivendicazioni

L'articolo sostiene che, sebbene gli LLM possano approssimare i giudizi umani a un livello di superficie, non possiedono ancora la struttura rappresentazionale necessaria per un'interpretazione del linguaggio figurato e socialmente radicato che sia realmente simile a quella umana.

Limiti degli Attuali Modelli: I risultati supportano la visione secondo cui gli LLM si affidano al matching di pattern distribuzionali piuttosto che a un radicamento semantico stabile. L'incapacità di allinearsi sulla geometria rappresentazionale per idiomi e slang suggerisce una mancanza di supervisione sensibile al contesto e di radicamento sociale nelle attuali architetture.
Implicazioni per la Valutazione: Gli autori sostengono che valutare gli LLM esclusivamente sulla precisione dell'output o sulle correlazioni di superficie sia insufficiente. I futuri framework devono indagare come il significato è organizzato internamente (tramite metodi come l'RSA) piuttosto che solo cosa viene generato come output.
Ambito Limitato: Gli autori riconoscono i limiti, tra cui la dimensione relativamente piccola del dataset, la mancanza di ricchi indizi contestuali negli stimoli (cruciali per sarcasmo e umorismo) e l'assunzione che umani e LLM condividano framework comparabili. Di conseguenza, le rivendicazioni sono delimitate all'interpretazione pragmatica indipendente dal contesto, suggerendo che i gap osservati possano essere esacerbati dall'assenza di un contesto di discorso del mondo reale.

In conclusione, lo studio pone che gli attuali LLM codificano il linguaggio figurato in spazi rappresentazionali che sono solo parzialmente allineati con l'organizzazione semantica umana, evidenziando un divario fondamentale tra la generazione di un testo simile a quello umano e il possesso di un radicamento cognitivo umano per il linguaggio pragmatico.