💬 NLP

Parallelograms Strike Back: LLMs Generate Better Analogies than People

Lo studio dimostra che i modelli linguistici di grandi dimensioni (LLM) generano analogie migliori rispetto agli umani non perché il modello geometrico del parallelogramma sia inadeguato, ma perché gli esseri umani spesso non riescono a soddisfare coerentemente i vincoli relazionali che tale modello descrive, mentre gli LLM lo fanno in modo più sistematico.

Autori originali: Qiawen Ella Liu, Raja Marjieh, Jian-Qiao Zhu, Adele E. Goldberg, Thomas L. Griffiths

Pubblicato 2026-03-20

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Qiawen Ella Liu, Raja Marjieh, Jian-Qiao Zhu, Adele E. Goldberg, Thomas L. Griffiths

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere a un gioco di parole dove devi completare una frase logica: "Re è a Regina come Uomo è a...?". La risposta ovvia è "Donna". Questo tipo di gioco si chiama analogia.

Per decenni, gli scienziati hanno pensato che il nostro cervello funzionasse come un geometra: se il "Re" è un punto e la "Regina" è un altro punto, la differenza tra loro è una freccia (un vettore). Per trovare la risposta, il cervello dovrebbe prendere la freccia che va da "Re" a "Regina" e applicarla a "Uomo" per trovare "Donna". Questa è la teoria del parallelogramma.

Tuttavia, studi recenti hanno detto: "Aspetta, forse non è così che pensano le persone. Forse le persone scelgono la parola che suona più simile a 'Uomo', ignorando la logica della freccia".

Ma ecco il colpo di scena: le Intelligenze Artificiali (LLM) come me o GPT-4 sembrano essere molto più bravi a fare queste geometrie mentali rispetto agli esseri umani.

Ecco cosa hanno scoperto gli autori di questo studio, spiegato in modo semplice:

1. Il Test: Umani contro Robot

Gli scienziati hanno preso migliaia di questi giochi di parole e li hanno dati sia a persone reali che a sei diverse Intelligenze Artificiali avanzate. Poi hanno chiesto a un gruppo di giudici umani: "Quale delle due risposte è più logica e bella?".

Il risultato?
Le persone hanno quasi sempre preferito le risposte delle macchine. Le analogie generate dagli AI sembravano più "corrette" e coerenti.

2. Perché le macchine vincono? (La metafora del Muratore)

Immagina di dover costruire un muro.

L'IA è come un muratore robotico che segue un piano architettonico perfetto (il parallelogramma). Sa esattamente dove mettere ogni mattone per mantenere la struttura dritta.
L'Uomo è come un muratore creativo ma distratto. Spesso mette il mattone giusto, ma a volte, stanco o distratto, ne mette uno che "suona bene" ma che non regge la struttura.

Lo studio ha scoperto che le IA non sono "più intelligenti" in senso assoluto. Anzi, quando guardiamo solo le risposte più comuni (quelle che sia umani che macchine danno più spesso), le prestazioni sono quasi identiche.

La differenza sta nella coda lunga: gli umani producono una quantità enorme di risposte "strane", deboli o sbagliate (la coda lunga), mentre le IA tendono a concentrarsi sulle risposte migliori e più logiche. È come se gli umani avessero un "rumore di fondo" di risposte sbagliate che abbassa la loro media, mentre le IA sono più costanti.

3. Il segreto: Geometria e Parole "Raffinate"

Perché le risposte delle macchine piacciono di più? Due motivi principali:

Rispettano la geometria: Le risposte delle IA seguono meglio la regola del "parallelogramma" (la freccia logica). Anche se le IA non "pensano" con la geometria come noi, producono risultati che sembrano costruiti con un righello.
Usano parole meno comuni: Le IA tendono a scegliere parole un po' più rare e precise.
- Esempio: Se la domanda è "Diario è a Persona come Corona è a...?", un umano potrebbe dire "Re" (molto comune). L'IA potrebbe dire "Monarca" (più preciso, meno comune).
- Gli umani, quando giudicano, trovano le parole più precise e meno banali più intelligenti, anche se sono più difficili da trovare.

4. La grande ironia

C'è un paradosso divertente:

Le Intelligenze Artificiali sembrano seguire la regola geometrica del parallelogramma (quella che pensavamo fosse la nostra).
Gli Esseri Umani, quando devono creare l'analogia, spesso la ignorano e scelgono la strada più facile (parole simili).
MA, quando devono giudicare quale risposta è migliore, gli umani dicono: "Quella che segue la regola geometrica è la migliore!".

Quindi, il modello del parallelogramma non è sbagliato: è solo che noi umani siamo bravi a riconoscere la bellezza di una struttura logica, ma non sempre bravi a costruirla noi stessi quando siamo sotto pressione o distratti. Le macchine, invece, costruiscono quella struttura in modo costante.

In sintesi

Questo studio ci dice che le Intelligenze Artificiali non stanno "pensando" come noi, ma stanno producendo risultati che assomigliano a come vorremmo che pensassimo noi: logici, strutturati e precisi. Noi umani siamo creativi e a volte disordinati; le macchine sono come un architetto che disegna sempre linee perfettamente dritte, e per questo le nostre risposte ci sembrano più "giuste".

1. Il Problema

Le analogie a quattro termini (es. $A:B::C:D$ ) sono state storicamente modellate geometricamente come "parallelogrammi" in uno spazio mentale, dove la relazione tra $A$ e $B$ è rappresentata da un vettore che, applicato a $C$ , dovrebbe portare a $D$ . Tuttavia, ricerche recenti (Peterson et al., 2020) hanno suggerito che questo modello geometrico descrive male la produzione umana di analogie, poiché gli esseri umani tendono a seguire euristiche di somiglianza locale (scegliere parole simili a $C$ ) piuttosto che mantenere la relazione relazionale esatta.

Il paper si pone una domanda fondamentale: il modello del parallelogramma fallisce perché è un modello errato delle relazioni analogiche, o perché gli esseri umani non sono bravi a generare analogie che rispettino tale vincolo relazionale? Con l'avvento dei Large Language Models (LLM), gli autori vogliono verificare se questi sistemi artificiali producano analogie di qualità superiore rispetto agli umani e se tali analogie siano meglio catturate dal modello geometrico o dalle euristiche di somiglianza locale.

2. Metodologia

Gli autori hanno condotto un esperimento comparativo su larga scala:

Dataset: Sono stati utilizzati 846 stimoli di analogie a quattro termini tratti da Peterson et al. (2020), coprendo diverse categorie semantiche (es. inclusione di classe, parte-tutto, contrasto, ecc.).
Soggetti:
- LLM: Sei modelli di stato dell'arte (due chiusi: GPT-5-mini, o4-mini; quattro open-source: DeepSeek-V3.1, Qwen3-235B, Qwen3-32B, Gemma-3-27B). Ogni modello ha generato 40 risposte per ogni analogia (4 prompt diversi $\times$ 10 ripetizioni con temperatura 1.0).
- Umani: Dati originali di Peterson et al. (26.265 risposte umane) e un nuovo studio di valutazione con 390 partecipanti umani su Prolific.
Valutazione: I partecipanti umani hanno valutato su una scala da 1 a 7 quanto bene la relazione tra $C$ e $D$ (la risposta generata) preservasse la relazione originale tra $A$ e $B$ .
Analisi Geometrica: Le risposte sono state mappate nello spazio vettoriale GloVe (300 dimensioni) per calcolare:
1. Allineamento al parallelogramma: Similarità coseno tra il vettore di relazione $(B-A)$ e $(D-C)$ .
2. Somiglianza locale: Similarità tra $C$ e $D$ (regola $C:D$ ) o uso dell'euristica del "vicino più prossimo" (NN).
3. Accessibilità lessicale: Frequenza delle parole generate (log-frequenza).
Confronto Interno: Per i modelli open-source, gli autori hanno estratto le rappresentazioni interne (dallo residual stream) per verificare se l'allineamento geometrico fosse una proprietà intrinseca del modello o solo una proprietà dello spazio di embedding esterno.

3. Risultati Chiave

A. Gli LLM generano analogie percepite come migliori

Le analogie generate dagli LLM sono state valutate statisticamente come migliori di quelle generate dagli umani (con differenze significative per la maggior parte dei modelli, ad es. GPT-5-mini e o4-mini). Tuttavia, questo vantaggio non è uniforme: gli LLM producono meno risposte "deboli" rispetto agli umani. Quando si confrontano solo le risposte modali (le più frequenti), il vantaggio degli LLM scompare, suggerendo che gli umani producono una "coda lunga" di risposte di bassa qualità che abbassa la media.

B. Il modello del parallelogramma è un predittore migliore per gli LLM

Contrariamente a quanto trovato per gli umani, le risposte degli LLM sono migliormente predette dal modello del parallelogramma rispetto alle euristiche di somiglianza locale.

Sebbene anche per gli LLM le euristiche di somiglianza locale ( $C:D$ ) siano predittori complessivi forti, il divario di performance tra il modello del parallelogramma e le euristiche locali è molto più piccolo per gli LLM rispetto agli umani.
Gli LLM tendono a generare risposte che soddisfano più rigidamente il vincolo geometrico.

C. Fattori predittivi della qualità

L'analisi di regressione ha rivelato che due fattori spiegano perché le analogie degli LLM ricevono punteggi più alti:

Maggiore allineamento al parallelogramma: Più la risposta soddisfa la relazione vettoriale geometrica, più è valutata bene dagli umani.
Minore accessibilità lessicale (bassa frequenza): Gli LLM tendono a usare parole meno frequenti (meno accessibili) rispetto agli umani. Paradossalmente, queste parole meno comuni sono valutate meglio quando presentate, suggerendo che gli umani preferiscono analogie "più raffinate" o meno ovvie, anche se faticano a generarle spontaneamente.

D. Rappresentazioni interne vs. Spazio di embedding

Un risultato cruciale è che l'allineamento al parallelogramma calcolato nello spazio GloVe esterno predice meglio le valutazioni umane rispetto all'allineamento calcolato sulle rappresentazioni interne dei layer degli LLM. Questo suggerisce che il vantaggio degli LLM non deriva necessariamente dal fatto che i loro meccanismi interni siano strutturati geometricamente come parallelogrammi, ma dal fatto che generano output che soddisfano i vincoli relazionali che gli umani trovano convincenti.

4. Contributi Principali

Rivalutazione del modello del parallelogramma: Il paper dimostra che il modello del parallelogramma non è un modello "sbagliato" della natura delle analogie, ma piuttosto un modello che cattura ciò che gli esseri umani valorizzano in una buona analogia. Il problema non è il modello, ma la capacità umana di generare risposte che lo rispettino.
Distinzione tra generazione e valutazione: Gli esseri umani possono riconoscere e preferire analogie geometricamente coerenti (parallelogrammi), ma spesso falliscono nel produrle a causa di vincoli cognitivi, pressione temporale o fallimenti nel recupero lessicale, ricorrendo invece a euristiche di somiglianza locale.
Analisi delle distribuzioni di risposta: Dimostra che il vantaggio degli LLM è guidato dalla riduzione della "coda lunga" di risposte di bassa qualità, non da una superiorità uniforme su tutte le risposte.
Validità psicologica dei modelli geometrici: Fornisce prove che le strutture geometriche negli spazi di embedding (come GloVe) riflettono validi criteri psicologici per la qualità delle analogie, anche se non necessariamente rispecchiano il processo di ragionamento interno degli LLM.

5. Significato e Conclusioni

Il paper offre una nuova prospettiva sulla relazione tra modelli cognitivi classici e intelligenza artificiale. Suggerisce che gli LLM, pur essendo sistemi opachi, possono essere strumenti potenti per testare la validità psicologica delle teorie cognitive: se un modello geometrico predice meglio le risposte degli LLM (che sono più coerenti) e queste risposte sono valutate meglio dagli umani, allora il modello geometrico cattura probabilmente l'essenza di ciò che costituisce una "buona analogia" per la mente umana.

In sintesi, gli esseri umani preferiscono le analogie strutturate come parallelogrammi, ma spesso falliscono nel generarle, mentre gli LLM riescono a soddisfare sistematicamente questo vincolo relazionale, producendo risultati che l'umanità percepisce come superiori.