💬 NLP

Is This Just Fantasy? Language Model Representations Reflect Human Judgments of Event Plausibility

Questo studio dimostra che le rappresentazioni lineari nei modelli linguistici catturano giudizi di plausibilità degli eventi più affidabili di quanto precedentemente ritenuto, rivelando una correlazione con il comportamento umano nella categorizzazione modale e offrendo nuove prospettive sulla distinzione tra categorie di possibilità sia nelle macchine che nelle persone.

Autori originali: Michael A. Lepori, Jennifer Hu, Ishita Dasgupta, Roma Patel, Thomas Serre, Ellie Pavlick

Pubblicato 2026-02-27

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Michael A. Lepori, Jennifer Hu, Ishita Dasgupta, Roma Patel, Thomas Serre, Ellie Pavlick

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un'intelligenza artificiale (un "cervello digitale" chiamato Modello Linguistico) che ha letto quasi tutto internet. Questo cervello è bravissimo a scrivere storie, rispondere a domande e persino a inventare mondi magici. Ma c'è un problema: come fa a sapere la differenza tra una cosa che può succedere davvero, una cosa che è impossibile (come volare senza ali) e una cosa che è assurda (come "il colore verde invidia furiosamente")?

Questo è il cuore del nuovo studio presentato alla conferenza ICLR 2026 da ricercatori di Brown University, Johns Hopkins e Google DeepMind. Il titolo provocatorio è: "È solo fantasia?".

Ecco cosa hanno scoperto, spiegato con parole semplici e qualche metafora creativa.

1. Il Problema: L'AI confonde la realtà con il sogno?

Per molto tempo, gli scienziati pensavano che queste intelligenze artificiali non capissero davvero la differenza tra realtà e fantasia. Pensavano che si basassero solo su una "scommessa": "Quanto è probabile che appaia questa parola dopo l'altra?".
È come se un cuoco giudicasse un piatto solo contando quante volte gli ingredienti appaiono nelle ricette, senza assaggiarlo. Se il piatto è assurdo (es. "una zuppa fatta di orologi"), il cuoco potrebbe comunque dirlo "probabile" se le parole "zuppa" e "orologi" appaiono spesso insieme in contesti strani.

2. La Scoperta: L'AI ha una "Bussola Interna"

I ricercatori hanno scoperto che queste intelligenze artificiali hanno qualcosa di più profondo: una bussola interna fatta di linee matematiche (chiamate "vettori di differenza modale").
Immagina che dentro il cervello dell'AI ci siano delle freccette invisibili.

Una freccetta punta verso la "Realtà Probabile".
Un'altra punta verso l'"Impossibile Fisico" (come un'auto che vola).
Un'altra ancora punta verso l'"Assurdo" (come un'idea che non ha senso).

Quando l'AI legge una frase, questa freccetta si muove. Se la frase è "Ho bevuto un caffè", la freccetta della realtà si illumina. Se è "Ho bevuto un'idea", la freccetta dell'assurdo si accende.
La sorpresa? Queste "bussoline" interne sono molto più precise nel distinguere la realtà dalla fantasia rispetto al semplice calcolo delle probabilità che l'AI fa quando parla.

3. Come cresce questa capacità? (L'evoluzione)

Gli scienziati hanno guardato come queste "bussoline" si formano mentre l'AI impara (durante l'addestramento). È come osservare un bambino che impara a distinguere le cose:

Prima cosa: L'AI impara subito a riconoscere l'assurdo (le cose che non hanno senso grammaticale o logico). È come dire: "Oh, questa frase è un disastro, non ha senso".
Poi: Impara a distinguere ciò che è reale da ciò che è impossibile (es. "bruciare un ghiaccio" vs "bruciare un fuoco").
Infine: Impara le sfumature più sottili, come la differenza tra qualcosa di improbabile (raro ma possibile) e qualcosa di probabile (comune).

Più grande è il cervello dell'AI (più parametri ha), più precisa diventa questa mappa interna.

4. L'AI pensa come noi?

La parte più affascinante è che queste "bussoline" interne dell'AI sembrano riflettere come pensiamo noi umani.
I ricercatori hanno fatto fare dei test a persone vere e poi hanno confrontato le risposte con le "bussoline" dell'AI.

Risultato: Quando una frase è "in mezzo" (né chiaramente reale né chiaramente assurda), sia gli umani che l'AI esitano.
La metafora: Immagina che l'AI e gli umani stiano guardando un dipinto astratto. Se il dipinto è chiaramente un albero, tutti dicono "è un albero". Se è un caos di colori, tutti dicono "non so". Ma se è un albero che ha le ruote, l'AI e gli umani si mettono d'accordo nel dire: "È strano, ma forse è possibile in un mondo alternativo".

5. Cosa significa "Immaginazione"?

Lo studio ha scoperto un dettaglio magico: la differenza tra qualcosa di impossibile (es. un uccello che parla) e qualcosa di inconcepibile (es. "il silenzio ha mangiato la sedia") dipende dalla nostra capacità di immaginarlo.
L'AI, attraverso queste "bussoline", sembra aver imparato che:

Se riesci a visualizzarlo nella tua mente (anche se non succede davvero), è "impossibile ma concepibile".
Se non riesci nemmeno a formare un'immagine mentale perché le parole si scontrano, è "inconcepibile".

In sintesi

Questo studio ci dice che le Intelligenze Artificiali non sono solo calcolatrici di parole. Hanno sviluppato una sorta di senso comune matematico che permette loro di distinguere la realtà dalla fantasia, proprio come facciamo noi.
Non solo: studiando come l'AI fa queste distinzioni, possiamo imparare qualcosa di nuovo su come funziona la nostra propria mente e su come distinguiamo il possibile dall'impossibile.

È come se avessimo trovato una mappa del tesoro nascosta dentro il cervello digitale, che ci mostra che, in fondo, l'AI e gli umani guardano il mondo con gli stessi "occhiali" per capire cosa è reale e cosa è solo fantasia.

1. Problema e Contesto

I modelli linguistici (LM) sono sempre più utilizzati per compiti che richiedono una comprensione del mondo reale, dalle basi di conoscenza alla generazione di narrazioni. Tuttavia, esiste un dibattito fondamentale sulla capacità degli LM di distinguere tra diverse categorie modali di una frase:

Probabile: Eventi comuni e possibili nel mondo reale.
Improbabile: Eventi possibili ma rari.
Impossibile: Eventi che violano le leggi della natura (fisica, biologia).
Inconcepibile: Eventi che contengono errori semantici o concettuali fondamentali (es. violazioni delle restrizioni di selezione), rendendoli privi di senso in qualsiasi mondo possibile.

Studi recenti (es. Kauf et al., 2023; Michaelov et al., 2025) hanno messo in dubbio la capacità degli LM di categorizzare queste frasi, suggerendo che le loro stime di probabilità (log-probabilità) siano influenzate troppo da caratteristiche superficiali e non riflettano una vera comprensione delle categorie modali. La domanda centrale è: gli LM possiedono rappresentazioni interne coerenti delle categorie modali, o si affidano solo a stime di probabilità inaffidabili?

2. Metodologia

Gli autori adottano un approccio di interpretabilità meccanica per investigare le rappresentazioni interne degli LM.

Vettori di Differenza Modale (Modal Difference Vectors - MDV):
Utilizzando la tecnica Contrastive Activation Addition (CAA), gli autori identificano direzioni lineari nello spazio degli stati nascosti degli LM che discriminano tra coppie di categorie modali.
- Per ogni coppia di categorie (es. Probabile vs Impossibile), vengono calcolate le differenze tra le rappresentazioni degli stati nascosti di frasi minime (minimal pairs) che differiscono solo per la categoria modale.
- Questi vettori di differenza vengono aggregati per creare un vettore rappresentativo della distinzione modale.
Dataset e Modelli:
- Dataset: Vengono utilizzati diversi dataset contenenti frasi etichettate da esperti, inclusi Hu et al. (2025b), Goulding et al. (2024), Vega-Mendoza et al. (2021) e Kauf et al. (2023). I dataset includono coppie minime, coppie avversariali (per testare la robustezza) e dati comportamentali umani.
- Modelli: Sono stati analizzati modelli di diverse dimensioni e famiglie (GPT-2, Llama-3.2, OLMo-2, Gemma-2), con un focus particolare sui modelli di almeno 2 miliardi di parametri.
Analisi:
1. Classificazione: I vettori di differenza modale vengono utilizzati per classificare nuove frasi e confrontati con baselines basate sulla probabilità della frase, componenti principali (PCA) e vettori casuali.
2. Sviluppo: Viene analizzato come queste rappresentazioni emergono in funzione della dimensione del modello, della profondità del layer e dei passi di training.
3. Modellazione Umana: Le proiezioni delle frasi sui vettori di differenza modale vengono utilizzate come caratteristiche (features) per addestrare regressioni logistiche che predicono le distribuzioni di risposta dei partecipanti umani.
4. Interpretabilità: Le proiezioni vengono correlate con valutazioni umane su dimensioni interpretabili (es. likelihood soggettiva, immaginabilità, grammaticalità).

3. Risultati Chiave

RQ1: Esistenza di Rappresentazioni Lineari:
Gli LM contengono rappresentazioni lineari delle differenze modali che sono più discriminative delle semplici stime di probabilità della frase. I vettori di differenza modale superano significativamente le baselines (inclusa la probabilità e le componenti principali) nella classificazione di frasi su dataset di generalizzazione, specialmente per modelli con $\ge$ 2B parametri.
RQ2: Sviluppo delle Rappresentazioni:
Le capacità di distinguere le categorie modali emergono in un ordine specifico e coerente con lo sviluppo umano:
1. Prima viene appresa la distinzione tra Inconcepibile e le altre categorie (basata su violazioni di restrizioni di selezione).
2. Successivamente, emerge la distinzione tra Probabile e Impossibile.
3. Poi, tra Probabile e Improbabile.
4. Infine, la distinzione più fine tra Improbabile e Impossibile.
  Questo pattern si osserva all'aumentare della dimensione del modello, della profondità dei layer e dei passi di training.
RQ3: Corrispondenza con il Comportamento Umano:
Lo spazio delle caratteristiche definito dalle proiezioni sui vettori di differenza modale riflette accuratamente le categorizzazioni graduali degli esseri umani. I modelli basati su questi vettori predicono meglio le distribuzioni di risposta umane rispetto alle baselines. Le frasi che si trovano tra i cluster delle categorie modali generano maggiore disaccordo tra i partecipanti umani, e il modello cattura questa incertezza.
RQ4: Interpretazione delle Rappresentazioni:
L'analisi delle correlazioni rivela che:
- Il vettore Probabile-Improbabile correla fortemente con la likelihood soggettiva dell'evento.
- Il vettore Impossibile-Inconcepibile correla selettivamente con l'immaginabilità (imageability) e la presenza di oggetti fisici/luoghi. Questo suggerisce che la capacità di "immaginare" uno scenario è un fattore cruciale per distinguere eventi impossibili (che violano leggi fisiche ma sono immaginabili) da eventi inconcepibili (che non hanno senso concettuale).

4. Contributi e Significatività

Superamento dello Scetticismo: Il lavoro fornisce prove robuste che gli LM non si limitano a calcolare probabilità superficiali, ma sviluppano rappresentazioni interne coerenti delle categorie modali, smentendo studi precedenti che negavano tale capacità.
Mappatura dello Sviluppo: Dimostra che l'acquisizione della comprensione modale negli LM segue una progressione gerarchica simile a quella osservata nello sviluppo cognitivo umano (dalle distinzioni grossolane a quelle fini).
Ponte tra LM e Cognizione Umana: Il paper stabilisce un collegamento diretto tra le rappresentazioni interne degli LM e le intuizioni umane. Suggerisce che gli LM potrebbero aver codificato principi causali del mondo reale simili alle "teorie intuitive" umane.
Nuova Prospettiva sull'Immaginazione: L'identificazione del legame tra il vettore Impossibile-Inconcepibile e l'immaginabilità offre un'ipotesi verificabile su come gli esseri umani distinguano tra ciò che è fisicamente impossibile e ciò che è concettualmente incoerente.
Strumento per l'Interpretazione: I vettori di differenza modale offrono un nuovo strumento per sondare i "modelli del mondo" (world models) degli LM, permettendo di investigare quali principi fisici o concettuali sono stati appresi durante l'addestramento.

In sintesi, il paper dimostra che gli LM moderni possiedono una comprensione strutturata della plausibilità degli eventi, riflessa in rappresentazioni lineari che non solo classificano meglio le frasi rispetto alle probabilità grezze, ma catturano anche le sfumature delle intuizioni umane sulla realtà e sulla fantasia.