Using Perspectival Words Is Harder Than Vocabulary Words for Humans and Even More So for Multimodal Language Models

Titolo: Usare parole prospettiche è più difficile per gli umani rispetto alle parole lessicali, e ancor più per i Modelli Linguistici Multimodali (MLM)

1. Il Problema

Nonostante i recenti progressi nei Modelli Linguistici Multimodali (MLM), che dimostrano capacità comunicative sempre più simili a quelle umane, il loro utilizzo di parole prospettiche (o indexical) rimane poco compreso.
Le parole prospettiche (es. "io", "tu", "mio", "tuo", "questo", "quello") differiscono fondamentalmente dal vocabolario standard (es. "barca", "tazza") perché:

• Il loro significato non è stabile o indipendente dal contesto, ma è radicato nella situazione d'uso.
• Richiedono pragmatica (ancorare il linguaggio al contesto fisico e sociale) e cognizione sociale (Teoria della Mente, ovvero la capacità di assumere la prospettiva altrui).
• La loro corretta produzione dipende dalla posizione spaziale del parlante, dall'identità dell'ascoltatore e dalle relazioni di proprietà o vicinanza.

Mentre le valutazioni esistenti si sono concentrate sul vocabolario, questo studio evidenzia un vuoto critico: non è chiaro se gli MLM possiedano le capacità pragmatiche e di ragionamento spaziale necessarie per un'interazione umana genuina.

2. Metodologia

Gli autori hanno progettato un esperimento comparativo tra 360 partecipanti umani e 7 modelli MLM all'avanguardia (inclusi GPT-4o, Llama-4-Scout, Gemma-3, InternVL e Ovis).

Disegno Sperimentale:
È stato utilizzato un compito a scelta multipla con tre condizioni di difficoltà crescente, basate su scenari visivi controllati (due personaggi, un tavolo e oggetti):

1. Compito Vocabolario: Identificare l'oggetto corretto (es. "barca"). Non richiede ancoraggio pragmatico.
2. Compito Possessivo: Scegliere tra "mio/tuo" o "il mio/il tuo". Richiede l'ancoraggio alla prospettiva del parlante (chi possiede l'oggetto?).
3. Compito Dimostrativo: Scegliere tra "questo/quello". Richiede sia l'ancoraggio prospettico che il ragionamento spaziale (distanza relativa rispetto al parlante: vicino vs. lontano).

Adattamento dei Stimoli:

• Per gli umani: Gli scenari includevano bolle di dialogo e linee di sguardo visive per indicare il parlante e l'oggetto di interesse.
• Per gli MLM: Gli scenari sono stati adattati rimuovendo le bolle di dialogo visive e sostituendole con prompt testuali espliciti che specificavano l'identità del parlante e del guardatore, mantenendo un riquadro verde per l'oggetto target. Questo per evitare confondimenti legati alla capacità di interpretare icone visive.

Analisi Aggiuntive:

• Ablazione: Rimozione sistematica di indizi spaziali (testuali e visivi) e prospettici per isolare le fonti di errore.
• Prompting: Test di strategie come In-context learning (esempi forniti) e Instruction-based prompting (istruzioni esplicite su come ragionare).

3. Contributi Chiave

• Gerarchia di Difficoltà: Dimostrazione empirica di una gerarchia di difficoltà sia per gli umani che per le macchine: Vocabolario < Possessivi < Dimostrativi.
• Divario di Performance: Identificazione di un divario significativo tra umani e MLM specificamente nelle parole prospettiche, mentre le prestazioni sul vocabolario sono vicine al livello umano (ceiling).
• Analisi delle Cause Radice: L'uso di analisi di ablazione ha permesso di isolare che le difficoltà degli MLM derivano da limitazioni nel prendere la prospettiva (perspective-taking) e nel ragionamento spaziale, non dalla semplice incapacità di riconoscere gli oggetti.
• Limiti del Prompting: Dimostrazione che, sebbene le istruzioni esplicite possano migliorare le prestazioni sui possessivi, non riescono a colmare il divario sui dimostrativi, suggerendo limiti strutturali nel ragionamento spaziale degli attuali modelli.

4. Risultati

• Performance Umana: Gli umani mostrano la gerarchia prevista, con la massima accuratezza nel vocabolario (99%), seguita dai possessivi (93%) e dai dimostrativi (~83%).
• Performance MLM:
  • Vocabolario: I modelli migliori raggiungono prestazioni quasi umane (ceiling).
  • Possessivi: Si osserva un calo significativo. Il modello migliore (Llama-4-Scout) raggiunge l'85,7% contro il 93% degli umani.
  • Dimostrativi: Il divario si amplia drasticamente. Il modello migliore (GPT-4o) raggiunge solo il 70,2% contro l'83% degli umani. I modelli più piccoli performano vicino al caso.
• Analisi di Ablazione:
  • La rimozione degli indizi prospettici (chi parla?) causa un crollo delle prestazioni nei modelli avanzati, indicando che dipendono da queste informazioni.
  • La rimozione degli indizi spaziali (testuali) impatta pesantemente sui possessivi (che richiedono una categorizzazione binaria: mio/altrui) ma meno sui dimostrativi, a meno che non vengano rimossi anche gli indizi visivi.
  • Gli MLM sembrano fare affidamento principalmente sugli indizi linguistici per il ragionamento spaziale, utilizzando le informazioni visive solo come raffinamento, a differenza degli umani che integrano entrambi in parallelo.
• Effetto del Prompting:
  • Le istruzioni basate su regole (instruction-based prompting) migliorano drasticamente le prestazioni sui possessivi, avvicinandole a quelle umane.
  • Per i demonstrativi, il miglioramento è marginale. Gli errori persistono principalmente nell'uso dei pronomi dimostrativi, indicando che il ragionamento spaziale fine (distanza relativa) rimane una sfida irrisolta, anche con istruzioni esplicite.

5. Significato e Implicazioni

Questo studio rivela che, a differenza del vocabolario, le parole prospettiche pongono sfide cognitive maggiori sia per gli umani che per le macchine, ma il divario è amplificato negli MLM.

• Limiti Cognitivi degli MLM: I modelli attuali mancano di una vera comprensione pragmatica e sociale. La loro capacità di "Teoria della Mente" e di ragionamento spaziale contestuale è insufficiente per un'interazione umana fluida.
• Necessità di Interazione Embodied: Gli autori ipotizzano che l'uso corretto dei dimostrativi richieda un'interazione comunicativa incarnata (embodied) in ambienti fisici, esperienza che gli MLM attuali non possiedono.
• Direzione Futura: Le valutazioni future dei modelli multimodali devono andare oltre il vocabolario e testare la capacità di integrare contesto sociale, spaziale e linguistico. Senza questi progressi, gli MLM rimarranno limitati nella comunicazione quotidiana e nelle interazioni sociali complesse.

In sintesi, il paper dimostra che la vera intelligenza comunicativa richiede molto più della semplice associazione parola-oggetto: richiede la capacità di navigare dinamicamente nello spazio sociale e fisico, una competenza che gli attuali modelli multimodali faticano a replicare.