Sintesi Tecnica: Strategie di Prompting Implicito vs. Esplicito per gli LVLM nella Comunicazione Referenziale

Definizione del Problema

La letteratura recente presenta risultati contraddittori riguardo alla capacità dei Large Vision-Language Models (LVLM) di esibire un comportamento collaborativo simile a quello umano nei compiti di comunicazione referenziale. Nello specifico, due studi sono giunti a conclusioni opposte sulla capacità degli agenti IA di sviluppare "patti concettuali" — espressioni referenziali condivise ed efficienti che emergono dinamicamente attraverso l'interazione.

• Zeng et et al. (2026) ha rilevato che gli agenti IA non sono riusciti a accorciare le descrizioni nel tempo, persistendo in una comunicazione verbosa e mostrando una diminuzione dell'accuratezza, suggerendo una mancanza di utilizzo del terreno comune (common ground).
• Jones et al. (2026) ha rilevato che gli agenti IA sono riusciti ad accorciare le espressioni referenziali e a migliorare l'accuratezza nel tempo, imitando l'entrainment lessicale umano.

Questo articolo investiga se tali risultati divergenti derivino da differenze nell'architettura del modello, nel design del compito o nelle strategie di prompting. Gli autori ipotizzano che la discrepanza sia guidata principalmente dallo stile di prompting (implicito vs. esplicito) piuttosto che dai modelli o dai compiti stessi.

Metodologia

Gli autori hanno condotto un esperimento controllato utilizzando una pipeline open-source basata su Zeng et al. (2026), adattata per testare variabili specifiche.

Design Sperimentale

• Compito: Un compito di corrispondenza di oggetti collaborativo, multi-round e multi-turno, che coinvolge 12 cesti (oggetti non lexicalizzati).
• Partecipanti: Coppie AI-AI in cui entrambi i ruoli, "Director" (speaker) e "Matcher" (listener), erano interpretati dalla stessa istanza del modello.
• Modelli: Sono state testate due versioni: GPT-5.2 (usato in Zeng et al., 2026) e GPT-5.5 (l'ultimo modello disponibile al momento della stesura).
• Condizioni: Lo studio ha incrociato due strategie di prompting con due versioni del modello:
  1. Prompting Implicito: Replica Zeng et al. (2026). Le istruzioni si affidano ai massimi griceani (essere concisi ma informativi) e alle norme di grounding collaborativo. Il modello non viene esplicitamente istruito ad accorciare le frasi o a riutilizzare le parole; qualsiasi entrainment deve emergere spontaneamente.
  2. Prompting Esplicito: Adatta Jones et al. (2026). Al Director viene esplicitamente ordinato di ridurre la lunghezza della descrizione, usare solo 1-2 parole nei round successivi e stabilire convenzioni (ad esempio, "SERIOUSLY – nei round successivi basta 1-2 parole").

Raffinamenti Tecnici

Per garantire un confronto equo, gli autori hanno corretto la pipeline di iniezione del contesto visivo utilizzata in Zeng et al. (2026):

• Allineamento Cronologico: Le cronologie delle chat passate e le immagini di feedback visivo sono accoppiate cronologicamente all'inizio del contesto.
• Iniezione Dinamica: La griglia di immagini del round corrente viene iniettata dinamicamente utilizzando marcatori di confine di round espliciti, garantendo che l'LVLM veda il frame visivo più recente immediatamente prima della sua azione.
• Input Visivo Unificato: Lo stato attivo del Matcher (sequenza a 12 slot) e il pool di candidati (18 cesti) sono renderizzati in un'unica immagine composita con promemoria testuali strutturati, ancorando tutto il tracciamento spaziale a una singola rappresentazione visiva temporalmente allineata.

Risultati Chiave

Lo studio ha valutato 40 sessioni complete AI-AI (200 osservazioni a livello di round), misurando l'accuratezza del compito, la lunghezza del dialogo, il numero di turni, la lunghezza dell'espressione referenziale (RE) e la sovrapposizione lessicale.

1. Accuratezza del Compito: Tutte le condizioni hanno raggiunto un'alta accuratezza, indicando che entrambi gli stili di prompting consentono ai modelli di completare il compito principale.
2. Efficienza Comunicativa (Prompt Implicito): Sotto il prompting implicito, i modelli sono rimasti verbali.
   • GPT-5.2 ha fatto una media di 1.250,7 parole/round; GPT-5.5 ha fatto una media di 710,4 parole/round.
   • Le riduzioni tra i round sono state modeste. I modelli hanno riutilizzato descrizioni visive ma non hanno trattato spontaneamente la cronologia accumulata come una licenza per essere brevi.
3. Efficienza Comunicativa (Prompt Esplicito): Sotto il prompting esplicito, i modelli hanno compresso drasticamente la formulazione.
   • GPT-5.2 ha ridotto la lunghezza del 62,8%; GPT-5.5 ha ridotto la lunghezza del 75,6% rispetto ai rispettivi controparti impliciti.
   • GPT-5.5 (Esplicito): Ha mostrato il comportamento di "patto concettuale" più forte. La lunghezza della RE è scesa da 58,8 parole (Round 1) a 32,7 parole (Round 5). La sovrapposizione lessicale ha raggiunto 1,00 e l'accuratezza è rimasta alta (97,5%).
   • GPT-5.2 (Esplicito): Ha anche accorciato le descrizioni, ma l'accuratezza è scesa al 92,5% nel Round 5, suggerendo un compromesso tra accuratezza e brevità.
4. Analisi dei Trascorsi: Il prompting esplicito ha cambiato la forma dell'interazione. I modelli hanno introdotto etichette compatte e discriminanti (ad esempio, "rect picnic", "tall cylinder") e le hanno potate in descrizioni telegrafiche stabili. Al contrario, i modelli con prompting implicito hanno mantenuto intere didascalie descrittive e routine di conferma nonostante il riutilizzo di parte del materiale lessicale.

Contributi Chiave

• Riconciliazione di Risultati Contraddittori: Il documento dimostra che la divergenza tra Zeng et al. (2026) e Jones et al. (2026) è attribuibile allo stile di prompting, non alla versione del modello o alla difficoltà del compito.
• Dimostrazione della Dipendenza dal Prompt: Gli LVLM possono produrre espressioni referenziali brevi e stabili quando esplicitamente costretti a farlo, ma falliscono nel dedurre la necessità di efficienza comunicativa dai principi pragmatici impliciti.
• Distinzione tra Forma e Processo: Lo studio evidenzia che, sebbene gli LVLM possano riprodurre il modello superficiale dell'entrainment lessicale umano (accorciamento delle espressioni), questo comportamento non emerge dagli stessi meccanismi di "terreno comune" osservati nel dialogo umano.

Significato e Rivendicazioni

Il documento sostiene che l'entrainment non è semplicemente compressione. Nel dialogo umano, le espressioni abbreviate sono prova di una prospettiva coordinata e di un patto concettuale condiviso. Gli attuali LVLM possono essere guidati a mimare questa forma esterna attraverso un prompting pesante, ma l'effetto è interamente dipendente dal prompt.

Gli autori avvertono di non attribuire questo comportamento agli stessi processi cognitivi degli esseri umani. I risultati suggeriscono che, senza istruzione esplicita a comprimere, gli LVLM non sviluppano naturalmente l'efficienza collaborativa vista nei partner umani. Ciò implica che i modelli attuali potrebbero mancare della capacità intrinseca di aggiornare dinamicamente le prospettive condivise per ridurre lo sforzo comunicativo, facendo affidamento su vincoli espliciti per simulare tale comportamento.

Limitazioni

Gli autori segnalano diverse limitazioni:

• Lo studio è stato condotto solo in inglese con oggetti non lexicalizzati (cesti).
• Ha utilizzato solo due versioni specifiche di LVLM (GPT-5.2/5.5).
• L'esperimento ha confrontato coppie dello stesso modello, il che potrebbe allinearsi più facilmente rispetto a coppie di modelli diversi o umani.
• Lo studio non valuta scenari in cui le prospettive iniziali sono disallineate, richiedendo ai modelli di produrre l'efficienza in modo pragmatico basandosi sul feedback del partner piuttosto che su istruzioni esplicite.