Sintesi Tecnica: Vedere non è Condividere

Definizione del Problema

Nel dialogo situato e collaborativo, la percezione condivisa non garantisce l'interpretazione condivisa. Mentre i partecipanti al dialogo stabiliscono incrementalmente una comprensione reciproca (grounding) attraverso l'interazione, un osservatore esterno (o "overhearer") manca della capacità di contribuire agli atti di grounding. Ciò crea un "illusione dell'overhearer", in cui un osservatore può scambiare la mera co-presenza di potenziali referenti per un terreno comune stabilito.

Questo articolo investiga se i modelli linguistici visivi (VLM), agendo come overhearer di dialoghi con asimmetria informativa, siano in grado di distinguere tra terreno comune potenziale (ciò che potrebbe essere condiviso sulla base del contenuto visivo o testuale della mappa) e terreno comune stabilito (ciò che è stato confermato attraverso l'interazione dialogica). Nello specifico, lo studio si chiede se i VLM sovrastimino l'allineamento confondendo la disponibilità di sovrapposizione referenziale con il completamento riuscito del processo di grounding.

Metodologia

Dataset e Task

Lo studio utilizza una annotazione prospettica del corpus HCRC MapTask (Li et al., 2026), composto da 13.077 espressioni referenziali (RE) annotate provenienti da 128 dialoghi. In questi dialoghi, due partecipanti (un "giver" e un "follower") navigano percorsi su mappe che differiscono per posizionamento di landmark, nomi o quantità.

• Formulazione del Task: Il compito è formulato come un giudizio binario di corrispondenza dell'interpretazione. Dato un estratto di dialogo e le informazioni sulla mappa, il modello deve determinare se l'interpretazione del parlante e dell'ascoltatore di una specifica RE coincida (SÌ/Allineata) o diverga (NO/Non Allineata).
• Ground Truth: Le etichette sono derivate da annotazioni separate del landmark inteso dal giver e del landmark interpretato dal follower.

Disegno Sperimentale

Gli autori valutano i VLM sotto manipolazioni sistematicamente controllate di due variabili indipendenti:

1. Accesso al Testo (Contesto del Dialogo): Quattro dimensioni di finestra che vanno dalla riga della transazione corrente (curL) alla storia completa del dialogo (startT).
2. Accesso alla Mappa (Modalità Informativa):
   • Baseline: Solo testo (senza mappa).
   • Mappe Autentiche: Entrambe le immagini delle mappe, solo Giver o solo Follower.
   • Descrizioni Testuali: Liste di nomi di landmark o descrizioni testuali delle discrepanze.
   • Controlli Visivi Non Informativi: Mappe vuote (grigio uniforme) e mappe rimescolate (landmark da coppie non correlate).

Modelli

L'analisi primaria si concentra su Qwen3-VL-8B-Instruct, che ha mostrato le migliori prestazioni preliminari. La generalizzazione cross-modello è valutata su altri quattro modelli: Qwen3-VL-2B, Qwen3-VL-4B, Gemma3-4B e Gemma3-12B. Tutti i modelli sono valutati utilizzando la decodifica greedy con output vincolato a token validi SI/NO.

Risultati Chiave

1. L'accesso alla mappa guida la sovra-predizione dell'allineamento

Fornire immagini di mappe autentiche migliora il punteggio macro-F1 complessivo ma sposta sistematicamente il modello verso una sovra-predizione dell'allineamento.

• Compromesso sulla Recall: Con l'accesso alla mappa, la recall per i casi allineati (recall_pos) aumenta significativamente (ad es., da 0.590 a 0.822), mentre la recall per i casi non allineati (recall_neg) scende drasticamente (ad es., da 0.677 a 0.518).
• Tasso di "Sì": La proporzione di predizioni SÌ aumenta, spesso superando il tasso base del ground truth, indicando un bias verso l'assunzione che l'intesa reciproca esista.

2. Il bias è guidato dal contenuto, non dal visivo

Il bias di sovra-allineamento non è un artefatto del canale visivo in sé, ma è guidato dal contenuto rilevante per il task della mappa.

• Riproduzione Testuale: Le descrizioni testuali del contenuto della mappa (nomi dei landmark, dettagli delle discrepanze) riproducono il bias, ottenendo tassi di "sì" e profili di recall simili alle immagini autentiche.
• Controlli Visivi: Gli input visivi non informativi (mappe vuote o rimescolate) sopprimono completamente le predizioni di allineamento, rendendo il modello più conservativo (tasso di "sì" ~0.18–0.19). Ciò conferma che il bias deriva dall'interpretazione del modello della presenza di referenti condivisi come prova di un grounding stabilito.

3. Calibrazione e Confidenza

L'analisi della calibrazione rivela che l'accesso alla mappa rende i modelli sicuri di errori nei casi di non allineamento.

• In condizioni di mappa, il modello è ben calibrato sui casi di "SÌ" reali, ma è gravemente mal calibrato sui casi di "NO" reali (alto Error di Calibrazione Attesa).
• Il modello assegna un'alta confidenza alle predizioni di SÌ anche quando i partecipanti non hanno stabilito un'intesa condivisa, suggerendo che esso si affidi a segnali referenziali statici piuttosto che tracciare il processo dinamico di grounding.

4. Dinamiche della Catena di Riferimento

Man mano che le catene di riferimento (menzioni ripetute dello stesso landmark) si allungano, i modelli con accesso alla mappa mantengono un'alta accuratezza ma mostrano tassi di "sì" in costante aumento. Ciò suggerisce che il modello tratti sempre più le menzioni ripetute come conferma dell'allineamento, anche quando le interpretazioni sottostanti possono ancora divergere.

5. Variabilità Cross-Modello

Il bias non è universale tra tutte le architetture.

• I modelli Qwen3-VL mostrano generalmente il bias di sovra-allineamento.
• I modelli Gemma3 (particolarmente la variante 12B) sono estremamente conservativi e performano scarsamente, probabilmente a causa di limitazioni nel parsing di immagini di mappe disegnate a mano e dense (codifica a risoluzione fissa vs la risoluzione dinamica di Qwen).
• Scaling: La dimensione maggiore del modello non garantisce necessariamente prestazioni migliori; in alcuni casi, i modelli più grandi diventano più sicuri senza diventare più discernenti.

Contributi Chiave

1. Metodologia di Valutazione: Il paper introduce un framework per sondare la capacità dei VLM di distinguere tra terreno comune potenziale ed esteso in un dialogo con asimmetria informativa, andando oltre i classici compiti di risoluzione referenziale.
2. Caratterizzazione dei Modi di Fallimento Empirico: Identifica un modo specifico di fallimento in cui i VLM confondono la "potenziale sovrapposizione referenziale" (ciò che è visibile sulle mappe) con l'"allineamento comunicativo" (ciò che è stato negoziato).
3. Identificazione del Meccanismo: Attraverso controlli di modalità e analisi della calibrazione, lo studio dimostizza che questo bias è guidato dal contenuto semantico dell'ambiente condiviso piuttosto che dalla modalità visiva, evidenziando un limite strutturale nel modo in cui gli attuali VLM simulano il ruolo di "overhearer".

Significato e Tesi

Il paper sostiene che i VLM attuali sono strutturalmente inclini all' "illusione dell'overhearer". Sebbene possano inferire efficacemente cosa gli interlocutori potrebbero stare discutendo sulla base di un contesto visivo o testuale condiviso, faticano a distinguere questo fatto dal fatto di ciò che gli interlocutori hanno effettivamente stabilito attraverso il processo incrementale del dialogo.

Gli autori sottolineano che questo non è un fallimento generale della multimodalità, ma una tendenza specifica a trattare le informazioni rilevanti per il task riguardanti il terreno comune potenziale come prova che il grounding sia già avvenuto. Lo studio suggerisce che, affinché i VLM possano modellare accuratamente il dialogo collaborativo, non devono essere valutati solo sulla loro capacità di riconoscere i referenti, ma sulla loro capacità di tracciare la storia interazionale del grounding, anziché fare affidamento su segnali statici di co-presenza.