Reference Games as a Testbed for the Alignment of Model Uncertainty and Clarification Requests

Riepilogo Tecnico: Giochi di Riferimento come Ambiente di Test per l'Allineamento tra Incertezza del Modello e Richieste di Chiarimento

Enunciato del Problema
Nel dialogo umano, gli interlocutori mantengono attivamente la comprensione reciproca riconoscendo l'incertezza e avviando richieste di chiarimento (riparazione) quando sorge un'ambiguità. Sebbene i Modelli Linguistici su Grande Scala (LLM) e i Modelli Linguistico-Visivi (VLM) dimostrino fluidità, rimane una questione aperta se possano efficacemente assumere il ruolo di ascoltatori che implica il riconoscimento dell'incertezza interna e la sua traduzione in comportamenti di chiarimento appropriati. I modelli attuali spesso mascherano i problemi di comprensione con output fluidi, portando a una sovrastima della loro competenza e a una fiducia disallineata. Inoltre, la ricerca esistente indica che gli LLM raramente avviano proattivamente la riparazione e spesso falliscono nel fondare efficacemente le interazioni. La sfida risiede nel valutare questa capacità in contesti di dialogo aperto, dove manca una verità di base su quando sia giustificato un chiarimento e lo spazio delle interpretazioni è illimitato.

Metodologia
Per affrontare queste sfide, gli autori propongono l'uso dei giochi di riferimento come ambiente di test controllato e autosufficiente. In questa configurazione, un "parlante" descrive un oggetto target da un insieme di candidati (ad esempio, griglie di colori) e un "ascoltatore" deve identificarlo. Questo ambiente rende esplicite e misurabili le esigenze di chiarimento perché l'ambiguità sorge strettamente dal disallineamento tra la descrizione e l'insieme dei candidati.

Lo studio valuta tre VLM sul dataset del gioco di riferimento a griglia di colori (McDowell e Goodman, 2019), che include 197 giochi con 60 round ciascuno, variando in difficoltà in base alla somiglianza cromatica (lontano, diviso, vicino). I modelli testati sono:

• Qwen2.5-VL-7B e Qwen2.5-VL-72B (scelti per le loro prestazioni precedenti elevate su questo compito).
• GPT-5-mini (come modello commerciale rappresentativo).

Il disegno sperimentale consiste in tre fasi:

1. Esperimento Basale: I modelli agiscono come ascoltatori per prevedere la griglia target basandosi esclusivamente sulla descrizione del parlante e sull'input visivo. Per stimare l'incertezza, i modelli vengono campionati cinque volte per round; il voto di maggioranza determina la previsione e la proporzione di campioni corrispondenti funge da metrica di Fiducia Basale.
2. Esperimento di Chiarimento: Ai modelli viene esplicitamente istruito di richiedere chiarimenti se sono incerti sul referente. La prestazione è misurata dal Tasso di Richiesta di Chiarimento (CR-Rate) (frequenza delle richieste di chiarimento), dalla Precisione (correttezza delle risposte senza chiarimento) e dalla Precisione Rilassata (correttezza o chiarimento riuscito).
3. Esperimento di Interazione: Un operatore umano fornisce risposte alle richieste di chiarimento del modello. Questa fase valuta la rilevanza per il compito delle domande generate e misura se il feedback umano successivo migliora la precisione finale e la fiducia del modello.

Risultati Chiave

• Sovrafiducia: Tutti i modelli hanno mostrato punteggi di fiducia uniformemente alti (che vanno dall'87% al 99%) anche in condizioni difficili, indicando una disposizione verso l'eccessiva fiducia scarsamente calibrata rispetto alla precisione effettiva.
• Comportamento di Chiarimento:
  • GPT-5-mini ha dimostrato il comportamento più allineato, generando richieste di chiarimento nel 13% dei casi. Il suo tasso di richiesta è aumentato con la difficoltà del compito (dal 6% nel caso "lontano" al 17% nei casi "diviso/vicino") e la sua precisione sulle risposte senza chiarimento (94%) ha superato la sua precisione basale (91%), suggerendo che ha trattenuto con successo le risposte quando incerto.
  • Qwen2.5-VL-72B ha generato richieste di chiarimento nel 24% dei casi, ma questo comportamento non era sistematicamente allineato con la difficoltà del compito o l'incertezza interna. La sua fiducia è scesa solo marginalmente (dal 91% all'87%) quando generava una richiesta.
  • Qwen2.5-VL-7B non ha quasi mai generato richieste di chiarimento (< 0,1%).
• Efficacia del Chiarimento: Nell'esperimento di interazione, solo il 42% delle domande di chiarimento generate da Qwen2.5-VL-72B è stato considerato rilevante per il compito. Crucialmente, fornire risposte umane a queste richieste non ha migliorato la precisione end-to-end del modello; anzi, la precisione è diminuita leggermente nella maggior parte delle condizioni. Ciò suggerisce che i modelli o non sono riusciti a utilizzare le informazioni fornite o che le richieste stesse non cercavano le informazioni necessarie per risolvere l'ambiguità.

Contributi Chiave

• Proposta di Ambiente di Test: Il documento stabilisce i giochi di riferimento come un ambiente rigoroso e controllato per valutare l'allineamento tra incertezza del modello e comportamento di chiarimento, superando i limiti della valutazione del dialogo aperto.
• Evidenza Empirica di Disallineamento: Lo studio fornisce prove empiriche che i VLM all'avanguardia attuali faticano a tradurre l'incertezza interna in risposte interazionali appropriate. Anche in compiti semplici e vincolati, i modelli spesso non riescono a riconoscere quando sono incerti o falliscono nel porre domande pertinenti.
• Inefficacia del Chiarimento Attuale: I risultati evidenziano che i tentativi di chiarimento dei modelli attuali sono spesso non informativi o inappropriati, non riuscendo a funzionare come veri meccanismi di riparazione che migliorano la comprensione reciproca.

Significato
Il documento sostiene che i giochi di riferimento offrono un benchmark prezioso per sondare la competenza pragmatica dei modelli linguistici. I risultati dimostrano un divario significativo nella capacità dei VLM di agire come ascoltatori cooperativi in grado di gestire l'incertezza. Gli autori concludono che anche in contesti dove l'ambiguità è quantificabile e la necessità di chiarimento è esplicita, i modelli faticano a convertire l'incertezza interna in un comportamento di chiarimento adeguato. Ciò sottolinea il valore dei giochi di riferimento per diagnosticare le qualità interazionali nei modelli linguistici (e visivi), rivelando che la fluidità non equivale a una comunicazione robusta e consapevole di sé.