Reference Games as a Testbed for the Alignment of Model Uncertainty and Clarification Requests

Resumo Técnico: Jogos de Referência como Campo de Prova para o Alinhamento entre Incerteza do Modelo e Solicitações de Esclarecimento

Enunciado do Problema
No diálogo humano, os interlocutores mantêm ativamente a compreensão mútua ao reconhecer a incerteza e iniciar solicitações de esclarecimento (reparo) quando surge ambiguidade. Embora os Modelos de Linguagem de Grande Escala (LLMs) e os Modelos Visão-Linguagem (VLMs) demonstrem fluência, permanece uma questão em aberto se eles podem assumir efetivamente o papel de ouvinte que envolve reconhecer a incerteza interna e traduzi-la em comportamento de esclarecimento adequado. Modelos atuais frequentemente mascaram problemas de compreensão com saída fluente, levando à superestimação de sua competência e a confiança desalinhada. Além disso, pesquisas existentes indicam que os LLMs raramente iniciam proativamente o reparo e frequentemente falham em fundamentar as interações de forma eficaz. O desafio reside em avaliar essa capacidade em configurações de diálogo aberto, onde a verdade fundamental sobre quando o esclarecimento é justificado está ausente e o espaço de interpretações é ilimitado.

Metodologia
Para abordar esses desafios, os autores propõem o uso de jogos de referência como um campo de prova controlado e autocontido. Nessa configuração, um "falante" descreve um objeto-alvo a partir de um conjunto de candidatos (por exemplo, grades de cores), e um "ouvinte" deve identificá-lo. Esse ambiente torna as necessidades de esclarecimento explícitas e mensuráveis, pois a ambiguidade surge estritamente da incompatibilidade entre a descrição e o conjunto de candidatos.

O estudo avalia três VLMs no conjunto de dados de jogos de referência de grade de cores (McDowell e Goodman, 2019), que inclui 197 jogos com 60 rodadas cada, variando em dificuldade com base na similaridade de cores (longe, dividido, próximo). Os modelos testados são:

• Qwen2.5-VL-7B e Qwen2.5-VL-72B (selecionados por seu forte desempenho prévio nesta tarefa).
• GPT-5-mini (como um modelo comercial representativo).

O desenho experimental consiste em três fases:

1. Experimento de Linha de Base: Os modelos atuam como ouvintes para prever a grade-alvo com base apenas na descrição do falante e na entrada visual. Para estimar a incerteza, os modelos são amostrados cinco vezes por rodada; o voto majoritário determina a previsão, e a proporção de amostras correspondentes serve como métrica de Confiança de Linha de Base.
2. Experimento de Esclarecimento: Os modelos são explicitamente instruídos a solicitar esclarecimento se estiverem incertos sobre o referente. O desempenho é medido pela Taxa de Solicitação de Esclarecimento (CR-Rate) (frequência de solicitações de esclarecimento), Precisão (corretude das respostas sem esclarecimento) e Precisão Relaxada (corretude ou esclarecimento bem-sucedido).
3. Experimento de Interação: Um humano no loop fornece respostas às solicitações de esclarecimento do modelo. Esta fase avalia a relevância para a tarefa das perguntas geradas e mede se o feedback humano subsequente melhora a precisão final e a confiança do modelo.

Principais Resultados

• Superconfiança: Todos os modelos exibiram pontuações de confiança uniformemente altas (variando de 87% a 99%) mesmo em condições difíceis, indicando uma disposição para a superconfiança que é mal calibrada em relação à precisão real.
• Comportamento de Esclarecimento:
  • GPT-5-mini demonstrou o comportamento mais alinhado, gerando solicitações de esclarecimento em 13% dos casos. Sua taxa de solicitação aumentou com a dificuldade da tarefa (6% em "longe" para 17% em "dividido/próximo"), e sua precisão nas respostas sem esclarecimento (94%) superou sua precisão de linha de base (91%), sugerindo que ele retive com sucesso as respostas quando incerto.
  • Qwen2.5-VL-72B gerou solicitações de esclarecimento em 24% dos casos, mas esse comportamento não foi sistematicamente alinhado com a dificuldade da tarefa ou a incerteza interna. Sua confiança caiu apenas marginalmente (de 91% para 87%) ao gerar uma solicitação.
  • Qwen2.5-VL-7B quase nunca gerou solicitações de esclarecimento (< 0,1%).
• Eficácia do Esclarecimento: No experimento de interação, apenas 42% das perguntas de esclarecimento geradas pelo Qwen2.5-VL-72B foram consideradas relevantes para a tarefa. Crucialmente, fornecer respostas humanas a essas solicitações não melhorou a precisão ponta a ponta do modelo; de fato, a precisão diminuiu ligeiramente na maioria das condições. Isso sugere que os modelos ou falharam em utilizar as informações fornecidas ou que as próprias solicitações não estavam buscando as informações necessárias para resolver a ambiguidade.

Principais Contribuições

• Proposta de Campo de Prova: O artigo estabelece jogos de referência como um ambiente rigoroso e controlado para avaliar o alinhamento entre a incerteza do modelo e o comportamento de esclarecimento, superando as limitações da avaliação de diálogo aberto.
• Evidência Empírica de Desalinhamento: O estudo fornece evidência empírica de que os VLMs mais avançados atuais lutam para traduzir a incerteza interna em respostas interacionais apropriadas. Mesmo em tarefas simples e restritas, os modelos frequentemente falham em reconhecer quando estão incertos ou falham em fazer perguntas relevantes.
• Ineficácia do Esclarecimento Atual: As descobertas destacam que as tentativas de esclarecimento dos modelos atuais são frequentemente não informativas ou inadequadas, falhando em funcionar como mecanismos genuínos de reparo que melhoram a compreensão mútua.

Significado
O artigo argumenta que os jogos de referência oferecem um benchmark valioso para sondar a competência pragmática dos modelos de linguagem. Os resultados demonstram uma lacuna significativa na capacidade dos VLMs de atuar como ouvintes cooperativos que podem gerenciar a incerteza. Os autores concluem que, mesmo em configurações onde a ambiguidade é quantificável e a necessidade de esclarecimento é explícita, os modelos lutam para converter a incerteza interna em comportamento de esclarecimento adequado. Isso sublinha o valor dos jogos de referência para diagnosticar qualidades de interação em modelos de (visão e) linguagem, revelando que a fluência não equivale a comunicação robusta e autoconsciente.