Resumo Técnico: Ver Não é Compartilhar

Definição do Problema

No diálogo situado e colaborativo, a percepção compartilhada não garante a interpretação compartilhada. Enquanto os participantes do diálogo estabelecem incrementalmente o entendimento mútuo (fundamentação ou grounding) por meio da interação, um observador externo (ou "ouvinte passivo") carece da capacidade de contribuir com atos de fundamentação. Isso cria uma "ilusão do ouvinte passivo", onde um observador pode confundir a mera co-presença de referentes potenciais com o common ground (base comum) estabelecido.

Este artigo investiga se os Modelos de Linguagem-Visão (VLMs), ao atuarem como ouvintes passivos de diálogos com assimetria de informação, conseguem distinguir entre o common ground potencial (o que poderia ser compartilhado com base no conteúdo visual ou textual do mapa) e o common ground estabelecido (o que foi confirmado através da interação dialógica). Especificamente, o estudo questiona se os VLMs superestimam o alinhamento ao confundir a disponibilidade de sobreposição referencial com a conclusão bem-sucedida do processo de fundamentação.

Metodologia

Conjunto de Dados e Tarefa

O estudo utiliza uma anotação perspectivista do corpus HCRC MapTask (Li et al., 2026), composto por 13.077 expressões de referência (REs) anotadas de 128 diálogos. Nesses diálogos, dois participantes (um "doador" e um "seguidor") navegam por rotas em mapas que diferem no posicionamento, nomes ou quantidades de marcos (landmarks).

• Formulação da Tarefa: A tarefa é estruturada como um julgamento binário de correspondência de interpretação. Dado um trecho de diálogo e informações do mapa, o modelo deve determinar se as interpretações do falante e do interlocutor de uma RE específica coincidem (SIM/Alinhado) ou divergem (NÃO/Não Alinhado).
• Verdade Fundamental (Ground truth): Os rótulos são derivados de anotações separadas do marco pretendido pelo doador e do marco interpretado pelo seguidor.

Desenho Experimental

Os autores avaliam os VLMs sob manipulações sistematicamente controladas de duas variáveis independentes:

1. Acesso ao Texto (Contexto do Diálogo): Quatro tamanhos de janela, desde a linha de transação atual (curL) até o histórico completo do diálogo (startT).
2. Acesso ao Mapa (Modalidade de Informação):
   • Linha de Base (Baseline): Apenas texto (sem mapa).
   • Mapas Autênticos: Ambas as imagens dos mapas, apenas do Doador ou apenas do Seguidor.
   • Descrições Textuais: Listas de nomes de marcos ou descrições textuais de discrepâncias.
   • Controles Visuais Não Informativos: Mapas em branco (cinza uniforme) e Mapas Embaralhados (Shuffled maps) (marcos de pares não relacionados).

Modelos

A análise principal foca no Qwen3-VL-8B-Instruct, que apresentou o melhor desempenho preliminar. A generalização entre modelos é avaliada em quatro modelos adicionais: Qwen3-VL-2B, Qwen3-VL-4B, Gemma3-4B e Gemma3-12B. Todos os modelos são avaliados usando decodificação gulosa (greedy decoding) com saída restrita a tokens válidos de SIM/NÃO.

Principais Resultados

1. O Acesso ao Mapa Impulsiona a Sobrepredição de Alinhamento

Fornecer imagens de mapas autênticos melhora o escore macro-F1 geral, mas desloca sistematicamente o modelo para uma sobrepredição de alinhamento.

• Troca de Recall (Recall Trade-off): Com o acesso ao mapa, o recall para casos alinhados (recall_pos) aumenta significativamente (ex: de 0.590 para 0.822), enquanto o recall para casos não alinhados (recall_neg) cai drasticamente (ex: de 0.677 para 0.518).
• Taxa de "Sim" (Yes-Rate): A proporção de predições de SIM aumenta, frequentemente excedendo a taxa base real, indicando um viés de assumir que o entendimento mútuo existe.

2. O Viés é Impulsionado pelo Conteúdo, Não pela Visão

O viés de sobre-alinhamento não é um artefato do canal visual em si, mas é impulsionado pelo conteúdo relevante do mapa.

• Reprodução Textual: Descrições textuais do conteúdo do mapa (nomes de marcos, detalhes de discrepância) reproduzem o viés, gerando taxas de "sim" e perfis de recall semelhantes aos das imagens autênticas.
• Controles Visuais: Entradas visuais não informativas (mapas em branco ou embaralhados) suprimem as predições de alinhamento, tornando o modelo mais conservador (taxa de "sim" ~0.18–0.19). Isso confirma que o viés surge da interpretação pelo modelo da presença de referentes compartilhados como evidência de fundamentação estabelecida.

3. Calibração e Confiança

A análise de calibração revela que o acesso ao mapa torna os modelos confiantemente errados em instâncias não alinhadas.

• Sob condições de mapa, o modelo é bem calibrado em instâncias de "SIM" reais, mas é severamente mal calibrado em instâncias de "NÃO" reais (alto Erro de Calibração Esperada).
• O modelo atribui alta confiança a predições de SIM mesmo quando os participantes ainda não estabeleceram entendimento compartilhado, sugerindo que ele se baseia em pistas referenciais estáticas em vez de rastrear o processo dinâmico de fundamentação.

4. Dinâmica de Cadeias de Referência

À medida que as cadeias de referência (menções repetidas do mesmo marco) se alongam, os modelos com acesso ao mapa mantêm alta precisão, mas exibem taxas de "sim" constantemente crescentes. Isso sugere que o modelo trata cada vez mais as menções repetidas como confirmação de alinhamento, mesmo quando as interpretações subjacentes podem ainda divergir.

5. Variabilidade entre Modelos

O viés não é universal em todas as arquiteturas.

• Os modelos Qwen3-VL geralmente exibem o viés de sobre-alinhamento.
• Os modelos Gemma3 (particularmente a variante 12B) são extremamente conservadores e apresentam desempenho insatisfatório, provavelmente devido a limitações no processamento de imagens de mapas desenhados à mão com alta densidade (codificação de resolução fixa vs. resolução dinâmica da Qwen).
• Escala: O tamanho maior do modelo não garante melhor desempenho; em alguns casos, modelos maiores tornam-se mais confiantes sem se tornarem mais criteriosos.

Principais Contribuições

1. Metodologia de Avaliação: O artigo introduz um framework para sondar a capacidade dos VLMs de distinguir o common ground potencial do estabelecido em diálogos com assimetria de informação, indo além das tarefas padrão de resolução referencial.
2. Caracterização Empírica de Modos de Falha: Identifica um modo de falha específico onde os VLMs confundem "sobreposição referencial potencial" (o que é visível nos mapas) com "alinhamento comunicativo" (o que foi negociado).
3. Identificação de Mecanismo: Através de controles de modalidade e análise de calibração, o estudo demonstra que este viés é impulsionado pelo conteúdo semântico do ambiente compartilhado, e não pela modalidade visual, destacando uma limitação estrutural na forma como os VLMs atuais simulam o papel de "ouvinte passivo".

Significância e Alegações

O artigo afirma que os VLMs atuais são estruturalmente propensos à "ilusão do ouvinte passivo". Embora possam inferir efetivamente o que os interlocutores poderiam estar discutindo com base no contexto visual ou textual compartilhado, eles lutam para distinguir isso do que os interlocutores realmente estabeleceram através do processo incremental de diálogo.

Os autores enfatizam que isso não é uma falha geral de multimodalidade, mas uma tendência específica de tratar informações relevantes da tarefa sobre o common ground potencial como evidência de que a fundamentação já ocorreu. O estudo sugere que, para que os VLMs modelem o diálogo colaborativo com precisão, eles devem ser avaliados não apenas pela sua capacidade de reconhecer referentes, mas pela sua capacidade de rastrear o histórico interacional da fundamentação, em vez de depender de pistas estáticas de co-presença.