Grounded Misunderstandings in Asymmetric Dialogue: A Perspectivist Annotation Scheme for MapTask

1. Problema e Motivação

O diálogo colaborativo depende da construção incremental de "terra comum" (common ground) entre os participantes. No entanto, em cenários assimétricos, onde os interlocutores possuem informações diferentes (por exemplo, mapas ligeiramente distintos), pode ocorrer um fenômeno sutil: os participantes acreditam ter chegado a um acordo, mas estão, na verdade, referindo-se a entidades diferentes.

A literatura tradicional de resolução de referência assume que, uma vez que uma expressão é reconhecida e confirmada (grounding), ambos os interlocutores referem-se à mesma entidade. Este pressuposto falha em ambientes assimétricos, onde "alinhamentos aparentes" podem mascarar desalinhamentos referenciais silenciosos. O artigo identifica a lacuna na falta de esquemas de anotação que capturem separadamente a interpretação do falante (intenção) e do ouvinte (interpretação) para cada expressão de referência (RE), dificultando a análise de como o entendimento diverge e se corrige ao longo do tempo.

2. Metodologia

2.1. Corpus e Dados

O estudo utiliza o corpus HCRC MapTask, que contém 128 diálogos não roteirizados entre pares de participantes. Um participante (doador/instrutor) guia o outro (seguidor) a reproduzir uma rota em um mapa, onde ambos têm mapas visualmente similares, mas com discrepâncias em:

• Existência: Um marco existe em um mapa e não no outro.
• Multiplicidade: Um tipo de marco aparece duas vezes no mapa do doador, mas apenas uma vez no do seguidor.
• Léxico: O mesmo marco tem nomes ligeiramente diferentes em cada mapa.

2.2. Esquema de Anotação Perspectivista

Os autores propõem um novo esquema de anotação no nível da Expressão de Referência (RE) que captura duas perspectivas simultaneamente:

1. ID de Marco Unificado (Unified Landmark ID): Para resolver ambiguidades, eles criaram um novo sistema de IDs (<map-id>_<nome>#<ordem>@<lado>) que distingue instâncias específicas de marcos em cada mapa (lado do doador vs. seguidor), superando as limitações do esquema original que tratava variantes lexicais como entidades distintas e múltiplas instâncias como a mesma.
2. Atributos Binários Hierárquicos: Cinco atributos são anotados em cascata para caracterizar o estado de entendimento:
   • is_quantificational: Se a expressão é uma consulta de existência ou referência definida.
   • is_specified: Se o contexto permite inferir a interpretação do ouvinte.
   • is_accommodated: Se o ouvinte respondeu sem sinalizar falha de compreensão.
   • is_grounded: Se o ouvinte vinculou a expressão a um marco específico no mapa.
   • is_imagined: Se o ouvinte imaginou a localização de um marco ausente em seu mapa (baseado na descrição do doador).

Com base nesses atributos, os estados de entendimento são classificados em: Alinhado (acordo real), Mal-entendido (acordo aparente, mas referências diferentes) e Pendente (falha de comunicação ou espera por mais info).

2.3. Pipeline de Anotação com LLM

Para escalar a anotação para todo o corpus (13.077 REs), os autores desenvolveram um pipeline constrito por esquema (scheme-constrained) utilizando o modelo GPT-5 via OpenAI Batch API.

• Prompt Engineering: O prompt inclui instruções detalhadas, explicação do formato de ID unificado, regras passo a passo (Chain-of-Thought) e o contexto do diálogo até o final da transação atual.
• Saída Estruturada: O modelo é forçado a gerar saída em JSON, garantindo conformidade com o esquema de anotação.
• Validação Humana: Uma amostra de 3 diálogos (504 REs) foi verificada por um anotador humano experiente para calcular a precisão e o F1-score.

3. Principais Contribuições

1. Operacionalização do Grounding Perspectivista: Transforma o conceito de "terra comum" em um processo de alinhamento gradativo e dependente da perspectiva, anotado no nível da expressão de referência.
2. Pipeline de Anotação Escalável: Demonstra a viabilidade de usar LLMs com prompts restritos por esquema para anotar diálogos complexos, produzindo um conjunto de dados de 13k REs com estimativas de confiabilidade.
3. Protocolos de Análise: Libera protocolos que associam anotações de RE a estados de entendimento incrementais, permitindo o estudo quantitativo da dinâmica de desalinhamento.
4. Recurso para Avaliação de (V)LLMs: Estabelece um benchmark para avaliar a capacidade de modelos de linguagem (e visão-linguagem) de modelar o grounding dependente de perspectiva em diálogos colaborativos.

4. Resultados e Análise

4.1. Confiabilidade da Anotação

A validação humana mostrou alta concordância com as anotações do LLM:

• Precisão geral no nível de RE: 94,4%.
• Para expressões de referência totalmente fundamentadas (grounded), a precisão foi de 95,5% e F1 micro de 99,5%.
• O atributo com maior taxa de erro foi is_grounded (falsos negativos em confirmações implícitas).

4.2. Taxas de Mal-entendimento

• Taxa Bruta: Inicialmente, 7,07% das REs foram classificadas como "Mal-entendidas".
• Taxa Ajustada: Após unificar variantes lexicais (ex: "cliffs" vs "sandstone cliffs") que levam a um alinhamento rápido, a taxa de mal-entendimento real cai para 1,82%. Isso confirma que mal-entendidos sustentados são raros devido a "reparações contínuas" (running repairs) pelos participantes.
• Impacto da Multiplicidade: Discrepâncias de multiplicidade (um marco aparece duas vezes em um mapa e uma no outro) são o principal causador de desalinhamento. Embora representem apenas 7,3% das REs, elas geram 48,5% de todos os mal-entendidos (taxa de 12,0% para este tipo vs. 1,8% da média).

4.3. Dinâmica de Cadeias de Referência

• Cadeias de referência (sequências de menções ao mesmo marco) em casos de multiplicidade tendem a ser mais longas e complexas, exigindo mais turnos para o alinhamento.
• Discrepâncias de existência são resolvidas rapidamente (o marco é descartado ou imaginado), enquanto marcos sem discrepância geram cadeias longas devido à necessidade de coordenação espacial contínua.

4.4. Limitações Identificadas

O estudo observou que o LLM, ao ter acesso a ambos os mapas (viés onisciente), falha em capturar certos mal-entendidos persistentes (como um ponto de partida errado) que um participante real não perceberia imediatamente, tratando contradições como ruído em vez de erro de perspectiva.

5. Significado e Implicações

Este trabalho fornece uma lente analítica crucial para entender como o entendimento emerge e falha em diálogos colaborativos.

• Para NLP/IA: O esquema revela que a simples identificação de objetos (tarefa comum em VLMs) é insuficiente; os modelos precisam ser capazes de rastrear interpretações assimétricas e evolutivas.
• Para Avaliação: O conjunto de dados anotado serve como um novo benchmark para testar a capacidade de modelos de linguagem de realizar "tomada de perspectiva" (perspective-taking) em tempo real.
• Teórico: Refina a teoria do grounding, mostrando que o alinhamento não é binário (sucesso/fracasso), mas um espectro onde desalinhamentos sutis podem persistir silenciosamente até que a negociação espacial os exponha.

Em suma, o artigo oferece tanto um recurso de dados robusto quanto uma metodologia inovadora para estudar e avaliar a compreensão mútua em sistemas de diálogo com informações desiguais.