Are you with me? A Framework for Detecting Mental Model Discrepancies in Task-Based Team Dialogues

Resumo Técnico: "Você está comigo? Um Framework para Detectar Discrepâncias de Modelo Mental em Diálogos de Equipes Baseados em Tarefas"

Declaração do Problema

O trabalho em equipe eficaz depende de Modelos Mentais Compartilhados (MMCs), onde os membros da equipe mantêm representações sobrepostas dos estados da tarefa, objetivos e capacidades dos companheiros. Embora os métodos tradicionais de avaliação de MMCs (por exemplo, codificação retrospectiva por especialistas, questionários) forneçam pontuações globais de similaridade, eles não conseguem capturar a natureza dinâmica e em tempo real das rupturas de coordenação. Especificamente, a literatura existente carece de uma categorização sistemática de como os modelos mentais divergem durante diálogos naturais de equipes e se padrões específicos de desalinhamento podem prever falhas futuras de coordenação. Este artigo aborda a lacuna na compreensão dos tipos específicos de discrepâncias que surgem quando atualizações não são comunicadas e como essas discrepâncias evoluem ao longo de episódios sequenciais de tarefas.

Metodologia

Configuração Experimental:
O estudo utilizou uma tarefa colaborativa de identificação de objetos dentro de um ambiente de jogo de vídeo envolvendo 20 equipes de duplas. A tarefa apresentou informação assimétrica: um "Observador" tinha instruções escritas detalhadas, mas alcance visual limitado, enquanto um "Fotógrafo" tinha binóculos aprimorados, mas dependia inteiramente de pistas verbais do Observador. O experimento consistiu em quatro níveis sequenciais (Polícia Local, Busca e Resgate em Montanha, Patrulha de Praia e Caça Ilegal), cada um com duração de oito minutos.

Processamento de Dados:
Todas as comunicações da equipe foram transcritas usando Modelos de Linguagem de Grande Escala (LLMs) e verificadas por anotadores humanos. Um modelo LLM previamente desenvolvido (atualmente em revisão) foi empregado para detectar atualizações de modelo mental e categorizar discrepâncias no nível da anotação humana.

Framework de Categorização de Discrepâncias:
Os autores propõem um framework que identifica quatro tipos distintos de discrepâncias de modelo mental observáveis no diálogo:

1. Contradição de Crença: Um membro acredita em $X$, enquanto outro acredita em $\neg X$ (por exemplo, visões conflitantes sobre a estabilidade de um objeto).
2. Omissão: O modelo mental de um membro carece de uma crença que outro membro possui, inferida a partir de expectativas baseadas em papéis de conhecimento versus conteúdo comunicado.
3. Crenças Não Sustentadas: Crenças identificadas por um membro que não são nem contraditas nem apoiadas pela verdade fundamental ou por outros membros (inverificáveis).
4. Crenças Falsas: Crenças explicitamente contraditas pela verdade fundamental estabelecida (por exemplo, dados de localização incorretos).

Modelo de Previsão:
Para testar se padrões históricos de discrepância preveem o desempenho futuro, os autores empregaram um modelo de soma ponderada de base. A contagem de discrepância prevista para um nível alvo ($L_{alvo}$) foi calculada como a soma das contagens de discrepância de níveis anteriores ($L_i$) multiplicada por pesos ($w_i$).
$$L_{alvo}(d) = \sum_{i \neq alvo} w_i L_i(d), \quad \sum w_i = 1$$
O estudo utilizou uma base de ponderação uniforme ($w_i = 1/n$), assumindo que todos os níveis anteriores contribuem igualmente. Esquemas mais complexos (por exemplo, ponderados por recência, específicos por tipo) foram propostos como extensões teóricas, mas não foram testados empiricamente neste trabalho.

Resultados Principais

Distribuição de Discrepâncias:
Em 20 equipes e quatro níveis, foram identificadas 1.447 discrepâncias no total.

• Omissões foram a categoria dominante, constituindo a maior fonte tanto de discrepâncias totais quanto de erros de previsão em termos absolutos.
• Contradições de Crença mostraram alta volatilidade entre níveis e equipes.
• Crenças Falsas e Crenças Não Sustentadas foram raras, aparecendo em menos de 20% das observações ao nível da equipe e contribuindo de forma negligenciável para o erro de previsão geral.

Precisão Preditiva:
Usando a base de média uniforme, o modelo alcançou uma correlação em pares de 0,56 ($p=0,01$) entre as contagens de discrepância previstas e reais para o Nível 4 com base nos Níveis 1–3.

• Os autores alertam que essa correlação pode refletir estabilidade nas taxas de base específicas da equipe, em vez de um vínculo causal mecânico, já que as contagens do Nível 4 provavelmente são autocorrelacionadas com níveis anteriores.
• Algumas equipes (por exemplo, Equipe 6) mostraram trajetórias previsíveis onde desafios de base persistiram apesar de melhorias temporárias, enquanto outras (por exemplo, Equipes 13, 16) exibiram desvios substanciais no nível final.

Validação:
Para validar a detecção baseada em LLM, os autores correlacionaram as contagens de discrepância com uma métrica de pontuação objetiva baseada no desempenho de identificação de alvos (confirmação visual de objetos específicos). A Equipe 16, que exibiu significativamente mais discrepâncias de MMC (particularmente omissões e contradições), obteve pontuação mais baixa (26,3%) do que a Equipe 8 (42,1%), apoiando a afirmação de que o desalinhamento baseado em comunicação se manifesta como diminuições mensuráveis de desempenho.

Significado e Alegações

O artigo alega fornecer a primeira categorização sistemática de tipos de discrepância de MMC em coordenação de equipe naturalística. Suas principais contribuições são:

1. Framework Teórico: Distinguir entre quatro tipos específicos de desalinhamento (omissões, contradições, crenças falsas, crenças não sustentadas) em vez de tratar a qualidade do MMC como uma métrica monolítica.
2. Dinâmicas Temporais: Demonstrar que diferentes tipos de discrepância exibem estabilidade temporal diferencial. Omissões mostraram padrões estáveis entre níveis, sugerindo que comportamentos de compartilhamento de informações são resistentes à mudança. Em contraste, contradições de crença mostraram maior volatilidade, com algumas equipes resolvendo-as por meio de diálogo enquanto outras não.
3. Potencial Preditivo: Mostrar que mesmo uma ponderação uniforme simples de contagens históricas de discrepância pode produzir precisão preditiva significativa, sugerindo que padrões de coordenação em estágios iniciais estabelecem trajetórias que persistem.

Os autores concluem modestamente que, embora o framework permita estratégias de intervenção direcionadas (por exemplo, abordar lacunas de informações versus desacordos interpretativos), o modelo aditivo atual assume independência entre tipos de discrepância, o que pode não refletir a realidade (por exemplo, omissões em cascata levando a contradições). Trabalhos futuros são necessários para incorporar curvas de aprendizado específicas da equipe e dinâmicas específicas por tipo.