Resumo Técnico: LLMs e sua Teoria da Mente Limitada

Declaração do Problema

O desempenho eficaz de equipes humanas depende de um Modelo Mental Compartilhado (SMM - Shared Mental Model), uma compreensão consistente entre os membros da equipe em relação a tarefas, objetivos e estados de crença latentes. Enquanto os humanos compreendem implicitamente o subtexto do diálogo situado (suposições, intenções e conhecimento), permanece incerto se os Grandes Modelos de Linguagem (LLMs) conseguem inferir e anotar com precisão esses estados de crença interna baseando-se apenas em interações de diálogo. As avaliações atuais de Teoria da Mente (ToM) em LLMs frequentemente dependem de tarefas estáticas e descontextualizadas (ex: questões de múltipla escolha) que falham em capturar o raciocínio dinâmico e em tempo real exigido para a coordenação situada. Este artigo aborda a lacuna na avaliação da capacidade dos LLMs de rastrear estados de crença em contextos de equipe interativos e fundamentados, e detectar discrepâncias entre modelos mentais inferidos e a verdade fundamental (ground truth).

Metodologia

Os autores propõem um novo framework de duas etapas para avaliar LLMs como geradores de rastros de modelos mentais e como detectores automatizados de discrepâncias.

1. Conjunto de Dados e Configuração

• Corpus: O estudo utiliza o corpus Cooperative Remote Search Task (CReST), composto por interações baseadas em tarefas situadas entre um "buscador" (fisicamente presente em um ambiente) e um "diretor" (remoto, visualizando um mapa incompleto).
• Verdade Fundamental (Ground Truth): Seis diálogos com gravações de vídeo associadas (câmera de cabeça do buscador e tela do diretor) foram selecionados para estabelecer os rastros de modelos mentais da verdade fundamental.
• Geradores de Rastro: Três LLMs independentes (OpenAI o3-mini, Anthropic Claude Sonnet 4, Google Gemma 8.5B) e dois grupos de anotadores humanos foram encarregados de gerar rastros de modelos mentais para os seis diálogos.
  • Condição Ingênua: LLMs e um par de humanos receberam apenas a transcrição de áudio (sem vídeo).
  • Condição de Verdade Fundamental: Um segundo par de humanos recebeu as transcrições mais as evidências de vídeo para estabelecer os rastros da verdade fundamental.
• Esquema de Anotação: Os rastros foram gerados como objetos JSON atualizando estados de crença, objetivo e compromisso para cada enunciado, utilizando um vocabulário de verbos específico para garantir a comparabilidade.

2. Estrutura de Análise de Discrepância

Um "juiz LLM" separado comparou os rastros de áudio-apenas (de LLMs e humanos ingênuos) contra os rastros da verdade fundamental fundamentados em vídeo. O framework define quatro tipos específicos de discrepância:

1. Contradições de Crença: Proposições mutuamente exclusivas mantidas pelos agentes no rastro versus a verdade fundamental.
2. Crenças Falsas: Proposições no rastro que discordam da verdade fundamental (mesmo que não sejam negações diretas).
3. Crenças Não Suportadas: Proposições no rastro que carecem de base de evidência na verdade fundamental (alucinações).
4. Omissões: Atualizações de crença/objetivo ausentes que estão presentes na verdade fundamental, mas ausentes no rastro.

Um escore de discrepância ponderado ($S_{m,d}$) foi calculado, normalizado para [0, 1], para quantificar o alinhamento com a verdade fundamental, levando em conta a extensão do diálogo e a severidade do erro.

Principas Contribuições

• Primeiro Estudo de seu Gênero: Tanto quanto os autores saibam, este é o primeiro estudo a utilizar rastros de estados de crença de diálogo baseado em tarefas do mundo real como uma lente para avaliar a ToM em LLMs.
• Framework Inovador: Introdução de um pipeline de avaliação reproduzível de duas etapas para coerência de SMM que distingue entre falta de informação perceptual e erros de inferência.
• Liberação de Conjunto de Dados: Criação de um conjunto de dados contendo rastros de modelos mentais humanos e de LLMs, juntamente com rastros de verdade fundamental derivados de vídeo, permitindo pesquisas futuras sobre ToM situada.
• Taxonomia de Discrepância: Definição e operacionalização de quatro tipos distintos de erro (Contradições, Crenças Falsas, Crenças Não Suportadas, Omissões) com uma classificação de severidade.

Resultados

A avaliação através de seis diálogos (1.142 enunciados) revelou lacunas significativas de desempenho entre modelos e humanos:

• Desempenho dos Modelos:
  • Claude Sonnet 4 exibiu as contagens de discrepância geral mais altas (ultrapassando 700 no Diálogo 3) e os escores normalizados mais baixos. Frequentemente gerou crenças não suportadas e contradições de crença, sugerindo uma tendência ao raciocínio especulativo e à generalização excessiva.
  • o3-mini e Gemma 8.5B produziram significativamente menos discrepâncias. No entanto, exibiram perfis distintos: o o3-mini teve altas taxas de omissão, enquanto o Gemma teve omissões quase nulas, mas taxas mais altas de contradições de crença.
  • Crenças Falsas foram notavelmente escassas em todos os modelos, indicando que os erros frequentemente derivam de extrapolação não fundamentada em vez de identificação errônea confiante.
• Humano vs. LLM:
  • Anotadores humanos ingênuos superaram os LLMs em limitar crenças não suportadas (alucinações), mas mostraram taxas comparáveis ou superiores de contradições de crença e omissões.
  • A análise estatística (ANOVA de duas vias) confirmou um efeito principal forte do modelo ($p < 2e-16$), com o Claude diferindo significativamente tanto do Gemma quanto do o3-mini.
• Padrões de Erro: A análise qualitativa indicou que os LLMs erram sistematicamente em cenários que exigem raciocínio espacial ou a desambiguação de disfluências de nível de transcrição. Os erros agruparam-se em turnos onde o embasamento ambiental era crítico, mas indisponível apenas no texto.

Significância e Alegações

O artigo alega que, embora os LLMs possam simular comportamentos limitados e mensuráveis de tipo ToM (mantendo estruturas de crença internamente consistentes), eles carecem de raciocínio situacional fundamentado.

• ToM Limitada: Os LLMs parecem inferir estados mentais a partir de regularidade linguística em vez de uma compreensão integrada espacial, temporal e epistêmica. Eles produzem rastros que são coerentes em tarefas de linguagem natural diretas, mas falham quando restrições espaciais ou o embasamento ambiental são necessários.
• Validação de Tarefa de Proximidade (Proxy Task): O estudo propõe a geração de rastros de diálogo situado como uma tarefa de proximidade viável para sondar as capacidades de ToM em sistemas de IA, indo além de benchmarks estáticos.
• Implicações: Os achados ressaltam que os LLMs atuais são movidos mais por padrões linguísticos do que pelo raciocínio dinâmico e em tempo real que sustenta a ToM humana. Essa limitação é crítica para aplicações envolvendo equipes humano-IA, onde modelos mentais compartilhados precisos são essenciais para a coordenação.

Os autores permanecem modestos, reconhecendo limitações como a natureza não determinística das saídas dos LLMs, a escala específica do subconjunto CReST e a falta de uma condição onde os LLMs tenham acesso ao vídeo (entrada multimodal), o que identificam como uma direção para trabalhos futuros.