Beyond Sally-Anne: Evaluating Theory of Mind in LLMs using Epistemic Schelling Points

Resumo Técnico: Além de Sally-Anne: Avaliando a Teoria da Mente em LLMs usando Pontos de Schelling Epistêmicos

Definição do Problema
As avaliações atuais da Teoria da Mente (ToM) em Grandes Modelos de Linguagem (LLMs) dependem predominantemente de testes cognitivos estáticos e baseados em texto, adaptados da psicologia humana, como a tarefa de falsa crença de Sally-Anne. Os autores argumentam que esses benchmarks sofrem de duas falhas metodológicas críticas:

1. Contaminação por Pré-treinamento: Os LLMs podem "manipular" esses testes ao reconhecer estruturas de tarefas ou pistas linguísticas de seus dados de treinamento, em vez de genuinamente inferir estados mentais.
2. Falta de Robustez Funcional: O alto desempenho em benchmarks estáticos não indica necessariamente a capacidade de aplicar ToM em cenários naturais e dinâmicos. Especificamente, permanece incerto se os modelos conseguem rastrear estados mentais de forma coerente para tomar decisões contextualmente apropriadas em cenários interativos.

A literatura existente sugere que, embora os LLMs tenham um bom desempenho nessas tarefas, a robustez de suas inferências e sua capacidade de raciocínio social generalizado e interativo permanecem não verificadas.

Metodologia: A Tarefa de Schelling Epistêmica (A)ssimétrica (EAST)
Para abordar essas limitações, os autores introduzem o EAST, um jogo de coordenação de dois jogadores baseado em texto, projetado para avaliar a ToM funcional.

• Mecânica do Jogo: Dois agentes de LLM, cada um com uma persona distinta atribuída (ex: um alfaiate e um cirurgião), são apresentados a uma lista de quatro palavras: duas palavras específicas da persona ($w_{p1}, w_{p2}$), uma palavra compartilhada ($w_s$) e uma palavra não relacionada de alta frequência ($w_u$). Os agentes devem selecionar independentemente a mesma palavra sem comunicação.
• Condições Epistêmicas: A tarefa varia a "transparência epistêmica" entre os jogadores para testar diferentes níveis de raciocínio social:
  • Simétrica: Ambos os jogadores conhecem as identidades um do outro. A solução normativa é a palavra compartilhada ($w_s$).
  • Assimétrica: Apenas o Jogador 1 conhece a identidade do Jogador 2; o Jogador 2 é "cego". A solução normativa exige que o Jogador 1 modele a ignorância do Jogador 2 e selecione a palavra da persona do Jogador 2 ($w_{p2}$), enquanto o Jogador 2 deve antecipar a acomodação do Jogador 1.
  • Conhecimento Zero: Nenhum dos jogadores conhece a identidade do outro. A solução normativa é a palavra não relacionada ($w_u$), pois qualquer associação específica à persona é epistemicamente arbitrária.
• Configuração Experimental: O estudo avaliou 14 modelos, variando de 1B a 31B parâmetros (incluindo modelos de pesos abertos como Gemma, Llama, Mistral, Qwen e DeepSeek) e modelos de fronteira (Gemini 3.1 Pro). Cada modelo jogou 90 partidas em 10 cenários, três condições epistêmicas e três estratégias de prompting (Direto, Cadeia de Pensamento Padrão e ToM Estratégica).
• Análise: Os autores utilizaram uma abordagem de LLM-como-juiz para anotar os rastros de raciocínio quanto à profundidade da ToM (variando de inferência rasa a ToM recursiva) e coerência com as restrições epistêmicas. Eles também categorizaram falhas de coordenação em falácias cognitivas específicas, incluindo erros de identidade/semântica, erros de rastreamento epistêmico e falhas de execução estratégica.

Resultos Principais

1. Lacuna de Capacidade: Existe uma lacuna significativa de desempenho entre modelos de fronteira e modelos menores ou de pesos abertos. Apenas modelos de fronteira (especificamente o Gemini 3.1 Pro) navegaram com sucesso pelas demandas de raciocínio social em todas as condições. Modelos mais fracos falharam sistematicamente nas condições mais cognitivamente exigentes: Assimétrica e de Conhecimento Zero.
2. Rastreamento Epistêmico como um Gargalo: O principal driver de falha foi identificado como erros de rastreamento epistêmico. Os modelos frequentemente confundiram seu próprio conhecimento privado com conhecimento mútuo ou falharam em representar com precisão o estado epistêmico do parceiro. Por exemplo, na condição Assimétrica, jogadores que "sabiam" falharam em considerar a ignorância do jogador "cego", selecionando a própria palavra da persona em vez da palavra do parceiro.
3. Raciocínio vs. Desempenho: Embora o prompting de Cadeia de Pensamento (CoT) e ToM Estratégica tenha reduzido correspondências "acidentais" ou baseadas em heurísticas, o raciocínio mais profundo só se traduziu em coordenação bem-sucedida para os modelos mais capazes. Modelos mais fracos frequentemente envolviam um raciocínio de ToM incoerente que contradizia as restrições epistêmicas do prompt.
4. Limitações de Benchmarks Estáticos: O estudo demonstra que o alto desempenho em benchmarks tradicionais não se correlaciona com a capacidade de realizar inferência social robusta em ambientes interativos, onde os agentes devem suprimir vieses autorreferenciais para alcançar a coordenação.

Significância e Contribuições
O artigo apresenta quatro contribuições principais:

1. Benchmark EAST: Introduz um novo benchmark multi-agente que mitiga a contaminação por pré-treinamento e avalia o raciocínio social robusto sob variadas restrições epistêmicas.
2. Evidência Empírica de Lacunas: Revela uma lacuna significativa de capacidade no raciocínio social robusto em todo o panorama atual de modelos, destacando que mesmo modelos grandes lutam com a ToM funcional em ambientes de informação assimétrica.
3. Análise Diagnóstica: Através da análise de rastros de raciocínio, identifica os erros de rastreamento epistêmico (especificamente a falha em desacoplar o autoconhecimento do conhecimento do outro) como um gargalo crítico.
4. Direções Futuras: Os autores propõem a robustez epistêmica — a capacidade de manter representações robustas dos estados epistêmicos alheios e desacoplá-los de si mesmos — como um alvo concreto para avaliação e alinhamento de modelos futuros. Eles sugerem que o treinamento em ambientes interativos multi-agentes, onde a tomada de perspectiva é intrínseca ao sucesso, pode ser mais eficaz do que o ajuste fino em narrativas estáticas.

Os autores mantêm uma postura modesta, observando que o EAST é uma primeira iteração consolidada do paradigma. Eles reconhecem limitações como o uso de díades homogêneas (auto-jogo) e a falta de informação de forma enganosa, sugerindo que trabalhos futuros devem explorar interações heterogêneas e ruído adversário para testar ainda mais essas capacidades.