Triadic Werewolf: A Jester Role for Multi-Hop Theory of Mind in LLMs

Resumo Técnico: Triadic Werewolf: Um Papel de Bobo da Corte para Teoria da Mente de Múltiplos Saltos em LLMs

Declaração do Problema
Os benchmarks atuais para avaliar a Teoria da Mente (ToM) em Grandes Modelos de Linguagem (LLMs) dentro de jogos de dedução social (ex: Lobisomem, Avalon) são predominantemente diádicos. Esses jogos dividem os jogadores em duas facções opostas (ex: Aldeões vs. Lobisomens), criando um cenário onde cada pista observável aponta para um único lado oculto. Consequentemente, um modelo pode obter pontuações altas ao explorar heurísticas superficiais (ex: "hesitação implica Lobisomem") sem genuinamente simular os incentivos dos oponentes ou raciocinar sobre estados mentais ocultos. Isso é denominado o problema da suficiência de pistas: uma pontuação alta sob condições diádicas não indica necessariamente um raciocínio de ToM de múltiplos saltos genuíno, pois a política ótima e uma política pura de leitura de pistas frequentemente selecionam a mesma ação.

Metodologia
Para quebrar essa coincidência, os autores introduzem o Triadic Werewolf, um benchmark de 10 jogadores que adiciona uma terceira facção: o Bobo da Corte (Jester).

• Arquitetura do Jogo: O jogo inclui 6 Aldeões, 2 Lobisomens, 1 Médico e 1 Bobo da Corte. A função de utilidade do Bobo da Corte é invertida: ele vence se, e somente se, for votado para fora (exilado) pela maioria durante o dia. Por outro lado, os Lobisomens vencem ao eliminar os Aldeões, e os Aldeões vencem ao eliminar os Lobisomens.
• O Conflito de Incentivos: Esta estrutura cria ambiguidade de pistas. Um jogador que exibe alta suspeita é uma evidência ambígua: ele pode ser um Lobisomem (que os Aldeões devem exilar) ou um Bobo da Corte (que os Aldeões não devem exilar, pois exilar o Bobo causa uma perda para o Aldeão). Os Lobisomens também devem raciocinar que exilar um jogador de alta suspeita pode ser um Bobo da Corte, o que encerra o jogo em uma derrota para a facção dos Lobisomens.
• Design Experimental: O estudo avalia três modelos de fronteira (GPT-4.1, DeepSeek-V3.1, Llama-3.3-70B) em 60 jogos (10 jogos por modelo por condição).
  • Condições: Um loop de autoaprendizado do Bobo da Corte é alternado entre ON/OFF. Na condição ON, o modelo do Bobo da Corte resume o jogo, extrai lições (táticas, fazer, evitar fazer) e anexa-as a um arquivo de aprendizado persistente alimentado de volta no prompt do sistema para os jogos subsequentes.
  • Métricas: Os resultados são medidos por taxas de vitória por facção, dinâmica de votação (especificamente votos do Dia 1) e análise comportamental de tipos de decepção e pontuações de suspeita.
  • Controle: Um controle diádico (removendo o Bobo da Corte e adicionando um sexto Aldeão) é executado no GPT-4.1 para isolar o efeito da estrutura triádica.

Principais Contribuições

1. Benchmark Triádico: Uma variante de 10 jogadores de Werewolf onde a utilidade invertida do Bobo da Corte quebra a suficiência de pistas dos jogos de dedução diádicos padrão, forçando agentes a raciocinar através de três funções de utilidade concorrentes.
2. Avaliação Controlada: Uma avaliação sistemática de loops de autoaprendizado em um contexto de decepção, medindo ganhos de primeira ordem para o Bobo da Corte e efeitos de segunda ordem nas outras facções.
3. Análise Mecanística: Uma codificação dedutiva de 141 lições acumuladas do Bobo da Corte, categorizando-as por estratégia e ordem de Teoria da Mente (1ª ordem: imperativo puro; 2ª ordem: referenciando percepções de outros; 3ª ordem: contraste explícito entre as percepções de duas facções, ex: "parecer lobo-like sem parecer alinhado ao aldeão").

Resultados

• Dominância do Bobo da Corte: Em todos os modelos, o Bobo da Corte vence 55–70% dos jogos, enquanto os Lobisomens raramente excedem 20%. Isso sugere que os modelos falham em resolver a ambiguidade das pistas, frequentemente tratando jogadores de alta suspeita como Lobisomens a serem exilados, inadvertidamente ajudando o Bobo da Corte.
• Autossabotagem: Os Lobisomens frequentemente votam no Bobo da Corte no Dia 1 (60–70% para o GPT-4.1), uma ação estritamente autodeficiente que encerra o jogo em uma derrota para a facção dos Lobisomens. Isso indica uma falha em modelar o Bobo da Corte como uma terceira parte distinta com diferentes incentivos.
• Efeito de Substituição: Quando o loop de autoaprendizado melhora a taxa de vitória do Bobo da Corte, a perda é absorvida quase inteiramente pelos Aldeões, não pelos Lobisomens. Os Lobisomens já estavam falhando na tarefa de inferência; os ganhos do Bobo da Corte vêm da exploração da atualização de crenças dos Aldeões.
• Aprendizado Específico do Modelo:
  • DeepSeek-V3.1: Mostra o maior ganho do loop de autoaprendizado (+40% de taxa de vitória). É o único modelo que produz consistentemente entradas de ToM de 3ª ordem (15,4% das lições), aprendendo explicitamente a imitar um Lobo enquanto evita o alinhamento com o Aldeão.
  • GPT-4.1: Mostra um efeito de teto; começa com uma taxa de vitória de Bobo da Corte alta (70%) e o autoaprendizado proporciona pouca melhoria ou até uma leve degradação em algumas métricas. Ele depende de comportamento errático e agressividade em vez de raciocínio contrastivo matizado.
  • Llama-3.3-70B: Mostra ganhos moderados (+20%), mas depende de raciocínio de 1ª e 2ª ordem (imperativos puros ou simples referências de percepção) sem o contraste triádico explícito.
• Decepção como Propriedade do Modelo: Estilos de decepção (ex: fabricação vs. distorção) são consistentes entre papéis para um determinado modelo, sugerindo que os modelos aplicam uma "estética de decepção" fixa em vez de adaptar estratégias baseadas nos incentivos dos oponentes.

Significância e Alegações
O artigo alega que estruturas de incentivo triádicas expõem uma camada de raciocínio multiagente que os jogos diádicos deixam invisível. Os resultados indicam que os LLMs de fronteira atuais não realizam confiavelmente a inferência de ToM de múltiplos saltos necessária para distinguir entre um "aldeão/bobo suspeito" e um "lobisomem suspeito", quando a ação correta depende da utilidade do papel oculto.

O estudo argumenta que pontuações altas em benchmarks diádicos podem ser artefatos de suficiência de pistas e não de raciocínio genuíno de estado mental. A falha dos modelos em prevenir a vitória do Bobo da Corte — especificamente a autossabotagem dos Lobisomens e a incapacidade dos Aldeões de distinguir o Bobo da Corte de um Lobo — serve como uma assinatura comportamental dessa limitação. Além disso, o artigo demonstra que loops de autoaprendizado podem ajudar os modelos a adquirir estratégias contrastivas complexas (como visto no DeepSeek-V3.1), mas também podem degradar o desempenho em modelos que já saturaram a tarefa ou dependem de heurísticas diferentes (como visto no GPT-4.1).

Os autores concluem que a taxa de vitória do Bobo da Corte serve como uma medida direta de falha de ToM de múltiplos saltos e que a configuração triádica é uma mudança estrutural necessária para avaliar se os LLMs podem realmente raciocinar sobre incentivos concorrentes além do simples correspondimento de padrões de superfície.