💬 NLP

MafiaScope: Non-Invasive, Time-Resolved Belief Probing for LLM Agents in Social Deduction Games

MafiaScope é um ambiente de testes aberto que permite a sondagem não invasiva e resolvida no tempo das crenças privadas de agentes de LLM durante jogos de dedução social, revelando erros de calibração significativos e fornecendo ferramentas para visualizar e reproduzir contrafactualmente trajetórias de raciocínio de agentes.

Autores originais: Ilia Karpov

Publicado 2026-07-14

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ilia Karpov

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um grupo de agentes de IA jogando uma partida de alto nível de Mafia. Neste jogo, alguns jogadores são membros secretos da "Mafia", que se conhecem e tentam matar os "Villagers" (Aldeões) inocentes durante a noite, enquanto os Villagers tentam descobrir quem são os assassinos durante o dia. Geralmente, quando assistimos à IA jogar, só vemos o placar final: quem venceu, quem foi votado e quem mentiu. É como assistir a um show de mágica e ver apenas o truque final, sem ter ideia de como as mãos do mágico se moveram.

MafiaScope é uma nova ferramenta que atua como um headset de "leitura de mente" mágico para esses agentes de IA. Mas aqui está o detalhe: não altera o jogo. É não invasivo. Toda vez que um agente de IA diz algo em voz alta para o grupo, o sistema pausa silenciosamente, faz uma pergunta secreta ao agente sobre o que ele realmente acredita e, em seguida, deleta imediatamente essa resposta para que ela nunca influencie o jogo novamente.

Pense nisso como um reality show onde, após cada confissão dramática, a câmera corta para uma sala privada e pergunta ao participante: "Ok, quem você realmente acha que é o assassino agora?" O participante responde, a câmera grava e a resposta é trancada em um cofre. O participante nunca ouve sua própria resposta secreta, portanto, não pode mudar seu comportamento com base nela. Isso permite que pesquisadores vejam os pensamentos verdadeiros do agente versus suas mentiras públicas.

O Que Eles Realmente Descobriram?

Os pesquisadores realizaram 32 jogos usando um modelo de IA específico (DeepSeek) e coletaram mais de 13.800 dessas respostas secretas. Aqui está o que os dados revelaram:

A Ilusão do "Holofote": Os agentes inocentes são péssimos em adivinhar o que os outros pensam deles. Eles acreditam que estão sendo suspeitos 1,5 vezes mais frequentemente do que realmente estão. É como entrar em uma festa e sentir que todos estão olhando para o seu corte de cabelo estranho, quando, na realidade, ninguém notou. O artigo sugere que isso é uma versão "máquina" de um traço psicológico humano chamado "efeito de holofote" (spotlight effect). Curiosamente, os próprios agentes da Mafia eram muito melhores nisso; eles sabiam exatamente quando estavam seguros e quando estavam em apuros.
Confiança é um Blefe: Quando os agentes diziam que estavam "muito confiantes" em seus palpites, eles frequentemente estavam errados. O artigo mediu isso usando uma métrica chamada Erro de Calibração Esperada (Expected Calibration Error), que resultou em 0,17. Em português claro, se um agente diz: "Estou 80% seguro de que esta pessoa é da Mafia", ele está certo apenas cerca de 54,6% das vezes. Eles são blefadores excessivamente confiantes, não preditores precisos.
A Verdade é uma Montanha-Russa: As crenças dos agentes não se estabilizaram em uma verdade constante. Em vez disso, suas suspeitas foram voláteis. Em média, o "principal suspeito" de um agente mudava em 48,7% das verificações secretas. Eles estavam circulando em torno da verdade, em vez de fixarem-se nela.
Mentir Funciona (Às Vezes): Os agentes da Mafia venceram 31 de 32 jogos neste estudo específico. A ferramenta mostrou que a Mafia conseguiu manter os Villagers confusos, embora os Villagers estivessem ficando melhores em adivinhar conforme o jogo avançava (sua precisão subiu de 47,6% na rodada 0 para 75,4% na rodada 3).

O Que Eles Explicitamente Descartaram

O artigo é muito cuidadoso para não exagerar esses resultados.

Não é um Problema "Resolvido": Os autores afirmam explicitamente que esses achados descrevem esta configuração específica com este modelo de IA específico. Eles não alegam que todos os agentes de IA são excessivamente confiantes ou que todos os jogadores de Mafia de IA são tão bons assim.
Não é "Leitura de Mente" no Sentido Filosófico: O artigo argumenta contra a ideia de que esses agentes possuem "crenças" profundas e humanas. Em vez disso, eles tratam as respostas como "relatórios operacionais" — basicamente, a IA está apenas prevendo o que ela diria se fosse perguntada, não necessariamente revelando uma alma.
Não é uma Garantia de Verdade: O artigo observa que, como os agentes estão fazendo autorrelatos, eles podem estar mentindo para a sonda. No entanto, descobriram que as respostas secretas dos agentes coincidiam de perto com seu comportamento de votação pública (em 64,9% dos votos dos inocentes, o agente votou em seu principal suspeito secreto), sugerindo que os relatórios são, pelo menos, consistentes com suas ações.

O Quão Certos Estamos?

O artigo usa a palavra "sugere" com bastante frequência, especialmente em relação ao porquê os agentes se comportam dessa forma.

O Experimento do "Momento Crucial": Os pesquisadores tentaram ver se mudar apenas uma frase no jogo mudaria o resultado. Eles rodaram uma simulação onde "ramificaram" o jogo (criaram 30 linhas do tempo paralelas) para ver o que aconteceria se um jogador específico não tivesse dito algo específico.
- Eles descobriram que corrigir uma mentira específica (dita por um jogador chamado Finley) sugeria que poderia ter mudado o resultado, aumentando a chance de um Villager ser eliminado de 0,4 para 0,8.
- No entanto, o artigo admite que isso não é estatisticamente provado. Com apenas 5 repetições por cenário, a diferença não era grande o suficiente para ter 100% de certeza (o p-valor estatístico foi de aproximadamente 0,52, o que não é significativo). Eles estão mostrando que a ferramenta funciona para encontrar esses momentos, não que resolveram definitivamente o mistério daquele jogo específico.

O Panorama Geral

O MafiaScope não é uma varinha mágica que conserta a IA. É um microscópio. Antes disso, só víamos o voto final da IA. Agora, podemos ver o processo de pensamento confuso, excessivamente confiante e às vezes brilhante acontecendo entre os votos.

A ferramenta permite que os pesquisadores observem a "trajetória da crença" — como a mente de um agente muda segundo a segundo. Ela mostra que, embora a IA possa jogar o jogo, ela muitas vezes não "sabe" o que sabe. Ela adivinha, torna-se excessivamente confiante e às vezes acha que todos estão observando quando não estão.

O artigo conclui disponibilizando o motor, o visualizador e os dados para que qualquer pessoa possa utilizar. É um convite aberto para observar a mente da IA em tempo real, provando que, no mundo da IA, o que você diz e o que você pensa são frequentemente duas coisas muito diferentes.

Resumo Técnico: MafiaScope

Declaração do Problema

As avaliações atuais de agentes de Grandes Modelos de Linguagem (LLMs) em jogos de dedução social (ex: Mafia, Lobisomem) baseiam-se primordialmente em métricas de resultado, como taxas de vitória ou precisão de votação. Essas abordagens falham em revelar a "Teoria da Mente" (ToM) interna dos agentes. Um agente pode votar corretamente por meio de suposição, ou mentir de forma eficaz sem revelar suas verdadeiras crenças. Além disso, benchmarks estáticos de ToM (ex: vinhetas ou diálogos roteirizados) não conseguem capturar como o modelo de um agente sobre os outros evolui dinamicamente dentro de uma interação adversária que o próprio agente ajuda a causar. O trabalho existente que coloca LLMs em jogos frequentemente extrai o raciocínio dentro do contexto do jogo, onde o ato de questionar altera o comportamento subsequente, ou avalia apenas o resultado final, deixando o estado de crença como uma "caixa preta".

Metodologia

O artigo apresenta o MafiaScope, um ambiente de teste não invasivo e resolvido no tempo, projetado para medir a ToM de máquinas ao sondar as crenças privadas dos agentes sem alterar seu estado de jogo. O sistema opera através de três camadas desacopladas:

Motor de Jogo (Game Engine): Uma implementação padrão de Mafia que suporta lineups heterogêneas de LLMs (via APIs compatíveis com OpenAI, modelos locais ou processos HTTP externos). Os agentes são parametrizados por backend, linguagem e um vetor de personalidade Big-Five.
Motor de Sondagem de Introspecção (Introspection Probe Engine): Após cada fala pública e ação privada noturna, o motor pausa o jogo e interroga privadamente cada agente vivo.
- Não-Invasividade: As sondagens rodam em uma cópia de "descarte" da lista de mensagens do agente. Perguntas e respostas existem apenas durante a passagem da sondagem e nunca são escritas de volta ao contexto persistente do agente ou reingressam no loop do jogo.
- Sondagem Estruturada: As sondagens são definidas via um DSL em YAML que suporta gatilhos condicionais, encadeamento (usando respostas anteriores analisadas) e orçamentos de tokens.
- Sondas Padrão: O sistema inclui seis sondas: role_beliefs (crenças de papel), role_assessment (avaliação de papel), suspicion_ranking (ranking de suspeita), planned_action (ação planejada), social_map (crenças de segunda ordem: "como os outros se sentem sobre mim") e personality_profile (perfil de personalidade).
- Pontuação: As respostas são analisadas como JSON e pontuadas automaticamente contra a verdade fundamental do motor (papéis conhecidos) ou contra o próprio relatório de primeira ordem do agente no mesmo passo.
Pipeline de Dados e Visualizador: Uma aplicação D3 de página única que renderiza:
- Modo de Personificação (Impersonate Mode): Re-renderiza o jogo a partir da perspectiva de um agente específico, contrastando suas expectativas de segunda ordem ("Acreditado") contra os relatórios de primeira ordem reais dos outros ("Atual").
- Métricas e Calibração: Plotagem em tempo real de precisão de primeira ordem, recall da multidão, consistência de segunda ordem e curvas de calibração (confiança declarada vs. precisão real).
- Replay Contrafactual: Permite "ramificar" (forking) o estado do jogo em qualquer etapa para re-simular a continuação $N$ vezes, gerando uma distribuição de resultados para atribuir falas cruciais.

Principais Contribuições

Motor de Sondagem Configurável: Um DSL baseado em YAML que produz logs de crença em JSONL totalmente indexados com gatilhos condicionais e encadeamento, permitindo uma medição densa e resolvida no tempo.
Visualizador Interativo: Uma ferramenta para inspeção longitudinal de crenças que apresenta visões de personificação, painéis de calibração, sobreposições de decepção e capacidades de replay contrafactual.
Estudo de Caso e Experimento de Replay: Um estudo de 32 jogos com modelos DeepSeek (13.815 respostas de sondagem analisadas) e um experimento de replay de 30 ramificações demonstrando análises invisíveis à avaliação baseada apenas em resultados.

Resultados

O estudo de caso, focando em agentes DeepSeek, gerou várias descobertas específicas sobre a dinâmica de crenças:

F1 (Trajetórias de Crença): Agentes do lado dos vilões começam amplamente agnósticos (74,9% "Desconhecido" no Round 0) e se comprometem com crenças cada vez mais precisas conforme a evidência se acumula (precisão comprometida subindo de 47,6% para 75,4% até o Round 3).
F2 (Calibração): Os agentes são mal calibrados. A confiança declarada carrega pouco sinal abaixo do topo do intervalo; a precisão permanece estável (43–46%) para níveis de confiança de 40–79. O Erro de Calibração Esperada (ECE) é de 0,168, indicando sobreprecisão em vez de superestimação.
F3 (Crenças de Segunda Ordem): Os agentes super-predizem serem suspeitos. Eles predizem "suspeitos" 1,53 vezes mais frequentemente do que a suspeita realmente ocorre. Este "efeito holofote" é impulsionado por agentes inocentes (super-predizendo 1,84x), enquanto agentes da Mafia são quase calibrados (1,08x).
F4 (Acoplamento de Voto): As crenças sondadas rastreiam os votos. Agentes inocentes votam em seu principal suspeito 64,9% das vezes. No entanto, agentes da Mafia não votam de acordo com seu "conjunto comprometido" privado (alinhando-se em níveis de acaso), indicando que eles desconectam estrategicamente seus votos públicos de suas crenças privadas.
F5 (Sensibilidade de Medição): Orçamentos de tokens impactam significativamente a qualidade dos dados. Um limite legado de 400 tokens causou a truncagem de 73% das respostas, exigindo reparo de JSON; aumentar os orçamentos para 960 tokens eliminou a truncagem.
Dinâmica de Crença: Os agentes exibem alta "volatilidade de suspeita" (mudança média L1 de 0,300) e frequentemente alternam seu principal suspeito (48,7% dos pares consecutivos), muitas vezes retornando a suspeitos anteriormente abandonados, sugerindo uma dinâmica de circularidade em vez de convergência.

O experimento de replay contrafactual (30 ramificações) demonstrou a capacidade do fluxo de trabalho de isolar falas cruciais, embora a significância estatística tenha sido limitada pelo tamanho da amostra ( $N=5$ por braço).

Significância

O MafiaScope fornece um instrumento inovador para estudar a trajetória de crenças sondadas privadamente em vez de apenas resultados de jogo. Sua significância reside em:

Medição Não-Invasiva: Garante que as respostas das sondagens não influenciem o comportamento futuro do agente, uma distinção crítica dos métodos de raciocínio em contexto.
Resolução Temporal Densa: Captura a revisão de crença ao nível de uma única fala, permitindo localizar exatamente quando e como as crenças mudam.
ToM Operacional: Trata as respostas das sondagens como relatórios de crença operacionais com estruturas preditivas verificáveis, aplicáveis mesmo a modelos de API fechados onde as ativações internas são inacessíveis.
Análise Contrafactual: Permite a atribuição de resultados a falas específicas ao re-simular continuações de jogo, indo além da correlação para estimar o impacto causal (embora o artigo note limitações atuais para ramificações de apenas reroll).

O artigo posiciona o MafiaScope não como uma prova definitiva da consciência dos LLMs ou de uma ToM perfeita, mas como uma ferramenta para expor a mecânica da decepção, calibração e evolução de crenças em sistemas multi-agentes, liberando o motor, o visualizador e um corpus de mais de 200 jogos entre modelos sob uma licença aberta.