Deceive, Detect, and Disclose: Large Language Models Play Mini-Mafia

Resumo Técnico: Enganar, Detectar e Revelar: Modelos de Linguagem de Grande Escala Jogam Mini-Máfia

Declaração do Problema
Modelos de linguagem de grande escala (LLMs) são cada vez mais implantados em ambientes multiagentes onde os resultados dependem da inteligência social, incluindo raciocínio sobre a teoria da mente e atuação sob informação assimétrica. No entanto, a compreensão atual desses sistemas permanece overwhelmingmente empírica, dependendo de estudos de caso arquitetônicos e benchmarks estáticos, em vez de um quadro teórico geral. As avaliações existentes falham em fornecer uma conta principiante de como as capacidades individuais dos modelos se combinam para determinar resultados coletivos em ambientes interativos. Os autores postulam que um caminho para uma teoria geral requer a identificação de cenários simples o suficiente para serem totalmente analisáveis, mas ricos o suficiente para exibir comportamento coletivo não trivial.

Metodologia
Para abordar isso, os autores introduzem o Mini-Máfia, uma variante simplificada de quatro jogadores do jogo de dedução social Máfia. O jogo é estruturalmente restrito para isolar capacidades específicas:

• Papéis: Um Mafioso, um Detetive e dois Vilarejos.
• Fase Noturna Fixa: O Mafioso elimina um Vilarejo aleatório, e o Detetive investiga o Mafioso, aprendendo sua identidade. Isso colapsa o jogo em uma única fase crítica diurna.
• Fase Diurna: Os três jogadores sobreviventes engajam-se em duas rodadas de discussão pública seguidas por uma votação cega para prender um suspeito.

Essa configuração cria uma assimetria informacional aguda: o Detetive tem informação completa, o Mafioso tem informação parcial e o Vilarejo não tem nenhuma. As condições de vitória isolam três capacidades específicas de papel: engano (Mafioso), revelação (Detetive) e detecção (Vilarejo).

Quadro Teórico e Benchmark
A contribuição central é um modelo analítico que prevê a taxa de vitória da Máfia ($p$) com base em parâmetros intrínsecos do modelo. Os autores propõem a relação de forma fechada:
$$\text{logit}(p) = v \times (m - d)$$
Onde:

• $m$: A capacidade de engano do Mafioso.
• $d$: A capacidade de revelação do Detetive.
• $v$: A sensibilidade de detecção do Vilarejo.

Este modelo reduz a previsão de resultados para todas as combinações de torneio $I^3$ de $I$ modelos para apenas $3I$ parâmetros latentes. Os autores operacionalizam isso como o Benchmark Mini-Máfia:

1. Coleta de Dados: Experimentos sistemáticos de jogo foram conduzidos em $I=10$ modelos. Em vez de um desenho fatorial completo ($1.000$ combinações), eles avaliaram $140$ configurações direcionadas de pares de papéis ($n_{ijk}=100$ jogos cada), totalizando $14.000$ jogos.
2. Inferência: Inferência bayesiana (usando PyMC e NUTS) com priores fracamente informativos ($N(0, 2)$) foi usada para estimar os parâmetros $m, d,$ e $v$ para cada modelo.
3. Validação: Uma validação cruzada de 5 dobras foi realizada nas configurações retidas para testar a generalização da decomposição de três parâmetros.

Resultados Principais

• Previsibilidade Analítica: O modelo teórico alcança uma redução de 76,6% na pontuação Brier sobre uma linha de base aleatória (constante 0,5) na validação cruzada, confirmando que interações multiagentes de LLMs podem ser capturadas analiticamente com um pequeno número de parâmetros interpretáveis.
• Classificações Contra-intuitivas: O benchmark revela que modelos menores e mais econômicos frequentemente superam contrapartes de destaque em papéis específicos:
  • Melhor Detector (Vilarejo): Grok 3 Mini (85,7% de precisão), superando significativamente o Claude Opus 4.1.
  • Melhor Revelador (Detetive): GPT-5 Mini.
  • Pior Detector: Claude Sonnet 4 performou próximo ao acaso aleatório (50,6% de precisão), classificando-se abaixo de modelos menores como Llama 3.1 8B e Mistral 7B.
• Fenômenos Emergentes: O quadro quantifica comportamentos multiagentes emergentes:
  • Viés de Nome: Um viés estatisticamente significativo onde o nome "Bob" confere uma taxa de vitória mais alta (55,96%) em comparação com "Diana" (53,76%), sugerindo que os modelos são mais propensos a confiar em certos nomes.
  • Efeito de Recência: Falar por último fornece uma vantagem substancial; Detetives que falam por último ganham uma vantagem de 7,10 pontos percentuais nas taxas de vitória.

Significado e Alegações
O artigo alega fornecer a primeira descrição analítica de forma fechada de um loop completo de interação de três agentes em LLMs. Seu significado reside em três áreas:

1. Avanço Teórico: Demonstra que um sistema multiagente não trivial pode ser reduzido a capacidades latentes acopladas sem sacrificar a tratabilidade teórica, oferecendo uma prova de conceito para uma teoria geral de sistemas multiagentes de LLMs.
2. Benchmarking: Introduz uma ferramenta de avaliação escalável que estima capacidades de engano, revelação e detecção, revelando que o desempenho do modelo é altamente específico ao papel e não estritamente correlacionado com o tamanho do modelo ou status de destaque.
3. Segurança de IA: O benchmark fornece dados de treinamento rotulados para sistemas de detecção de engano e permite o acompanhamento longitudinal de capacidades enganosas. Também serve como um campo de teste controlado para estudar fenômenos emergentes como viés e efeitos de recência em interações multiagentes.

Os autores reconhecem limitações, observando que a fase noturna fixa simplifica a seleção de alvos e que a aproximação de segunda ordem do modelo pode falhar quando as lacunas de capacidade são grandes. No entanto, argumentam que o Mini-Máfia serve como um ambiente principiante, não trivial e analiticamente solucionável para estudar a inteligência social de LLMs.