Resumo Técnico: Social Gym e SPARTAN

Declaração do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados em ambientes sociais multiagente que exigem cooperação, negociação e adaptação. No entanto, medir e melhorar essas habilidades sociais enfrenta três limitações críticas nas avaliações existentes:

1. Benchmarks Estáticos: Muitas avaliações dependem de questionários estáticos de teoria da mente (ex: FANToM, ToMi) que produzem pontuações reproduzíveis, mas falham em testar o comportamento sustentado de múltiplos turnos.
2. Julgamento Subjetivo: Avaliações interativas de código aberto (ex: SOTOPIA) avaliam habilidades de múltiplos turnos, mas dependem de pontuação por LLM-como-juiz, que é propensa a vieses de posição, verbosidade e auto-melhoria, tornando os resultados ruidosos e subjetivos.
3. Escopo Estreito: Trabalhos recentes que utilizam recompensas verificáveis visam frequentemente jogos ou domínios únicos isoladamente, falhando em capturar a amplitude da inteligência social através de diferentes estruturas de interação.

Existe uma lacuna para um framework de avaliação que seja simultaneamente de múltiplos turnos, amplo em cobertura de domínio e verificável (determinado por regras de interação em vez de julgamento subjetivo). Além disso, permanece incerto se os LLMs podem melhorar suas capacidades de raciocínio social sem atualizações de parâmetros (mudanças de pesos).

Metodologia

Social Gym: Um Benchmark Verificável

Os autores introduzem o Social Gym, um ambiente composto por 21 jogos sociais multiagente projetados para testar o raciocínio social através de cinco categorias:

1. Jogos de Forma Normal (6): Jogos de matriz iterados com informação completa e sem comunicação (ex: Dilema do Prisioneiro, Chicken).
2. Jogos Econômicos (3): Alocação de recursos de múltiplas rodadas que exigem raciocínio estratégico (ex: Bem Comum, Centipede).
3. Jogos de Blefe (4): Jogos de estado oculto que exigem representação falsa ou inferência (ex: Liar's Dice, Coup).
4. Dedução de Papel Oculto (6): Jogos com atribuições de papéis secretos que exigem diálogo para identificação de aliados/inimigos (ex: Werewolves, Resistance, Spyfall).
5. Estratégia Social (2): Jogos de informação completa que dependem de formação de alianças e reputação (ex: Survivor).

Principais Características Arquiteturais:

• Resultados Verificáveis: Cada jogo possui um resultado decidido algoritmicamente (vitória/derrota/pontuação), eliminando a necessidade de juízes LLM.
• Observabilidade Parcial: Uma camada de visibilidade filtra mensagens em escopos Público, Privado da Equipe ou Privado, forçando os agentes a realizar raciocínio de Teoria da Mente.
• Torneio Elo Unificado: Um ajuste de máxima verossimilhança de Bradley-Terry gera tabelas de taxa de vitória por jogo e um ranking cross-game, permitindo a classificação objetiva de modelos através de diversas estruturas sociais.

SPARTAN: Auto-Melhoria Sem Treinamento

Para abordar se os LLMs podem melhorar sem atualizações de peso, os autores propõem o SPARTAN (Self-Play and Reflect-Transfer), um ciclo de três estágios:

1. Play (Jogar): O modelo joga $N$ jogos de auto-jogo de um jogo específico $G$, gerando trajetórias.
2. Reflect (Refletir): O modelo analisa suas próprias trajetórias e resultados para gerar um manual estratégico de primeira pessoa e transferível (cobrindo decepção, detecção, persuasão, etc.). Crucialmente, o manual é instruído a ser agnóstico ao jogo (sem referências a números de jogos específicos).
3. Transfer (Transferir): O manual gerado é prefixado ao prompt de sistema do agente para jogos subsequentes.

Esta abordagem funciona como "ajuste fino em contexto" onde os "dados de treinamento" são o próprio gameplay do modelo e os "pesos aprendidos" são regras em linguagem natural.

Principais Resultados

Resultados de Benchmarking (Social Gym)

• Inversões de Leaderboard: Embora o GPT-5-mini domine o leaderboard geral (1110 Elo), nenhum modelo se destaca uniformemente em todos os jogos ou papéis. Os rankings invertem bruscamente; por exemplo, o Qwen3-32B ocupa o primeiro lugar no jogo específico "Chicken" (1328 Elo), mas o último em "Werewolves" (817 Elo) entre os sete modelos avaliados.
• Assimetria de Papel: Em jogos de papel oculto, os modelos frequentemente performam de forma diferente em papéis de minoria/decepção (Alt) versus papéis de maioria/cooperação (Main). Geralmente, o papel de minoria é estruturalmente mais fácil de vencer contra um pool misto de oponentes, mas essa vantagem se inverte em auto-jogo de capacidade equivalente para modelos mais fortes.
• Limitações de Modelos: Modelos menores (ex: Qwen2.5-3B) exibem um "efeito de paródia", frequentemente parafraseando o falante anterior em vez de gerar argumentos independentes, contribuindo para um desempenho inferior.

Resultados de Avaliação do SPARTAN

Os autores avaliaram o SPARTAN através de quatro eixos: iteração dentro do jogo, transferência entre jogos, transferência multi-jogo e destilação entre modelos.

1. Iteração Dentro do Jogo (GPT-5-mini):

   • A injeção de um manual ($R_1$) eleva significativamente a taxa de vitória do lado estruturalmente mais fraco (Alt) em jogos assimétricos (ex: a taxa de vitória do Alt em Werewolves subiu de 23% para 36%).
   • Conversemente, o lado estruturalmente mais forte (Main) frequentemente vê um declínio de desempenho quando armado com o mesmo manual.
   • Os ganhos são não-monotônicos; a maior parte da melhoria ocorre em $R_1$, com as rodadas subsequentes ($R_2$–$R_4$) redistribuindo em vez de acumular ganhos.

2. Transferência Cross-Game e Multi-Jogo:

   • Manuais gerados de um jogo (ex: Werewolves) transferem-se efetivamente para o lado mais fraco de outros jogos de dedução social (ex: Spyfall, Resistance), muitas vezes melhorando as taxas de vitória em +7 a +27 pontos percentuais.
   • Manuais multi-jogo (treinados em múltiplos jogos) não superam consistentemente manuais de jogo único, sugerindo que um único jogo de treinamento relacionado fornece sinal suficiente para transferência.

3. Destilação Cross-Model:

   • Manuais gerados pelo GPT-5-mini destilam com sucesso para modelos estudantes mais fracos (ex: Qwen3-4B, GPT-4o-mini), elevando seu desempenho em papéis estruturalmente mais fracos (ex: Espiões em Resistance) em +13 a +24 pontos percentuais.
   • O efeito é dependente do papel, não do estudante: o manual ajuda qualquer modelo que jogue o papel desvantajoso, independentemente da capacidade base do estudante.

4. Dependência de Capacidade (Qwen3-32B):

   • Quando aplicado ao open-weights Qwen3-32B, o SPARTAN falha amplamente em melhorar o desempenho em jogos de dedução social complexos (Werewolves, Spyfall).
   • A única exceção é o Dilema do Prisioneiro, onde o manual prescreve uma ação discreta (desertar na rodada final) que o modelo consegue executar.
   • Em jogos focados em discussão, o Qwen3-32B falha em quebrar seu comportamento de paródia; o processo de reflexão frequentemente codifica a paródia no manual em vez de eliminá-la.

Significância e Alegações

O artigo alega duas contribuições primárias:

1. O Social Gym fornece uma base reproduzível e verificável para medir o raciocínio social de LLMs sem depender de juízes LLM subjetivos. Ele revela que a habilidade social não é uma única capacidade escalar, mas é altamente dependente da estrutura de interação, do papel e da categoria do jogo.
2. O SPARTAN demonstra que os LLMs podem melhorar o desempenho social sem atualizações de parâmetros ao extrair estratégias transferíveis de auto-jogo. No entanto, essa melhoria é dependente de capacidade e dependente de estrutura: ela eleva efetivamente papéis estruturalmente mais fracos em jogos complexos para modelos de alta capacidade, mas falha para modelos que carecem da capacidade de raciocínio para processar trajetórias sociais de longo horizonte ou quebrar padrões de paródia.

Os autores concluem que o Social Gym e o SPARTAN oferecem um framework para separar propriedades estruturais de configurações sociais de falhas específicas do modelo (ex: decepção fraca, rastreamento de coalizão pobre). Eles sugerem que este ambiente é um campo de teste natural para futuras pesquisas de Aprendizado por Reforço com Recompensas Verificáveis (RLVR), permitindo o treinamento de habilidades de raciocínio social em escala sem juízes LLM.

Limitações Reconhecidas:

• Validade Externa: Todos os jogos possuem regras fixas e critérios de vitória/derrota, o que pode não capturar totalmente as interações sociais do mundo real, como a construção de confiança a longo prazo.
• Tamanho da Amostra: Os resultados baseiam-se em aproximadamente 30 jogos por condição, gerando intervalos de confiança de cerca de ±18 pontos percentuais.
• Controle de Placebo: O estudo carece de um controle de placebo-manual para distinguir totalmente os efeitos de conteúdo das perturbações genéricas de prompt, embora padrões estruturais sugiram que os efeitos são movidos pelo conteúdo.
• Restrições de Reflexão: A reflexão é limitada à prosa de linguagem natural dentro do prompt de sistema, carecendo de ferramentas de recuperação externa ou raciocínio estruturado.