Bayesian Social Deduction with Graph-Informed Language Models

Título: Dedução Social Bayesiana com Modelos de Linguagem Informados por Grafos (GRAIL)

1. O Problema

O raciocínio social — a capacidade de inferir crenças e intenções não observáveis a partir de observações parciais de outros agentes — permanece um desafio significativo para os Grandes Modelos de Linguagem (LLMs), especialmente em cenários multiagente que envolvem crenças privadas e intenções enganosas (como em jogos de dedução social).

Os autores identificam duas limitações principais nos modelos atuais:

1. Ineficiência Computacional: Os modelos de raciocínio de última geração (LRMs), como o DeepSeek-R1, demonstram desempenho forte, mas exigem extensa inferência no momento do teste (longas cadeias de raciocínio), tornando-os impraticáveis para jogos interativos em tempo real com humanos.
2. Degradação em Modelos Menores: Quando esses modelos são "destilados" para variantes menores e mais rápidas, o desempenho cai drasticamente. Além disso, mesmo modelos grandes falham em tarefas de raciocínio probabilístico restrito de longo prazo, como inferir papéis ocultos no jogo Avalon com base em histórico de diálogos e resultados de missões.

2. Metodologia: O Framework GRAIL

Para superar essas limitações, os autores propõem o GRAIL (Graph Reasoning Agent Informed through Language), uma abordagem híbrida que desacopla a inferência de crenças da geração de linguagem.

O sistema é composto por três componentes interconectados:

• Grafo Fatorial (Inferência Estruturada):

  • Utiliza um Grafo Fatorial para realizar inferência probabilística estruturada sobre os papéis ocultos dos jogadores (Bons vs. Maus).
  • As variáveis do grafo representam os papéis dos jogadores e o estado do jogo (composição de grupos, votos, resultados de missões).
  • O grafo impõe restrições rígidas (ex: exatamente 2 jogadores são "Maus" em um jogo de 6) e restrições suaves baseadas em evidências (ex: uma missão falha implica pelo menos um "Mau" no grupo).
  • A inferência é realizada usando o algoritmo de Propagação de Crenças Max-Product, que estima a atribuição mais provável (MAP) dos papéis ocultos.
  • As funções de probabilidade condicional do grafo são aproximadas por uma Rede Neural Simples treinada em mais de 100.000 partidas de Avalon (sem linguagem), permitindo eficiência computacional.

• Modelo de Linguagem (LLM):

  • Um LLM (pode ser um modelo pequeno, como Llama 3.1 8B) é responsável apenas pela compreensão linguística e interação.
  • O LLM analisa o histórico de chat para extrair priors qualitativos (intuições sobre quem pode ser mau baseado em comportamento, contradições ou pistas).
  • Em vez de gerar probabilidades numéricas diretamente (onde LLMs costumam falhar), o LLM classifica se a crença sobre um jogador deve "aumentar", "diminuir" ou "permanecer a mesma". Essas classificações são convertidas em priors numéricos para alimentar o grafo.

• Política Heurística de Ação:

  • As crenças inferidas pelo grafo (probabilidades de cada jogador ser "Mau") guiam as ações do agente.
  • O agente propõe ou aprova grupos apenas se a probabilidade de todos os membros serem "Bons" for alta.

3. Contribuições Principais

• Arquitetura Híbrida: Introdução de um framework que combina a flexibilidade linguística dos LLMs com o rigor e a eficiência da inferência bayesiana estruturada.
• Desacoplamento de Tarefas: A separação entre a inferência de crenças (feita pelo grafo) e a geração de texto (feita pelo LLM) permite que modelos pequenos de linguagem atuem com a eficácia de modelos de raciocínio massivos.
• Novo Benchmark e Dataset: Os autores liberaram um novo conjunto de dados contendo partidas Agent-Agent e Human-Agent de Avalon, incluindo discussões e estados de jogo, para fomentar pesquisas futuras em raciocínio social.
• Validação com Humanos: O primeiro agente baseado em linguagem a derrotar consistentemente jogadores humanos novatos em um estudo controlado.

4. Resultados Experimentais

Os experimentos foram conduzidos no jogo Avalon (6 jogadores: 4 Bons, 2 Maus), comparando o GRAIL com agentes baseados apenas em LLMs (como DeepSeek-R1 e GPT-o4-mini) e agentes de linha de base.

• Desempenho em Jogos Agent-Agent:

  • O GRAIL alcançou uma taxa de vitória média de 75%, superando consistentemente tanto agentes de raciocínio (LRMs) quanto não-raciocinantes, incluindo o modelo DeepSeek-R1 de 671B parâmetros.
  • Eficiência: O GRAIL gerou mais de 10 vezes menos tokens de saída por rodada em comparação com os agentes baseados puramente em LLM, demonstrando uma eficiência computacional superior.
  • Robustez ao Tamanho do Modelo: Ao contrário dos agentes de raciocínio, que sofrem degradação severa ao usar modelos menores (ex: 8B), o GRAIL manteve uma alta taxa de vitória (75%) mesmo com o modelo Llama 3.1 de 8B, graças ao "piso de desempenho" estabelecido pelo grafo fatorial.

• Estudo com Humanos:

  • Em um estudo com 44 participantes, o GRAIL alcançou uma taxa de vitória de 67% contra equipes humanas (comparado a 27% para o agente de raciocínio baseline).
  • Avaliação Qualitativa: Os participantes humanos avaliaram o GRAIL como significativamente mais útil e contributivo para o sucesso da equipe do que os agentes de raciocínio e, em muitos casos, até mais do que outros jogadores humanos.
  • Precisão de Crenças: O GRAIL demonstrou maior precisão na identificação de jogadores "Maus" (maior F1-score) e menor taxa de alucinação (fatos inventados) em comparação com os modelos de raciocínio.

5. Significado e Conclusão

O trabalho demonstra que a racionalidade social em tempo real não depende necessariamente de modelos de linguagem massivos e custosos com capacidades de raciocínio emergentes. Ao externalizar a inferência lógica e probabilística para um modelo estruturado (Grafo Fatorial), é possível criar agentes sociais competentes, eficientes e interpretáveis que superam os modelos de estado da arte em cenários complexos de dedução.

O GRAIL estabelece um novo paradigma para agentes multiagente, onde a "Teoria da Mente" (modelagem de crenças alheias) é tratada como um problema de inferência probabilística rigorosa, complementado pela capacidade de linguagem natural do LLM. Isso abre caminho para a criação de agentes sociais escaláveis que podem interagir de forma segura e eficaz com humanos em ambientes dinâmicos.

Limitações Notadas:
O agente atual é projetado apenas para detectar engano (jogando como "Bom"). A geração de engano (jogar como "Mau" ou Merlin) requer raciocínio de segunda ordem, que é um passo futuro para a pesquisa. Além disso, o agente às vezes falha em comunicar seu raciocínio de forma persuasiva, tornando-se repetitivo.