InfoChess: A Game of Adversarial Inference and a Laboratory for Quantifiable Information Control

Visão Geral

O artigo propõe o InfoChess, um novo jogo simétrico e adversário projetado especificamente para elevar a aquisição competitiva de informações ao objetivo principal, removendo incentivos materiais tradicionais (como a captura de peças). O jogo serve como um laboratório controlado para estudar a inferência adversária, o modelamento de crenças e a dinâmica de informação em ambientes parcialmente observáveis.

---

1. O Problema

Em jogos de informação parcial existentes (como Poker, Hanabi, Stratego ou variantes de xadrez como Kriegspiel), a informação é geralmente um meio para um fim (ex: ganhar material ou vencer o jogo). Isso cria uma mistura entrelaçada de objetivos, dificultando o estudo isolado da aquisição e ocultação de informações.

• Desafio: Como isolar e quantificar a dinâmica de inferência adversária sem a confusão de incentivos de "ganho de material"?
• Objetivo: Criar um ambiente onde a única métrica de sucesso seja a capacidade de inferir a localização oculta do oponente enquanto se minimiza a exposição da própria localização.

---

2. Metodologia e Design do Jogo

Regras do InfoChess

• Tabuleiro: 8x8, com uma configuração inicial onde o Rei de cada lado é posicionado aleatoriamente em uma das quatro casas da última fileira.
• Movimentação: Todas as peças movem-se uma casa em qualquer direção (sem captura).
• Turno: Consiste em:
  1. Movimento de uma peça não-rei.
  2. Movimento do Rei.
  3. Inferência: O jogador atribui probabilidades a todas as casas do tabuleiro para a localização do Rei oponente.
• Pontuação: O jogador ganha pontos iguais à massa de probabilidade atribuída à casa correta onde o Rei oponente se encontra.
• Visibilidade:
  • Todas as peças revelam seu entorno imediato.
  • Torres e Bispos lançam raios de visão estendidos (como no xadrez padrão).
  • Peões obstruem a visão do oponente (os raios de visão terminam na casa do peão).
• Duração: 25 turnos por lado (horizonte fixo), equilibrando a fase de aquisição inicial de informação e a fase de ocultação.

Agentes e Modelos de Crença

Os autores definem uma hierarquia de agentes heurísticos e um agente de Aprendizado por Reforço (RL):

1. Modelos de Crença (Belief Models):
   • Uniforme: Distribui probabilidade uniformemente sobre as casas ocultas (neblina).
   • Aprendido (Learned): Utiliza um Transformer (2 camadas, 4 cabeças) para processar o histórico de estados do tabuleiro e prever a distribuição de probabilidade do Rei oponente. Um segundo cabeçalho (MLP) prevê a visibilidade do próprio Rei para o oponente.
2. Agentes Heurísticos:
   • Random: Movimentos aleatórios.
   • VisMax (V): Maximiza greedily o número de novas casas visíveis (ganho de informação sob crença uniforme).
   • BeliefMax (B): Maximiza o ganho de informação esperado usando o modelo de crença aprendido.
   • HidingVisMax (HV) & HidingBeliefMax (HB): Combinam políticas de movimento de peças (VisMax ou BeliefMax) com uma política de ocultação para o Rei (mover para a casa legal com menor visibilidade prevista pelo oponente).
3. Agente de RL:
   • Utiliza o mesmo encoder Transformer (congelado) dos agentes heurísticos.
   • Treinado com REINFORCE para maximizar a diferença de pontuação por turno.
   • Treinado contra uma mistura de oponentes (auto-jogo, Random, e variantes heurísticas).

---

3. Contribuições Chave

Novo Ambiente de Teste (Testbed)

O InfoChess isola a inferência adversária como objetivo primário, permitindo o estudo de:

• Modelagem de oponentes em ambientes simétricos.
• Estratégias de ocultação (esconder o próprio estado).
• Dinâmicas de informação em sistemas multi-agente parcialmente observáveis.

Caracterizações Teóricas da Informação

O artigo introduz métricas baseadas em teoria da informação para analisar a dinâmica do jogo, desconectando incerteza epistêmica, calibração e incerteza induzida pelo adversário:

1. Entropia da Crença ($H(q)$): Mede a incerteza total do jogador sobre a localização do Rei.
2. Entropia Cruzada do Oráculo (Oracle Cross Entropy): Mede a calibração da crença em relação ao estado latente real (inclui a divergência KL entre a crença e a verdade).
3. Entropia Cruzada do Observador (Observer Cross Entropy): Avalia a calibração preditiva através do canal de observação induzido pela ação (o que o agente realmente vê, não o estado real). Isso isola a miscalibração do ruído inerente à observação parcial.

---

4. Resultados

• Hierarquia de Desempenho:
  • Os agentes que incorporam modelagem de oponente (BeliefMax) superam os que usam crenças uniformes (VisMax).
  • A adição de estratégias de ocultação (HidingVisMax, HidingBeliefMax) reduz a pontuação do oponente.
  • O agente HidingBeliefMax (HB) é o heurístico mais forte, combinando inferência informada e ocultação ativa.
• Desempenho do RL:
  • O agente de Reinforcement Learning supera todos os agentes heurísticos.
  • Curiosamente, o BeliefMax é o oponente mais difícil para o RL, sugerindo que o RL explorou a redução de estocasticidade no comportamento de ocultação dos agentes heurísticos.
  • O RL supera o BeliefMax no início do jogo e o HidingBeliefMax no final do jogo.
• Análise de Estratégias:
  • Movimentação de Peões: Agentes sem modelo de crença (VisMax) movem peões frequentemente para revelar áreas próximas. Agentes com modelo aprendido (BeliefMax e RL) movem peões menos, focando em peças de longo alcance (Torres/Bispos).
  • RL vs. Bispos/Torres: Enquanto heurísticos movem Bispos com mais frequência, o agente RL tende a mover Torres mais frequentemente, indicando uma estratégia aprendida distinta de controle de linha de visão.
• Métricas de Informação:
  • A "Entropia Cruzada do Observador" mostrou pouca sinalização para agentes fracos, mas revelou mismatch (descasamento) nas fases finais contra o agente RL, indicando que o RL aprendeu a mover contra o que o modelo de crença estático do oponente prevê.

---

5. Significado e Impacto

O InfoChess demonstra que:

1. Modelagem de Oponente é Crucial: Mesmo modelagem modesta (aprendida via Transformer) gera ganhos claros de desempenho.
2. Canais de Observação Dependentes de Ação: O jogo destaca como as ações de um agente restringem o que pode ser aprendido sobre o estado latente, criando um desafio fundamental para a inferência.
3. Laboratório Quantificável: As métricas propostas (Entropia, Entropia Cruzada do Oráculo e do Observador) permitem dissecar se a falha de um agente se deve à falta de informação, má calibração ou à inteligência do adversário.

O trabalho fornece uma base sólida para pesquisas futuras em aprendizado por reforço multi-agente, teoria da informação aplicada a jogos e estratégias de ocultação e engano. O código e a interface pública foram disponibilizados para fomentar estudos adicionais.