Resumo Técnico: CoupVisor – Otimização de Estratégia por Rodada e Suporte à Decisão de Desafio

1. Definição do Problema

O artigo aborda a tomada de decisão no Coup, um jogo de cartas de informação oculta caracterizado por informação imperfeita e blefe adversarial. No Coup, os jogadores detêm duas cartas de papel ocultas, mas podem reivindicar qualquer papel para realizar ações. O desafio central reside em duas decisões acopladas feitas sem o conhecimento das mãos dos oponentes:

1. Seleção de Ação: Qual ação tomar no próprio turno.
2. Decisão de Desafio: Se deve exigir prova (desafiar) quando um oponente reivindica um papel.

O artigo identifica uma lacuna no jogo atual: embora todos os eventos do jogo (ações, bloqueios, desafios, revelações) sejam públicos e teoricamente suficientes para restringir estados ocultos, os jogadores normalmente dependem do instinto em vez de formalizar essa evidência. O objetivo do CoupVisor é preencher essa lacuna convertendo registros públicos em distribuições de probabilidade explícitas e conselhos acionáveis, servindo como um observador e conselheiro, em vez de um bot de jogo.

2. Metodologia

A. Esquema de Eventos Unificado

O sistema é construído em torno de um esquema de evento único que descreve todos os eventos públicos do jogo. Este esquema é consumido uniformemente por:

• Entrada manual de turnos.
• Replay de jogos registrados.
• Simulação de jogos sintéticos.
• Rastreamento de crença Bayesiana.
• Lógica de recomendação do conselheiro.
• Políticas de aprendizado treinadas offline.

Esta arquitetura garante que as recomendações produzidas durante o jogo ao vivo, replay ou treinamento sejam geradas por um código idêntico, eliminando o desvio entre avaliação e implementação.

B. Modelagem de Crença (Atualização Bayesiana)

O CoupVisor mantém um estado de crença $b_i(r)$, representando a probabilidade de o jogador $i$ deter o papel $r$ dada a história pública $h_t$.

• Mecanismo de Atualização: O sistema utiliza a regra de Bayes, atualizando os priors com razões de verossimilhança baseadas em eventos observados (ex: reivindicar um papel, bloquear uma ação, sobreviver a um desafio).
• Calibração de Verossimilhança: As razões são calibradas contra taxas estimadas de reivindicação honesta (0,85) e taxas de blefe (0,15). Por exemplo, sobreviver a um desafio multiplica a probabilidade do papel reivindicado por 10,0, enquanto perder a multiplica por 0,05.
• Pressão do Baralho: As probabilidades são escalonadas por um fator $(c_r/3)^{0,7}$, onde $c_r$ é o número de cópias não reveladas do papel $r$, garantindo que papéis com cópias esgotadas se tornem improváveis.

C. De Probabilidade por Carta para Probabilidade por Mão

Uma contribuição metodológica crítica é a conversão de crenças por carta em probabilidades por mão. Como um jogador detém duas cartas, a probabilidade de uma reivindicação ser verdadeira ($p_{truth}$) não é simplesmente a crença por carta.

• O sistema combina uma probabilidade hipergeométrica (considerando o baralho finito e a retirada sem reposição) com um modelo de probabilidade independente.
• Fórmula: $p_{truth} = 0,7 \cdot p_{hyp} + 0,3 \cdot p_{ind}$.
• Significância: Esta correção evita que o sistema sinalize a primeiríssima reivindicação do jogo como suspeita. Um prior uniforme de 0,20 por carta sugeriria incorretamente um desafio; o cálculo por mão eleva corretamente a probabilidade acima do limiar de desafio.

D. Lógica de Decisão

• Conselheiro de Desafio: Utiliza uma regra de limiar ($\theta$). Um desafio é recomendado se $p_{truth} < \theta$. O limiar é dependente do contexto (ex: 0,25 para reivindicações padrão, 0,35 para Assassinato, 0,99 para papéis sem cópias restantes) e ajustado por fatores do estado do jogo (número de jogadores sobreviventes, contagem de moedas).
• Conselheiro de Ação: Utiliza uma árvore de valor esperado de dois níveis (two-ply) para pontuar ações legais, considerando oscilações imediatas de moedas/influência e respostas prováveis dos oponentes (bloqueios/desafios).
• Modos de Risco: O sistema oferece modos Conservador, Agressivo e Equilibrado, que deslocam o limiar de desafio para alinhar com a tolerância ao risco do usuário.

E. Abordagens de Aprendizado

O artigo avalia várias políticas baseadas em aprendizado treinadas em logs de simulador (RL Offline):

1. Clonagem de Comportamento (BC): Imitação supervisionada de ações registradas.
2. Deep Q-Network (DQN): Aprendizado por reforço maximizando o retorno esperado.
3. Baselines: Política aleatória, heurísticas baseadas em regras e agentes baseados em valor esperado de crença.

Duas definições de recompensa foram testadas:

• Recompensa Modelada (Shaped Reward): Credita ganhos intermediários (moedas, influência retida) e correspondência de ação.
• Recompensa Alinhada à Vitória (Win-Aligned Reward): Credita a política apenas quando a ação escolhida coincide com a ação tomada pelo eventual vencedor do jogo registrado.

3. Principais Contribuições

1. Pipeline Unificado: Um esquema de evento único que sincroniza jogo manual, replay, simulação, rastreamento de crença e treinamento de política, garantindo consistência entre todos os componentes do sistema.
2. Correção de Probabilidade por Mão: Um método para converter crenças por carta em probabilidades por mão, resolvendo um erro sistemático onde as reivindicações iniciais do jogo eram incorretamente sinalizadas como blefes.
3. Descoberta de Alinhamento de Recompensa: Uma demonstração de que a escolha da função de recompensa, e não o algoritmo em si, dita a hierarquia de desempenho das políticas aprendidas.
4. Suporte à Decisão Transparente: Um conselheiro que separa "crença incerta" (probabilística) de "regras rígidas" (restrições legais como Coup forçado), fornecendo raciocínio auditável para as recomendações.

4. Resultados

A. Desempenho do Conselheiro

• Estabilidade: A precisão do resultado (se a recomendação coincidiu com o melhor desfecho retrospectivo) foi estável em 0,5694 entre as sementes.
• Sensibilidade: Os escores F1 de desafio variaram significativamente com base na composição dos oponentes. Contra oponentes "pesados em agressividade" (que blefam mais), o F1 foi de 0,5641. Contra oponentes "pesados em honestidade", caiu para 0,2831.
• Análise de Erro: O sistema exibiu um desequilíbrio de precisão-recall, tendendo a desafiar com muita pressa. Falsos positivos (desafiar uma reivindicação verdadeira) foram dominantes, particularmente em ações de "Roubo" (Steal) e "Imposto" (Tax).

B. Benchmarks de Políticas de Aprendizado

Os resultados inverteram-se dependendo da definição de recompensa:

• Sob Recompensa Modelada: A Clonagem de Comportamento (BC) superou significativamente a DQN (Recompensa/episódio: +1,04 vs -0,29). A BC aprendeu a imitar o comportamento médio registrado, que incluía ganhos intermediários de moedas.
• Sob Recompensa Alinhada à Vitória: A DQN superou todos os baselines, incluindo a BC (Recompensa/episódio: 6,74 vs 3,38). A DQN aprendeu com sucesso a priorizar o objetivo final (vitória) sobre proxies intermediários.
• Conclusão: A escolha do algoritmo (BC vs. DQN) não determinou o vencedor; a definição da recompensa sim.

C. Estudos de Ablação

• Modo de Crença: Comparar os modos "Padrão" vs. "Estrito sem mão duplicada" nas atualizações de crença não mostrou diferença estatisticamente significativa, sugerindo que a restrição de mão duplicada raramente se torna vinculativa em pontos críticos de decisão.
• Conselheiro Ligado/Desligado: Desligar o conselheiro (nunca desafiar) aumentou a precisão do resultado para 0,8192 no simulador. No entanto, o autor nota que isso é um artefato do simulador, onde a maioria das reivindicações é verdadeira; isso não prova que desafiar é prejudicial, mas sim destaca o custo de falsos desafios em um ambiente de baixo blefe.

5. Significância e Alegações

O artigo reivindica três contribuições primárias:

1. Para Jogadores: Transforma a intuição em probabilidades declaradas com razões explícitas, separando crenças incertas de restrições de regras rígidas. Isso torna o conselho ensinável e auditável.
2. Para Pesquisa: Fornece um ambiente de teste congelado onde o modelamento de crença, regras de decisão e políticas aprendidas podem ser variados independentemente.
3. Para Suporte à Decisão (Insight Generalizável): O artigo afirma que o alinhamento de recompensa é mais crítico do que a escolha do algoritmo em sistemas de suporte à decisão offline treinados a partir de logs de comportamento.
   • Quando os logs contêm qualidade heterogênea (jogadores médios vs. vencedores), recompensas modeladas para proxies locais (moedas) ensinam o modelo a imitar o jogador médio.
   • Condicionar as recompensas ao desfecho final (vitória) ensina o modelo a imitar os agentes bem-sucedidos.
   • Praticantes que observam curvas de RL offline planas devem auditar a definição da recompensa antes de concluir que o algoritmo ou os dados são inadequados.

O artigo permanece modesto quanto às suas limitações, reconhecendo que a regra de decisão é míope (não modela retaliação a longo prazo ou sinalização), os oponentes são roteirizados em vez de humanos adaptativos, e a avaliação é baseada em simulação sem validação humano-no-loop. Ele identifica o modo de erro dominante como o desafio excessivamente ávido devido a atualizações de crença multiplicativas não controladas, sugerindo trabalhos futuros em calibração de crença e amostragem de Thompson.