💻 ciência da computação

Mastering Baghchal by Self-Play with Deep Reinforcement Learning

Este artigo apresenta uma avaliação sistemática de quatro algoritmos de aprendizado por reforço profundo (DQN, REINFORCE, PPO e MuZero) para dominar o jogo de tabuleiro assimétrico nepalês Baghchal através de auto-jogo, revelando que o MuZero alcança as maiores taxas de vitória via planejamento baseado em modelo, enquanto o PPO oferece o equilíbrio mais prático entre desempenho e eficiência computacional.

Autores originais: Ranjit Raut, Aarav Subedi, Sagun Rai

Publicado 2026-10-29

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ranjit Raut, Aarav Subedi, Sagun Rai

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Durante décadas, o campo da inteligência artificial tem sido obcecado por jogos, utilizando-os como um campo de prova para ensinar máquinas a pensar. O objetivo não é meramente vencer no xadrez ou no Go, mas compreender como um agente pode aprender estratégias complexas do zero, sem que lhe sejam explicadas as regras por um professor humano. Este processo, conhecido como aprendizagem por reforço, funciona como uma forma digital de tentativa e erro. Um agente joga um jogo, recebe uma recompensa por um bom movimento ou uma penalidade por um movimento ruim, e ajusta lentamente sua lógica interna para maximizar recompensas futuras. Embora esta abordagem tenha dominado jogos simétricos, onde ambos os jogadores possuem peças e objetivos idênticos, ela enfrenta uma subida muito mais íngreme quando os jogadores são fundamentalmente diferentes. Nestes cenários assimétricos, um lado pode ter algumas unidades poderosas enquanto o outro comanda um exército grande e lento, criando um quebra-cabeça onde o caminho para a vitória parece completamente diferente para cada jogador. Compreender como as máquinas navegam por esses campos de jogo desiguais é crucial, não apenas para melhores robôs de jogos, mas para desenvolver uma inteligência artificial que possa lidar com as realidades desordenadas e desiguais do mundo real.

Num estudo recente, investigadores da Universidade de Kathmandu, no Nepal, voltaram a sua atenção para o Baghchal, um jogo de tabuleiro tradicional da sua própria cultura que personifica perfeitamente esta assimetria. Jogado num tabuleiro de cinco por cinco, o jogo coloca quatro tigres ágeis contra vinte cabras. Os tigres movem-se primeiro e podem saltar sobre as cabras para as capturar, visando remover cinco cabras do tabuleiro para vencer. As cabras, que são colocadas no tabuleiro uma a uma na fase inicial, devem trabalhar juntas para cercar os tigres e cortar toda a sua movimentação. Se as cabras conseguirem prender os tigres de modo que estes não consigam mover-se, as cabras vencem. O jogo é jogado com informação perfeita, o que significa que ambos os lados veem o tabuleiro inteiro o tempo todo, contudo, o desafio reside nos papéis vastamente diferentes: os tigres precisam de táticas agressivas de curto prazo para caçar, enquanto as cabras requerem um planeamento coordenado de longo prazo para construir uma parede defensiva. Apesar da sua profundidade estratégica, o Baghchal tinha recebido pouca atenção de investigadores modernos de inteligência artificial, que se tinham focado largamente em jogos ocidentais ou do leste asiático.

Para explorar como as máquinas lidam com este desafio único, a equipa treinou quatro tipos diferentes de algoritmos de aprendizagem para jogar com ambos os lados do jogo contra si mesmos. Eles não programaram os agentes com estratégias específicas; em vez disso, deixaram os algoritmos jogar milhares de jogos contra cópias de si mesmos, aprendendo com os resultados. Os investigadores testaram uma variedade de estilos de aprendizagem: um que aprendia memorizando o valor de posições específicas no tabuleiro, outro que aprendia por tentativa e erro de sequências inteiras de jogo, um terceiro que equilibrava a aprendizagem com a estabilidade, e um quarto que construía um modelo interno do jogo para imaginar movimentos futuros. Ao fazer com que cada algoritmo jogasse tanto com o tigre como com a cabra, os investigadores puderam observar se um único método de aprendizagem conseguiria adaptar-se a duas formas de pensar completamente diferentes, ou se teria dificuldade em dominar um papel enquanto falhava no outro.

Os resultados revelaram uma hierarquia clara na eficácia com que estas máquinas aprenderam a jogar. O algoritmo mais bem-sucedido foi aquele que construiu um modelo interno do jogo, permitindo-lhe simular cenários futuros antes de realizar um movimento. Esta abordagem, conhecida como planeamento baseado em modelos, permitiu ao agente pensar vários passos à frente, uma competência crucial para as cabras, que devem planear o seu cerco cuidadosamente. Nas simulações, este agente avançado venceu 86 por cento dos jogos ao jogar como tigre e 62 por cento quando jogava como cabra. Aprendeu a fazer sacrifícios, como deixar uma cabra escapar temporariamente para preparar uma armadilha melhor mais tarde, e destacou-se na coordenação de longo prazo necessária para deter os tigres. Os investigadores descobriram que esta capacidade de planear à frente foi o fator individual mais importante para vencer, pois permitiu ao agente ver as consequências das suas ações muito no futuro.

No entanto, o estudo também destacou um compromisso prático. Embora o agente baseado em modelos fosse o jogador mais forte, era também o mais exigente, requerendo significativamente mais poder computacional e tempo para ser treinado. Levou quase vinte e cinco horas de processamento contínuo para atingir o seu pico de desempenho, e era mais lento a tomar decisões durante um jogo. Em contraste, outro algoritmo, que aprendia ao equilibrar a exploração com a estabilidade, ofereceu um meio-termo apelativo. Alcançou taxas de vitória elevadas para ambos os lados — 73 por cento como tigre e 58 por cento como cabra — mas o fez com muito menos esforço computacional e em menos de metade do tempo de treino. Isto sugere que, para muitas aplicações do mundo real onde os recursos são limitados, um sistema ligeiramente menos poderoso, mas muito mais eficiente, pode ser a melhor escolha.

Os investigadores também descobriram como a própria natureza do jogo moldou o processo de aprendizagem. O papel do tigre provou ser mais fácil de todos os algoritmos dominarem porque as recompensas eram imediatas e claras: capturar uma cabra dava um impulso instantâneo. Isto tornou o processo de aprendizagem estável e rápido. O papel da cabra, contudo, era muito mais difícil. As cabras recebem recompensas apenas quando conseguem prender os tigres, o que pode acontecer muitos movimentos após a configuração inicial. Este atraso dificultou para os algoritmos perceberem quais os movimentos iniciais que eram úteis e quais não eram. Consequentemente, os algoritmos que dependiam de feedback imediato tiveram mais dificuldades com as cabras, falhando frequentemente em coordenar as vinte peças numa defesa coesa. O estudo mostrou que, embora as máquinas possam aprender a jogar jogos assimétricos, a dificuldade do papel depende fortemente da rapidez com que o jogo fornece feedback sobre o sucesso.

Em última análise, este trabalho demonstra que a inteligência artificial moderna pode aprender a navegar por campos de jogo complexos e desiguais sem instrução humana. O estudo confirma que a capacidade de planear à frente é a chave para dominar jogos como o Baghchal, onde o caminho para a vitória exige pensar além do próximo movimento imediato. Embora os sistemas mais poderosos requeiram recursos computacionais significativos, as descobertas sugerem que algoritmos eficientes podem ainda alcançar níveis elevados de habilidade, tornando a tecnologia avançada de jogo acessível mesmo em ambientes com hardware limitado. Ao aplicar estes métodos a um jogo tradicional nepalês, os investigadores não só avançaram a ciência da inteligência artificial, como também ajudaram a preservar um património cultural, provando que estratégias antigas podem ensinar às máquinas modernas lições valiosas sobre cooperação, estratégia e a arte de pensar à frente.

Resumo Técnico: Dominando o Baghchal através de Self-Play com Aprendizado por Reforço Profundo

1. Definição do Problema

O artigo aborda a aplicação do aprendizado por reforço (RL) profundo moderno ao Baghchal, um jogo de tabuleiro assimétrico tradicional do Nepal. Diferente dos jogos simétricos de soma zero (ex: Xadrez, Go) que dominam a pesquisa em IA, o Baghchal apresenta desafios únicos:

Assimetria de Papéis: Dois jogadores possuem papéis estruturalmente distintos. O jogador do Tigre controla 4 peças com mecânicas de captura agressivas, enquanto o jogador do Bode controla 20 peças com objetivos de imobilização defensiva.
Mecânicas Heterogêneas: O jogo apresenta duas fases distintas (posicionamento e movimento), espaços de ação variados e condições de vitória diferentes (Tigres vencem ao capturar 5 ou mais bodes; Bodes vencem ao imobilizar todos os tigres).
Recompensas Esparsas e Atrasadas: O papel do Bode sofre com um problema de "atribuição de crédito", onde as recompensas são esparsas e atrasadas (apenas após a imobilização bem-sucedida), tornando difícil aprender uma coordenação eficaz entre 20 peças sem comunicação.
Lacuna de Pesquisa: Embora trabalhos anteriores tenham utilizado Q-learning tabular ou variantes inspiradas em AlphaZero, havia uma falta de benchmarks abrangentes comparando paradigmas modernos de RL profundo (baseado em valor, gradiente de política, ator-crítico e baseado em modelo) especificamente para este ambiente assimétrico de informação perfeita.

2. Metodologia

Os autores implementaram um framework sistemático de treinamento de auto-jogo (self-play) usando PyTorch para avaliar quatro algoritmos distintos de RL profundo: Deep Q-Network (DQN), REINFORCE, Proximal Policy Optimization (PPO) e MuZero.

Design do Ambiente

Representação de Estado: Um array NumPy de $5 \times 5$ (0=vazio, 1=bode, 2=tigre) aumentado com recursos do jogo (bodes na mão, contagem de capturas, indicador de fase, histórico de movimentos).
Espaço de Ação: Codificação discreta baseada em posição com mascaramento dinâmico de movimentos legais para evitar ações inválidas.
Estrutura de Recompensa: Projetada para incentivar o jogo estratégico. Tigres recebem recompensas por capturas (+10) e vitórias (+100), com penalidades por movimentos (-1) e ações ilegais (-50). Bodes recebem recompensas por sobrevivência (+5), posicionamento estratégico (+10) e vitórias (+100), com penalidades por serem capturados (-20) e ações ilegais (-50).

Implementações de Algoritmos

DQN (Baseado em Valor): Utiliza um Perceptron Multicamadas (256-128 unidades) para estimar valores Q. Treinado com experience replay (buffer de 100k) para lidar com padrões sequenciais.
REINFORCE (Gradiente de Política): Um método de gradiente de política de Monte Carlo usando uma linha de base independente de estado e regularização de entropia para evitar a convergência prematura para políticas determinísticas.
PPO (Ator-Crítico): Emprega um objetivo substituto clipado ( $\epsilon=0.2$ ) e Estimativa de Vantagem Generalizada ( $\lambda=0.95$ ) para garantir a estabilidade do treinamento, crucial para o papel defensivo do Bode.
MuZero (Baseado em Modelo): Aprende um modelo de mundo latente (redes de representação, dinâmica e predição) para planejar de 8 a 10 movimentos à frente via Busca de Árvore de Monte Carlo (MCTS) sem acesso explícito às regras.

Infraestrutura de Treinamento

Hardware: Intel i7 (16 núcleos), NVIDIA RTX 3080 Ti (12 GB VRAM).
Protocolo: Todos os agentes foram treinados via self-play (100.000 jogos por algoritmo). Os modelos foram avaliados a cada 1.000 jogos, com checkpoints salvos a cada 5.000.
Equidade: Inputs de observação e configurações de hardware idênticos foram usados para todos os algoritmos para garantir que as diferenças de desempenho reflitam propriedades algorítmicas e não artefatos do ambiente.

3. Resultados Principais

O estudo avaliou o desempenho com base em taxas de vitória, taxas de empate, capturas médias, velocidade de convergência e custo computacional.

Desempenho Quantitativo

MuZero alcançou o maior desempenho em ambos os papéis:
- Taxa de Vitória do Tigre: 86% ± 1.2%
- Taxa de Vitória do Bode: 62% ± 2.1%
- Capturas Médias: 7.2
PPO emergiu como o algoritmo mais equilibrado e prático:
- Taxa de Vitória do Tigre: 73% ± 1.8%
- Taxa de Vitória do Bode: 58% ± 2.7%
- Ofereceu um desempenho competitivo com um overhead computacional significativamente menor que o MuZero.
DQN mostrou um forte viés para o papel do Tigre (67% de taxa de vitória), mas teve dificuldades com o papel do Bode (47% de taxa de vitória), sugerindo que métodos baseados em valor favorecem papéis com sinais de recompensa mais densos.
REINFORCE exibiu alta variância e convergência lenta, mas demonstrou uma exploração estratégica diversa.

Dinâmicas de Aprendizado e Comportamento Estratégico

Estratégias do Tigre: MuZero e PPO demonstraram planejamento de longo prazo, utilizando táticas como "movimentos de pinça", "sacrifício" (permitir a fuga de um bode para uma captura futura melhor) e "controle de tempo". O DQN focou em capturas táticas imediatas, mas careceu de estratégia de longo prazo.
Estratégias do Bode: O MuZero destacou-se na coordenação defensiva, criando estruturas intrincadas e antecipando movimentos do tigre. O DQN falhou na defesa coordenada, priorizando a sobrevivência individual das peças.
Convergência: O DQN convergiu mais rápido (25.000 episódios), mas estagnou cedo. O MuZero levou o tempo mais longo para convergir (45.000 episódios, 24.5 horas), mas continuou a melhorar além dos pontos de convergência dos outros algoritmos.

Eficiência Computacional

MuZero: Maior custo de recursos (3.8 GB de memória de pico, 85 ms de tempo de inferência, 24.5 horas de treinamento).
DQN/REINFORCE: Menor pegada de recursos (1.2 GB e 0.9 GB de memória, respectivamente; ~15-18 ms de inferência).
PPO: Alcançou a melhor relação desempenho-recurso, sendo adequado para ambientes com restrição de recursos.

4. Principais Contribuições

Primeiro Benchmark Abrangente: Este estudo fornece a primeira comparação direta de quatro grandes paradigmas de RL profundo (DQN, REINFORCE, PPO, MuZero) no jogo assimétrico Baghchal.
Análise de Assimetria: Destaca como os paradigmas algorítmicos interagem com a assimetria de papéis, observando especificamente que o planejamento baseado em modelo (MuZero) é superior para coordenação de longo horizonte, enquanto métodos baseados em valor (DQN) lutam com papéis defensivos de recompensa esparsa.
Preservação Cultural via IA: O trabalho aplica técnicas modernas de IA a um jogo cultural do Himalaia, abordando uma lacuna na literatura onde jogos tradicionais do sul da Ásia receberam menos atenção do que jogos ocidentais ou do leste asiático.
Insights Estratégicos: O artigo documenta estratégias de nível humano emergentes (ex: sacrifício, controle de tempo) aprendidas pelos agentes, particularmente pelo MuZero, demonstrando a capacidade do RL profundo de dominar ambientes multiagentes assimétricos complexos.

5. Significância e Alegações

Os autores afirmam que este trabalho demonstra a viabilidade do RL profundo moderno em jogos de tabuleiro assimétricos onde os jogadores possuem papéis e condições de vitória distintos. O estudo conclui que:

MuZero é o agente mais poderoso para o Baghchal devido à sua capacidade de realizar planejamento baseado em modelo em um espaço latente, resolvendo efetivamente o problema de atribuição de crédito de longo horizonte inerente ao papel do Bode.
PPO representa a solução mais prática, ofereando um forte equilíbrio entre força de jogo e eficiência computacional.
A Assimetria de Papéis impacta significativamente o aprendizado; algoritmos que dependem de sinais de recompensa densos (como o DQN) naturalmente favorecem o papel do Tigre, enquanto algoritmos com melhor exploração e estabilidade (como PPO e MuZero) são necessários para dominar o papel do Bode.

O artigo nota modestamente as limitações, incluindo o alto custo computacional do MuZero e sua especialização ao ambiente específico do Baghchal, sugerindo que trabalhos futuros poderiam explorar o Soft Actor-Critic (SAC) para eficiência de amostra e o Multi-Agent DDPG (MADDPG) para coordenação explícita.