Resumo Técnico: Aprendizado por Reforço com Autojogo sob Informação Imperfeita no Big 2

Declaração do Problema

O artigo aborda os desafios de treinar agentes de aprendizado por reforço (RL) em jogos multiplayer de informação imperfeita. Especificamente, investiga o jogo Big 2, um jogo de descarte de cartas para quatro jogadores caracterizado por:

• Informação Oculta: Os jogadores observam apenas suas próprias mãos e o histórico público de jogadas; as mãos dos oponentes devem ser inferidas a partir de ações, passes e contagens de cartas restantes.
• Recompensas Esparsas e Atrasadas: A recompensa primária (vitória) ocorre apenas no estado terminal, com recompensas intermediárias sendo zero.
• Oponentes Não Estacionários: Em configurações de autojogo, a distribuição de oponentes muda conforme os agentes melhoram.
• Espaços de Ação Variáveis: As ações legais são combinações específicas da mão (singulares, pares, sequências, etc.) que mudam drasticamente entre as jogadas, tornando difícil a abstração fixa de ações.

Os autores visam determinar se objetivos baseados em gradiente de política ou baseados em valor aprendem de forma mais eficaz neste cenário sob um orçamento limitado e controlado de computação, e como escolhas específicas de design de treinamento (regularização de entropia, currículo de oponentes) influenciam a estabilidade e o desempenho.

Metodologia

1. Ambiente e Representação

Os autores desenvolveram um simulador onde o estado de observação ($o_i$) reflete estritamente a informação disponível:

• Entrada: A mão privada do jogador atuante (preenchida), a rodada ativa, todas as cartas vistas, contagens de cartas restantes para os oponentes, contagens de passes e históricos de cartas jogadas por oponente.
• Espaço de Ação: O simulador enumera todas as combinações legais na mão do jogador e as filtra com base na rodada ativa, produzindo um conjunto de ações legais de comprimento variável $A(o_i)$. Isso evita a exploração de ações inválidas.
• Arquitetura Neural:
  • Codificador de Estado: Utiliza uma tabela de incorporação de cartas compartilhada. A mão do jogador é processada via autoatenção e agrupada. Informações públicas (rodada, cartas vistas, contagens de oponentes) são incorporadas e concatenadas para formar uma incorporação de estado.
  • Avaliação de Ação: As ações legais são codificadas como vetores de características de 80 dimensões. Um produto escalar entre a incorporação de estado e a incorporação de ação pontua cada candidato legal.
  • Distinção: Diferentemente de trabalhos anteriores que usavam cabeças fixas de 1695 ações mascaradas para movimentos legais, este modelo pontua apenas ações legais, permitindo que cartas mantidas interajam antes do agrupamento.

2. Algoritmos de Aprendizado

O estudo compara quatro algoritmos sob arquiteturas idênticas e orçamentos de treinamento (5.000 lotes, 64 episódios/lote):

1. PPO (Otimização de Política Proximal): Uma linha de base de gradiente de política usando objetivos substitutos truncados e uma cabeça de valor separada.
2. Aproximação Q de Monte Carlo: Um método baseado em valor usando o retorno descontado total ($y_t = \sum \gamma^{k-t} r_k$) como alvo.
3. SARSA: Um método baseado em valor on-policy usando alvos de um passo ($y_t = r_t + \gamma Q(s_{t+1}, a_{t+1})$).
4. Q-Learning: Um método baseado em valor off-policy usando alvos máximos ($y_t = r_t + \gamma \max_a Q(s_{t+1}, a)$).

Todos os métodos baseados em valor usam exploração $\epsilon$-greedy durante o treinamento e seleção gulosa durante a avaliação.

3. Currículos de Treinamento e Avaliação

• Autojogo: A configuração padrão usa autojogo de política atual, onde a política atual controla todos os quatro assentos.
• Linhas de Base: A avaliação é realizada contra três oponentes heurísticos:
  • Aleatório: Seleciona uniformemente ações legais.
  • Guloso: Joga a combinação legal não-passante mais fraca.
  • Inteligente: Uma política baseada em regras que pontua ações com base em características estratégicas (descarte de cartas, preservação de combinações, evitar uso precoce de '2's).
• Métricas: Taxa de vitória e pontuação média do jogo (soma das cartas restantes para os perdedores, negativa para os perdedores) contra cada classe de oponente.

Contribuições e Descobertas Principais

1. Desempenho Algorítmico

Sob um orçamento limitado de computação, o PPO supera todos os métodos baseados em valor (Q de Monte Carlo, SARSA, Q-learning) em todas as classes de oponentes.

• O PPO alcançou uma taxa de vitória de 85,4% contra o Aleatório, 58,2% contra o Guloso e 37,1% contra o Inteligente.
• Métodos baseados em valor, embora aprendessem políticas úteis, não conseguiram igualar o desempenho final do PPO. Os autores atribuem isso à dificuldade de estimativa de valor no espaço de estados de alta variância e informação imperfeita do Big 2, onde estados estrategicamente importantes são visitados raramente e retornos terminais devem receber crédito ao longo de sequências longas.

2. Regularização de Entropia

Os autores descobriram que o PPO sem regularização de entropia torna-se excessivamente determinístico, amostrando ações principais com probabilidade >90% mesmo em situações estratégicas ambíguas.

• Descoberta: Regularização de entropia moderada ($\beta_{ent} = 0,05$) melhorou significativamente o desempenho em todas as classes de oponentes (por exemplo, aumentando a taxa de vitória contra o Inteligente de 37,1% para 43,5%).
• Implicação: Políticas estocásticas são benéficas em jogos de informação imperfeita para manter imprevisibilidade e evitar comprometimento excessivo com preferências de ação subótimas. No entanto, entropia excessiva degrada o desempenho.

3. Currículo de Oponentes

O estudo comparou autojogo de política atual contra autojogo de checkpoint (treinamento contra políticas salvas do passado) e treinamento com oponente fixo (treinamento apenas contra a heurística Inteligente).

• Descoberta: O autojogo de política atual produziu os melhores resultados tanto para o PPO quanto para o Q de Monte Carlo.
• Raciocínio: Treinar contra um oponente determinístico fixo (apenas Inteligente) estreita a distribuição de estados e reduz a exploração. O autojogo de checkpoint introduz diversidade, mas dilui o sinal de aprendizado ao expor o agente a "erros antigos" que ele já aprendeu a vencer. O autojogo de política atual atua como um currículo adaptativo, mantendo a dificuldade do oponente alinhada com o nível de habilidade atual do agente.

Significado e Afirmações

O artigo afirma fornecer o primeiro estudo empírico controlado comparando objetivos de RL e escolhas de design de treinamento especificamente para o Big 2. Seu significado reside em:

1. Estabelecer uma Linha de Base: Oferece uma linha de base acessível para pesquisas futuras sobre busca, abstração e modelagem de oponentes no Big 2, isolando fatores frequentemente confundidos em sistemas maiores.
2. Demonstrar Eficiência: Mostra que o RL profundo pode aprender estratégias robustas em um jogo de quatro jogadores de informação imperfeita sem modelos de oponentes projetados, busca em árvore ou poda heurística de ações além da filtragem legal.
3. Identificar Fatores Críticos: Destaca que, em configurações de orçamento limitado, a escolha do algoritmo (PPO > Baseado em Valor), a estocasticidade da política (regularização de entropia) e o design do currículo (autojogo de política atual) são fatores decisivos para o sucesso.

Os autores permanecem modestos, observando que seu estudo não compara contra Minimização de Regret Contrafactual (CFR), agentes aumentados por busca ou orçamentos de treinamento maiores, e que trabalhos futuros são necessários para determinar se métodos baseados em valor podem fechar a lacuna com treinamento estendido ou se o jogo cruzado revela novas fraquezas estratégicas.