Resumo Técnico: Play Like Champions: Geração de Feedback Contrafactual em Espaço Latente

1. Declaração do Problema

Embora os avanços recentes em aprendizado por reforço (RL) tenham produzido agentes sobre-humanos em jogos competitivos como StarCraft II, o foco da pesquisa predominante tem sido derrotar jogadores humanos, em vez de fornecer feedback acionável para melhorá-los. Ao contrário de xadrez e Go, onde a IA se tornou integral ao treinamento de jogadores ao trazer à tona estratégias inéditas, os jogos de Estratégia em Tempo Real (RTS) carecem de frameworks principistas para traduzir o conhecimento especializado em orientação específica e acionável para o aprimoramento humano. As ferramentas existentes focam frequentemente em análise de transmissão ou estatísticas de alto nível, em vez de gerar "recurso algorítmico" — mudanças específicas e mínimas que um jogador pode fazer para transitar de um estado de derrota para um estado de vitória. Este artigo aborda a lacuna entre a expertise do agente e a aquisição de habilidades humanas, introduzindo um framework para gerar trajetórias de melhoria contrafactuais dentro de um espaço latente aprendido.

2. Metodologia

Dados e Pré-processamento

O estudo utiliza o "SC2EGSet", um conjunto de dados de 23.476 replays de torneios profissionais de StarCraft II.

• Extração de Características: Cada replay é convertido em um vetor de características de 196 dimensões por jogador, capturando a estrutura macroeconômica do gameplay. As características são segmentadas em três janelas temporais (início, meio e fim de jogo), estados econômicos finais, diferenças econômicas e um escalar de "percentual de suprimento limitado" (supply capped percent).
• Rotulagem: O resultado da partida (vitória/derrota) da perspectiva do Jogador 0 serve como o sinal de supervisão para o desentranhamento (disentanglement).
• Divisões de Dados: O conjunto de dados é dividido em conjuntos de treinamento (18.780), validação (2.347) e teste (2.178). Para testar a generalização, um conjunto Fora da Distribuição (OOD) de 2.178 replays de amadores (2016–2020) foi amostrado para avaliação.

Arquitetura do Modelo: VAE Guiado (Guided VAE)

O núcleo do sistema é um VAE Guiado modificado, projetado para aprender uma representação latente contínua e comprimida onde dimensões específicas são condicionadas ao resultado da partida.

• Estrutura: Um MLP (Perceptron Multicamadas) simétrico de codificador-decodificador com ativações ReLU.
• Desentranhamento: Um subconjunto de dimensões latentes é supervisionado para prever o resultado da partida ($y$), enquanto um classificador adversarial é treinado nas dimensões "livres" restantes para evitar que a informação do resultado vaze para elas. Isso força o modelo a separar características de "estratégia vencedora" de outras variações de gameplay.
• Treinamento: O modelo é treinado usando otimizadores AdamW, otimizando conjuntamente a perda de reconstrução do VAE, a perda do classificador supervisionado e uma perda adversarial para impor o desentranhamento.

Estratégias de Travessia do Espaço Latente

Uma vez que o estado de jogo de um jogador é codificado em um vetor latente ($z_{start}$), o sistema gera um caminho para uma "região vitoriosa" no espaço latente. Quatro estratégias de travessia distintas foram implementadas e comparadas:

1. Interpolação Linear (LERP): Uma trajetória de linha reta entre o vetor inicial e um vetor vencedor alvo (seja o centroide de todos os vetores vencedores ou os $k$ vizinhos mais próximos).
2. Transporte Ótimo Iterativo (OT): Uma abordagem dinâmica que trata a distribuição vencedora como uma massa alvo. Em cada etapa, calcula um plano de transporte ótimo para encontrar um alvo baricêntrico local e realiza um passo de Euler em direção a ele, mimetizando o fluxo de um campo vetorial.
3. Ascensão de Gradiente Regularizada por Densidade: Uma abordagem de otimização que maximiza a probabilidade de vitória prevista enquanto penaliza desvios da variedade de dados (usando Estimativa de Densidade de Kernel Gaussiano) para garantir que os caminhos gerados permaneçam realistas.
4. Correspondência de Fluxo Neural (Neural Flow Matching): Uma abordagem de fluxo normalizador contínuo onde uma rede neural aprende um campo de velocidade global mapeando a distribuição de "derrota" para a distribuição de "vitória". As trajetórias são geradas integrando este campo de velocidade.

Geração de Feedback

O caminho latente gerado é decodificado de volta para o espaço de características original. O feedback é extraído como uma lista ranqueada de mudanças de características, calculada via:

• Mudança bruta do início ao fim.
• Mudança mínima viável (parando no primeiro ponto onde a probabilidade de vitória $> 0,5$).
• Mudanças ponderadas pela probabilidade de vitória.

3. Resultados Principais

Desempenho do Modelo

O Guided VAE demonstrou alta fidelidade na reconstrução e classificação:

• Reconstrução: Baixo Erro Quadrático Médio (MSE) tanto em dados in-distribution quanto em dados OOD.
• Classificação: A dimensão latente supervisionada alcançou 98,76% de acurácia e 0,9991 de ROC-AUC no conjunto de teste, indicando uma separação robusta entre perfis vencedores e perdedores.

Comparação de Estratégias de Travessia

O estudo avaliou as quatro estratégias tanto no dataset profissional quanto no dataset OOD de amadores. Principais descobertas incluem:

• Taxa de Sucesso: A Ascensão de Gradiente alcançou a maior taxa de sucesso (quase 100% em ambos os datasets) em atingir uma probabilidade de vitória $> 0,5$. No entanto, a análise sugere que isso se deve ao "desvio adversarial fora da variedade" (adversarial off-manifold drift), onde o caminho explora pontos cegos do classificador em vez de seguir uma evolução realista de gameplay.
• Eficiência e Suavidade: O Transporte Ótimo (OT) demonstrou eficiência superior, atingindo o estado de vitória muito mais cedo no caminho (Crossover $\alpha \approx 0,12$) em comparação com métodos Lineares ($\alpha \approx 0,65$). O OT também manteve monotonicidade quase perfeita ($> 0,99$), garantindo que a probabilidade de vitória aumentasse consistentemente ao longo do caminho.
• Robustez: Métodos lineares (especialmente k-NN) mostraram fragilidade significativa sob mudança de distribuição, com taxas de sucesso caindo mais de 30% nos dados OOD. O Neural Flow e o OT mantiveram alta monotonicidade e estabilidade nos dados OOD.
• Compromissos (Trade-offs): Os resultados destacam um compromisso entre taxa de sucesso bruta e qualidade do caminho. Embora a Ascensão de Gradiente "vença" na maioria das vezes, seus caminhos são erráticos e menos interpretáveis. O OT e o Neural Flow fornecem trajetórias mais suaves, fundamentadas e que respeitam melhor a variedade subjacente dos dados.

4. Contribuições e Significância

O artigo afirma preencher a lacuna crítica entre o aprendizado de representação e o feedback humano acionável em esports.

• Framework para Contrafatuais: Introduz "Mapas de Desempenho Latente", um framework que modela a melhoria do jogador como um problema de recurso algorítmico dentro de um espaço de representação aprendido.
• Mudança de Paradigma: O trabalho desloca o foco analítico de "quem vencerá" (modelagem preditiva) para "o que o jogador deve fazer de diferente" (modelagem prescritiva).
• Validação de Métodos de Travessia: Ao comparar sistematicamente estratégias lineares, baseadas em transporte e baseadas em fluxo, o artigo identifica que a simples interpolação é insuficiente para jogos RTS complexos, enquanto o Transporte Ótimo oferece um equilíbrio robusto entre eficiência e interpretabilidade.
• Base para Ferramentas Futuras: Os autores concluem que sua solução fornece uma base computacionalmente viável para o desenvolvimento de sistemas práticos de feedback, indo além da análise passiva para o coaching ativo e baseado em dados.

5. Limitações

Os autores reconhecem algumas restrições:

• Escopo Temporal: O modelo é treinado em dados de vários anos sem considerar explicitamente patches de jogo ou mudanças de meta.
• Granularidade: O feedback é baseado em características macroeconômicas e não fornece conselhos táticos de nível micro (ex: controle específico de unidades).
• Agnóstico de Raça: O modelo não codifica informações de raça do jogador, limitando os conselhos específicos para cada raça.
• Validação Humana: O sistema não foi validado com participantes humanos em um experimento "human-in-the-loop"; a avaliação foi puramente algorítmica.

Em resumo, o artigo demonstra que é possível extrair trajetórias de melhoria contrafactuais acionáveis a partir de dados de gameplay especializado, oferecendo um novo caminho para o desenvolvimento de habilidades assistido por IA em ambientes de RTS complexos.