Learning Local Constraints for Reinforcement-Learned Content Generators

Resumo Técnico: Aprendizado de Restrições Locais para Geradores de Conteúdo Aprendidos por Reforço

Declaração do Problema
A Geração Procedural de Conteúdo (PCG) enfrenta um compromisso fundamental entre estética visual e jogabilidade funcional. Abordagens de aprendizado auto-supervisionado, como o Colapso da Função de Onda (WFC), destacam-se na captura de padrões visuais locais e estilos estéticos a partir de dados de treinamento, mas frequentemente falham em garantir propriedades funcionais globais, como a jogabilidade. Por outro lado, geradores baseados em Aprendizado por Reforço (RL) podem otimizar propriedades globais (por exemplo, alcançabilidade de objetivos) ao incorporá-las em funções de recompensa, mas o conteúdo resultante frequentemente carece de coerência visual e fidelidade estética, aparecendo "visualmente insatisfatório". O desafio central abordado neste artigo é como combinar esses dois paradigmas para gerar níveis de jogo que sejam simultaneamente visualmente consistentes com exemplos projetados por humanos e funcionalmente jogáveis.

Metodologia: O Framework WCRL
Os autores propõem um framework híbrido, WCRL (Colapso de Onda via Aprendizado por Reforço), que restringe o espaço de ações de um agente PCGRL usando regras locais derivadas do WFC. O sistema opera da seguinte forma:

1. Extração de Restrições (WFC): O framework recebe um ou mais níveis de entrada (especificamente níveis de Lode Runner) e extrai padrões de tiles de $N \times N$ e suas relações de adjacência. Essas relações definem as restrições locais válidas para o processo de geração.
2. Definição do Espaço de Ações: Diferentemente do WFC padrão, que utiliza uma heurística (entropia mínima) para selecionar o próximo tile, o WCRL substitui essa etapa de seleção por um agente de RL. O algoritmo WFC pré-calcula a lista de padrões válidos disponíveis para uma célula específica com base nos vizinhos atuais.
3. Interação do Agente de RL:
   • Observação: O agente recebe um array de observação 3D representando o estado atual do nível, centralizado na célula a ser colapsada. A localização do jogador é tratada como um tile vazio para focar o agente na conectividade em vez de pontos de surgimento específicos.
   • Espaço de Ações e Mascaramento: O espaço de ações do agente é o conjunto de todos os padrões únicos encontrados na entrada. Crucialmente, o sistema emprega mascaramento de ações inválidas. Em cada passo, o WFC fornece uma lista de padrões que são válidos dadas as restrições de adjacência atuais. O agente de RL é mascarado para selecionar apenas entre essas opções válidas, prevenindo a geração de níveis estruturalmente impossíveis.
   • Sinal de Recompensa: A recompensa é calculada por um agente automatizado de jogo, utilizando um algoritmo de preenchimento de área (flood-fill) para determinar o número de peças de ouro alcançáveis a partir da posição do jogador. Recompensas positivas são dadas por melhorar a conectividade e a alcançabilidade; recompensas negativas são atribuídas por diminuir a conectividade ou causar contradições durante o processo de propagação do WFC.
4. Processo de Geração: O processo começa com uma grade vazia (ou uma grade parcialmente colapsada em experimentos específicos). O agente seleciona iterativamente um padrão para a célula mais restrita, o WFC propaga essa escolha para atualizar a validade das células vizinhas, e o ciclo se repete até que o nível esteja totalmente colapsado ou uma contradição ocorra.

Contribuições Principais e Design Experimental
O artigo faz várias contribuições específicas ao estender trabalhos anteriores (por exemplo, Babin et al., que combinaram RL e WFC para Super Mario Bros) para o domínio mais complexo de Lode Runner. Os autores realizam um estudo de ablação para analisar a sensibilidade do framework a três hiperparâmetros principais:

1. Diversidade dos Dados de Entrada: O estudo compara cenários de entrada única, múltiplas entradas similares e múltiplas entradas diversas. A diversidade é quantificada usando a pontuação de Divergência KL de Padrões de Tile (TPKLDiv).
2. Exclusão de Padrões: Os autores investigam o efeito de excluir "padrões raros" (aqueles que aparecem apenas uma vez no conjunto de dados de entrada) para verificar se filtrar dados de baixa frequência melhora a capacidade do agente de aprender regras generalizáveis.
3. Estado Inicial: Os experimentos comparam o treinamento a partir de um nível completamente vazio versus um estado "colapsado aleatoriamente", onde uma pequena porção do nível é pré-preenchida pelo WFC para forçar o agente a aprender a partir de um estado parcialmente restrito.

Resultados
O framework foi testado na geração de níveis de Lode Runner de $32 \times 22$ usando Otimização de Política Próxima Mascarável (PPO). As principais descobertas incluem:

• Jogabilidade vs. Diversidade: O uso de múltiplos níveis de entrada geralmente aumentou a jogabilidade em comparação com entradas únicas, desde que as entradas fossem estruturalmente similares. No entanto, o uso de entradas altamente diversas (alta TPKLDiv) resultou em uma queda significativa na jogabilidade. O framework lutou para encontrar conexões válidas entre estilos de padrões conflitantes, levando a contradições frequentes durante a propagação.
• Impacto de Padrões Raros: A exclusão de padrões raros reduziu a diversidade dos níveis gerados (à medida que o espaço de ações encolhia), mas geralmente melhorou a jogabilidade em cenários de múltiplas entradas. Isso sugere que padrões raros frequentemente introduzem restrições que são difíceis para o agente satisfazer, enquanto padrões comuns facilitam estruturas conectadas. Em cenários de entrada única, remover padrões raros foi prejudicial, pois às vezes removia padrões necessários para a propagação do posicionamento do jogador.
• Estado Inicial: O treinamento a partir de um estado aleatório e parcialmente colapsado não alterou drasticamente as métricas de jogabilidade, mas resultou em saídas ligeiramente mais diversas, particularmente com entradas diversas. Os autores sugerem que essa abordagem ajuda o agente a aprender políticas mais robustas e generalizáveis.
• Qualidade Visual: Os modelos de melhor desempenho produziram níveis que eram tanto jogáveis quanto visualmente satisfatórios, aderindo às restrições estéticas locais dos dados de entrada enquanto mantinham a funcionalidade global.

Significado e Afirmações
O artigo afirma que o WCRL conecta com sucesso a lacuna entre o aprendizado estético local e a otimização funcional global. Ao usar o WFC para restringir estritamente o espaço de ações do agente de RL, o sistema garante que os níveis gerados aderam ao estilo visual dos dados de treinamento, enquanto o agente de RL otimiza a jogabilidade. Os autores observam que, embora o método seja sensível ao ajuste de hiperparâmetros — particularmente em relação à diversidade de entrada e filtragem de padrões —, a abordagem demonstra que é possível gerar níveis complexos e jogáveis de plataforma-puzzle que retêm a fidelidade visual de conteúdo projetado por humanos. O estudo conclui que Lode Runner serve como um campo de testes rigoroso para tal pesquisa devido aos seus requisitos estritos de conectividade e mecânicas espaciais complexas, que são mais difíceis de satisfazer do que em plataformas mais simples como Super Mario Bros.