Application of machine learning to monster level prediction in tabletop RPG game design

Resumo Técnico: Aplicação de Aprendizado de Máquina na Predição de Nível de Monstros em Design de Jogos de RPG de Mesa

Definição do Problema
Projetar adversários equilibrados é um componente laborioso e crítico no desenvolvimento de jogos de RPG de mesa (TTRPG). Em sistemas como Pathfinder Second Edition, os monstros são definidos por inúmeros atributos numéricos (ex: Força, Classe de Armadura, Pontos de Vida, capacidades de magia) que coletivamente determinam seu poder, resumido como um "nível" ordinal. Atualmente, estimar o nível de um monstro a partir de seus atributos depende do julgamento de especialistas humanos ou de testes de jogo extensos, ambos passíveis de erros e ineficientes. Os autores enquadram a tarefa de prever o nível de um monstro a partir de seus atributos como um problema de regressão ordinal tabular, onde a variável alvo é discreta, ordenada e desbalanceada, com intervalos entre as classes não representando necessariamente incrementos iguais de poder.

Metodologia
O estudo utiliza um conjunto de dados de 6.007 monstros derivados de livros de fontes publicamente disponíveis de Pathfinder Second Edition. Os dados foram curados para refletir o processo de design cronológico, utilizando as datas de publicação como um proxy para a evolução temporal das mecânicas de jogo.

• Engenharia de Atributos (Feature Engineering): Três conjuntos de atributos foram construídos:
  1. Básico (8 atributos): Atributos principais (For, Des, Con, Int, Sab, Car), Pontos de Vida (PV) e Classe de Armadura (CA).
  2. Estendido (20 atributos): Adiciona Percepção, testes de resistência, bônus de ataque, cálculos de dano esperado e métricas relacionadas a magias (nível máximo de magia, CD de magia, modificador de ataque de magia).
  3. Completo (33 atributos): Inclui velocidades de movimento, contagem de imunidades/resistências e um detalhamento granular do número de magias disponíveis em cada um dos nove níveis de magia.
• Protocolos de Avaliação: Para evitar vazamento de dados (data leakage) e simular fluxos de trabalho de design do mundo real, os autores rejeitaram a divisão aleatória em favor de:
  1. Divisão Cronológica: Treinar em dados mais antigos e testar em monstros mais recentes.
  2. Janela Expansiva (Expanding Window): Uma abordagem de série temporal onde o modelo é treinado em um subconjunto inicial, testado no próximo lote, e então retreinado com os novos dados adicionados, repetindo o processo até que todos os dados sejam utilizados.
• Modelos Avaliados: O estudo comparou 1mente 16 modelos em quatro categorias:
  • Regressão com Arredondamento: Modelos lineares (Ridge, SVM) e modelos baseados em árvores (Random Forest, LightGBM) com pós-processamento de arredondamento.
  • Regressão Ordinal Dedicada: Floresta Aleatória Ordenada (ORF), Abordagem Simples para Classificação Ordinal (SAOC), Regressão Logística Ordenada (ORD) e modelos baseados em limiares (Immediate-Threshold).
  • Modelos Probabilísticos: Regressão Ordinal de Processo Gaussiano (GPOR).
  • Redes Neurais: Perceptrons de múltiplas camadas (MLPs) adaptados com perdas e arquiteturas orientadas a ordem, incluindo modelos de Link Cumulativo (CLM), NNRank, OR-CNN, CORAL, CORN e CONDOR.
• Métricas: O desempenho foi avaliado usando Erro Médio Absoluto (MAE) e Raiz do Erro Quadrático Médio (RMSE), especificamente suas versões de média macro (MAEM, RMSEM) para lidar com o desbalanceamento de classes. Métricas adicionais incluíram acurácia, acurácia-em-1 (permitindo um erro de ±1 nível) e Somers' D para correlação de ranking ordinal.

Principais Resultados

• Superioridade de Ensembles Baseados em Árvores: Métodos de ensemble baseados em árvores, especificamente Random Forest, LightGBM, SAOC (usando Random Forest como base) e ORF, superaram consistentemente todas as outras abordagens. Eles alcançaram um ranking ordinal quase perfeito (Somers' D ≈ 0,99) e alta acurácia preditiva (Acc@1 ≈ 99%).
• Limitações de Redes Neurais: Apesar de incorporarem vieses indutivos ordinais específicos (ex: restrições de consistência de ranking em CORAL, CORN, CONDOR), os modelos de redes neurais geralmente tiveram um desempenho inferior aos ensembles baseados em árvores. Eles exibiram maior variância e menor estabilidade, particularmente sob o protocolo de janela expansiva, sugerindo que, para este conjunto de dados tabulares e tamanho específico, os ensembles são mais robustos.
• Importância dos Atributos: A inclusão dos conjuntos de atributos estendidos e completos geralmente melhorou o desempenho. A análise de correlação revelou fortes interdependências entre capacidades defensivas (CA, PV, testes de resistência) e métricas ofensivas/de magia, validando as escolhas de engenharia de atributos.
• Impacto da Estratégia de Avaliação: O protocolo de janela expansiva gerou estimativas de desempenho mais pessimistas (e realistas) em comparação com as divisões aleatórias, destacando a importância da validação temporal em contextos de design de jogos onde o novo conteúdo é construído sobre mecânicas existentes.

Principais Contribuições

1. Criação de Dataset: Os autores apresentam o primeiro conjunto de dados publicamente disponível especificamente para a predição de nível de monstros em TTRPG, derivado de Pathfinder Second Edition, lançado sob uma licença de código aberto permissiva.
2. Formalização do Problema: O trabalho define formalmente a predição de nível de monstro como uma tarefa de regressão ordinal tabular, fornecendo um benchmark abrangente de 16 modelos distintos.
3. Avaliação Específica do Domínio: O artigo introduz e valida protocolos de avaliação cronológica e de janela expansiva adaptados à natureza iterativa do design de jogos, indo além das divisões aleatórias padrão.
4. Explicabilidade: Através da análise de importância de atributos e estudos de distribuição de erro, os autores demonstram que os modelos de melhor desempenho alinham-se com a intuição humana e as regras subjacentes do sistema de jogo.

Significância e Alegações
O artigo afirma que o aprendizado de máquina pode aproximar confiavelmente os julgamentos de designers para o equilíbrio de monstros, servindo como uma ferramenta eficaz de auxílio computacional no design de sistemas de TTRPG. Os resultados sugerem que modelos de ML podem acelerar a criação de adversários equilibrados, fornecendo feedback imediato sobre o poder do monstro durante a fase de design. Os autores posicionam este trabalho como uma aplicação novel de ML preditivo no design de jogos, distinta da IA usada para jogar jogos. Eles concluem que, embora haja espaço para melhoria na acurácia, os modelos atuais são robustos o suficiente para justificar o uso em aplicações práticas que apoiem designers de jogos e Mestres de Jogo. O estudo enfatiza que esta abordagem é particularmente valiosa para reduzir a natureza laboriosa da criação de compêndios de monstros e para permitir a prototipagem rápida de monstros únicos.