Application of machine learning to monster level prediction in tabletop RPG game design

Resumen Técnico: Aplicación del Aprendizaje Automático a la Predicción de Niveles de Monstruos en el Diseño de Juegos de Rol de Mesa

Definición del Problema
El diseño de adversarios equilibrados es un componente crítico y laborioso en el desarrollo de juegos de rol de mesa (TTRPG). En sistemas como Pathfinder Second Edition, los monstruos se definen mediante numerosos atributos numéricos (por ejemplo, Fuerza, Clase de Armadura, Puntos de Golpe, capacidades de conjuro) que determinan colectivamente su poder, resumido en un "nivel" ordinal. Actualmente, estimar el nivel de un monstruo a partir de sus estadísticas depende del juicio experto humano o de extensas pruebas de juego (playtesting), ambos procesos propensos a errores e ineficientes. Los autores plantean la tarea de predecir el nivel de un monstruo a partir de sus atributos como un problema de regresión ordinal tabular, donde la variable objetivo es discreta, ordenada e imbalanceda (desbalanceada), con intervalos entre clases que no representan necesariamente incrementos de poder iguales.

Metodología
El estudio utiliza un conjunto de datos de 6.007 monstruos derivados de libros de fuentes de Pathfinder Second Edition disponibles públicamente. Los datos fueron curados para reflejar el proceso de diseño cronológico, utilizando las fechas de publicación como un proxy de la evolución temporal de las mecánicas del juego.

• Ingeniería de Características (Feature Engineering): Se construyeron tres conjuntos de características:
  1. Básico (8 características): Atributos principales (Fuerza, Destreza, Constitución, Inteligencia, Sabiduría, Carisma), Puntos de Golpe (HP) y Clase de Armadura (AC).
  2. Extendido (20 características): Añade Percepción, tiradas de salvación, bonificadores de ataque, cálculos de daño esperado y métricas relacionadas con conjuros (nivel máximo de conjuro, CD de conjuro, modificador de ataque de conjuro).
  3. Completo (33 características): Incluye velocidades de movimiento, recuento de inmunidades/resistencias y un desglose granular del número de conjuros disponibles en cada uno de los nueve niveles de conjuro.
• Protocolos de Evaluación: Para evitar la fuga de datos (data leakage) y simular los flujos de trabajo de diseño del mundo real, los autores rechazaron la división aleatoria en favor de:
  1. División Cronológica: Entrenar con datos más antiguos y probar con monstruos más nuevos.
  2. Ventana Expansiva (Expanding Window): Un enfoque de series temporales donde el modelo se entrena con un subconjunto inicial, se prueba con el siguiente lote, y luego se reentrena añadiendo los nuevos datos, repitiendo el proceso hasta utilizar todos los datos.
• Modelos Evaluados: El estudio comparó 16 modelos a través de cuatro categorías:
  • Regresión con Redondeo: Modelos lineales (Ridge, SVM) y modelos basados en árboles (Random Forest, LightGBM) con post-procesamiento de redondeo.
  • Regresión Ordinal Dedicada: Bosque Aleatorio Ordenado (ORF), Enfoque Simple para la Clasificación Ordinal (SAOC), Regresión Logística Ordenada (ORD) y modelos basados en umbrales (Immediate-Threshold).
  • Modelos Probabilísticos: Regresión Ordinal de Procesos Gaussianos (GPOR).
  • Redes Neuronales: Perceptrones multicapa (MLP) adaptados con pérdidas y arquitecturas conscientes de la ordinalidad, incluyendo modelos CLM, NNRank, OR-CNN, CORAL, CORN y CONDOR.
• Métricas: El rendimiento se evaluó mediante el Error Absoluto Medio (MAE) y la Raíz del Error Cuadrático Medio (RMSE), específicamente sus versiones promediadas por macro (MAEM, RMSEM) para considerar el desbalance de clases. Se incluyeron métricas adicionales como la exactitud (accuracy), la exactitud-en-1 (que permite un error de ±1 nivel) y la D de Somers para la correlación de rango ordinal.

Resultos Clave

• Superioridad de los Conjuntos Basados en Árboles: Los métodos de conjuntos basados en árboles, específicamente Random Forest, LightGBM, SAOC (usando Random Forest como base) y ORF, superaron consistentemente a todos los demás enfoques. Lograron un ranking ordinal casi perfecto (Somers' D ≈ 0.99) y una alta precisión predictiva (Acc@1 ≈ 99%).
• Limitaciones de las Redes Neuronales: A pesar de incorporar sesgos inductivos ordinales específicos (por ejemplo, restricciones de consistencia de rango en CORAL, CORN, CONDOR), los modelos de redes neuronales generalmente tuvieron un rendimiento inferior en comparación con los conjuntos basados en árboles. Exhibieron mayor varianza y menor estabilidad, particularmente bajo el protocolo de ventana expansiva, lo que sugiere que, para este conjunto de datos tabulares y su estructura, los ensambles son más robustos.
• Importancia de las Características: La inclusión de los conjuntos de características extendidos y completos mejoró generalmente el rendimiento. El análisis de correlación reveló fuertes interdependencias entre las capacidades defensivas (AC, HP, tiradas de salvación) y las métricas ofensivas/de conjuros, validando las decisiones de ingeniería de características.
• Impacto de la Estrategia de Evaluación: El protocolo de ventana expansiva produjo estimaciones de rendimiento más pesimistas (y realistas) en comparación con las divisiones aleatorias, resaltando la importancia de la validación temporal en el contexto del diseño de juegos donde el nuevo contenido se construye sobre las mecánicas existentes.

Contribuciones Clave

1. Creación de Dataset: Los autores presentan el primer conjunto de datos disponible públicamente específicamente para la predicción del nivel de monstruos en TTRPG, derivado de Pathfinder Second Edition, publicado bajo una licencia de código abierto permisiva.
2. Formalización del Problema: El trabajo define formalmente la predicción del nivel de un monstruo como una tarea de regresión ordinal tabular, proporcionando un benchmark exhaustivo de 16 modelos distintos.
3. Evaluación Específica del Dominio: El artículo introduce y valida protocolos de evaluación cronológica y de ventana expansiva adaptados a la naturaleza iterativa del diseño de juegos, yendo más allá de las divisiones aleatorias estándar.
4. Explicabilidad: A través del análisis de importancia de características y estudios de distribución de errores, los autores demuestran que los modelos con mejor rendimiento se alinean con la intuición humana y las reglas subyacentes del sistema de juego.

Significado y Reivindicaciones
El artículo afirma que el aprendizaje automático puede aproximar de manera fiable los juicios de los diseñadores para el equilibrio de monstruos, sirviendo como una herramienta eficaz de asistencia computarizada para el diseño de sistemas de TTRPG. Los resultados sugieren que los modelos de ML pueden acelerar la creación de adversarios equilibrados, proporcionando retroalimentación inmediata sobre el poder del monstruo durante la fase de diseño. Los autores posicionan este trabajo como una aplicación novedosa de ML predictivo en el diseño de juegos, distinta de la IA utilizada para jugar juegos. Concluyen que, si bien hay margen de mejora en la precisión, los modelos actuales son lo suficientemente robustos como para justificar su despliegue en aplicaciones prácticas que apoyen a los diseñadores de juegos y a los Directores de Juego (Game Masters). El estudio enfatiza que este enfoque es particularmente valioso para reducir la laboriosa naturaleza de la creación de compendios de monstruos y para permitir el prototipado rápido de monstruos únicos.