Application of machine learning to monster level prediction in tabletop RPG game design

Résumé Technique : Application de l'apprentissage automatique à la prédiction du niveau des monstres dans la conception de jeux de rôle sur table

Définition du Problème
La conception d'adversaires équilibrés est une composante laborieuse et critique du développement de jeux de rôle sur table (TTRPG). Dans des systèmes comme Pathfinder Second Edition, les monstres sont définis par de nombreux attributs numériques (ex. : Force, Classe d'Armure, Points de Vie, capacités de lancer de sorts) qui déterminent collectivement leur puissance, résumée par un « niveau » ordinal. Actuellement, estimer le niveau d'un monstre à partir de ses statistiques repose sur le jugement d'experts humains ou sur des tests de jeu approfondis, lesquels sont tous deux sujets aux erreurs et inefficaces. Les auteurs présentent la tâche de prédiction du niveau d'un monstre à partir de ses attributs comme un problème de régression ordinale tabulaire, où la variable cible est discrète, ordonnée et déséquilibrée, avec des intervalles entre les classes ne représentant pas nécessairement des incréments de puissance égaux.

Méthodologie
L'étude utilise un ensemble de données de 6 007 monstres dérivés de livres de sources publics de Pathfinder Second Edition. Les données ont été organisées pour refléter le processus de conception chronologique, les dates de publication servant de proxy pour l'évolution temporelle des mécaniques de jeu.

• Ingénierie des Caractéristiques (Feature Engineering) : Trois ensembles de caractéristiques ont été construits :
  1. Basique (8 caractéristiques) : Attributs de base (Str, Dex, Con, Int, Wis, Cha), Points de Vie (PV) et Classe d'Armure (CA).
  2. Étendu (20 caractéristiques) : Ajoute la Perception, les jets de sauvegarde, les bonus d'attaque, les calculs de dégâts attendus et les métriques liées aux sorts (niveau de sort max, DD de sort, modificateur d'attaque de sort).
  3. Complet (33 caractéristiques) : Inclut les vitesses de mouvement, le décompte des immunités/résistances, et une décomposition granulaire du nombre de sorts disponibles pour chacun des neuf niveaux de sorts.
• Protocoles d'Évaluation : Pour éviter la fuite de données (data leakage) et simuler des flux de travail de conception réels, les auteurs ont rejeté la division aléatoire au profit de :
  1. Division Chronologique : Entraînement sur des données plus anciennes et test sur des monstres plus récents.
  2. Fenêtre Évolutive (Expanding Window) : Une approche de série temporelle où le modèle est entraîné sur un sous-ensemble initial, testé sur le lot suivant, puis réentraîné avec l'ajout des nouvelles données, répétant l'opération jusqu'à ce que toutes les données soient utilisées.
• Modèles Évalués : L'étude a comparé 16 modèles à travers quatre catégories :
  • Régression avec Arrondi : Modèles linéaires (Ridge, SVM) et modèles basés sur les arbres (Forêt Aléatoire, LightGBM) avec post-traitement par arrondi.
  • Régression Ordinale Dédiée : Forêt Aléatoire Ordonnée (ORF), Simple Approach to Ordinal Classification (SAOC), Régression Logistique Ordonnée (ORD) et modèles basés sur des seuils (Immediate-Threshold).
  • Modèles Probabilistes : Régression Ordinale par Processus Gaussien (GPOR).
  • Réseaux de Neurones : Perceptrons multicouches (MLP) adaptés avec des pertes et des architectures axées sur l'ordinalité, incluant les modèles Cumulative Link (CLM), NNRank, OR-CNN, CORAL, CORN et CONDOR.
• Métriques : La performance a été évaluée via l'Erreur Absolue Moyenne (MAE) et la Racine de l'Erreur Quadratique Moyenne (RMSE), spécifiquement leurs versions moyennées de manière macro (MAEM, RMSEM) pour tenir compte du déséquilibre des classes. Des métriques supplémentaires incluent l'exactitude, l'exactitude à ±1 (permettant une erreur de niveau de ±1) et le coefficient de Somers' D pour la corrélation de rang ordinal.

Résultats Clés

• Supériorité des Ensembles Basés sur les Arbres : Les méthodes d'ensembles basées sur les arbres, spécifiquement la Forêt Aléatoire (Random Forest), LightGBM, SAOC (utilisant une Forêt Aléatoire comme base), et ORF, ont systématiquement surpassé toutes les autres approches. Elles ont atteint un classement ordinal quasi parfait (Somers' D ≈ 0,99) et une précision prédictive élevée (Acc@1 ≈ 99 %).
• Limites des Réseaux de Neurones : Malgré l'incorporation de biais inductifs ordinaux spécifiques (ex. : contraintes de cohérence de rang dans CORAL, CORN, CONDOR), les modèles de réseaux de neurones ont généralement été moins performants que les ensembles basés sur les arbres. Ils ont présenté une variance plus élevée et une stabilité moindre, particulièrement sous le protocole de fenêtre évolutive, suggérant que pour ce type de jeu de données tabulaires et cette taille, les ensembles sont plus robustes.
• Importance des Caractéristiques : L'inclusion des ensembles de caractéristiques étendus et complets a généralement amélioré la performance. L'analyse de corrélation a révélé de fortes interdépendances entre les capacités défensives (CA, PV, jets de sauvegarde) et les métriques offensives/de sorts, validant ainsi les choix d'ingénierie des caractéristiques.
• Impact de la Stratégie d'Évaluation : Le protocole de fenêtre évolutive a produit des estimations de performance plus pessimistes (et plus réalistes) que les divisions aléatoires, soulignant l'importance de la validation temporelle dans les contextes de conception de jeux où le nouveau contenu s'appuie sur des mécaniques existantes.

Contributions Clés

1. Création de Jeu de Données : Les auteurs présentent le premier jeu de données public spécifiquement dédié à la prédiction du niveau des monstres de TTRPG, dérivé de Pathfinder Second Edition, publié sous une licence open-source permissive.
2. Formalisation du Problème : Le travail définit formellement la prédiction du niveau des monstres comme une tâche de régression ordinale tabulaire, fournissant un benchmark complet de 16 modèles distincts.
3. Évaluation Spécifique au Domaine : L'article introduit et valide des protocoles d'évaluation chronologiques et par fenêtre évolutive adaptés à la nature itérative de la conception de jeux, allant au-delà des divisions aléatoires standards.
4. Explicabilité : À travers l'analyse de l'importance des caractéristiques et les études de distribution d'erreurs, les auteurs démontrent que les modèles les plus performants s'alignent sur l'intuition humaine et les règles sous-jacentes du système de jeu.

Signification et Revendications
L'article affirme que l'apprentissage automatique peut approximer de manière fiable les jugements des concepteurs pour l'équilibrage des monstres, servant d'outil efficace d'aide à la conception de systèmes de TTRPG. Les résultats suggèrent que les modèles de ML peuvent accélérer la création d'adversaires équilibrés, fournissant un retour immédiat sur la puissance des monstres durant la phase de conception. Les auteurs positionnent ce travail comme une application novatrice de l'apprentissage prédictif de ML dans la conception de jeux, se distinguant de l'IA utilisée pour jouer aux jeux. Ils concluent que, bien qu'il reste de la marge pour améliorer la précision, les modèles actuels sont suffisamment robustes pour justifier un déploiement dans des applications pratiques soutenant les concepteurs de jeux et les Maîtres de Jeu. L'étude souligne que cette approche est particulièrement précieuse pour réduire la nature laborieuse de la création de compendiums de monstres et pour permettre le prototypage rapide de monstres uniques.